@karpathy estava apenas a rever a sua entrevista novamente, o @lexfridman fez algo com a iluminação?
Andrej Karpathy
Andrej Karpathy18/07, 06:52
Modelos de vídeo de difusão, mas agora - **em tempo real**! Filtros de vídeo simples são em tempo real, mas só conseguem fazer re-coloração e estilos básicos. Modelos de difusão de vídeo (Veo e amigos) são mágicos, mas levam muitos segundos/minutos para gerar. O MirageLSD é magia em tempo real. Ao contrário dos filtros de vídeo simples, os modelos de difusão realmente *entendem* o que estão a ver, podendo estilizar todas as partes do feed de forma inteligente (por exemplo, colocando chapéus nas cabeças ou sabres de luz nas mãos, etc.). E são arbitrariamente direcionáveis, por exemplo, através de prompts de texto. Filtros de vídeo personalizáveis e inteligentes desbloqueiam muitas ideias legais ao longo do tempo: - transformar feeds de câmera em realidades alternativas - dirigir e filmar os seus próprios filmes, encenando cenas com adereços. Tempo real => feedback/revisão instantânea. - criar jogos de vibe em torno de esferas/blocos simples, e depois usar um modelo de difusão em tempo real para texturizar o seu jogo e torná-lo bonito. - estilizar e personalizar qualquer feed de vídeo: jogos, vídeos, ... por exemplo, Skyrim mas "MAIS ÉPICO"? DOOM II mas com qualidade moderna de Unreal Engine com apenas um prompt? Filme de terror mas "fofo, rosa e só coelhinhos"? Não sei! - fundos para chamadas de zoom+++ - experimentar roupas virtualmente em tempo real - óculos: por exemplo, transformar a sua visão em cartoon em tempo real? - agora podemos construir o Espelho de Erised de Harry Potter, mostrando o "feed bruto" de você no espelho, mas aumentado com os seus desejos mais profundos (conforme inferido pela IA). - Não sei, provavelmente estou a perder o maior, tantas coisas!
5,89K