@karpathy estava assistindo novamente sua entrevista, @lexfridman fez algo com a iluminação?
Andrej Karpathy
Andrej Karpathy18 de jul., 06:52
Modelos de vídeo de difusão, mas agora - **em tempo real**! Filtros de vídeo simples são em tempo real, mas só podem fazer recoloração e estilos básicos. Os modelos de difusão de vídeo (Veo e amigos) são mágicos, mas levam muitos segundos/minutos para serem gerados. MirageLSD é magia em tempo real. Ao contrário dos filtros de vídeo simples, os modelos de difusão realmente *entendem* o que estão vendo, para que possam estilizar todas as partes do feed de forma inteligente (por exemplo, colocar chapéus na cabeça ou sabres de luz nas mãos, etc.). E eles são arbitrariamente orientáveis, por exemplo, por prompts de texto. Filtros de vídeo personalizáveis e inteligentes desbloqueiam muitas ideias interessantes ao longo do tempo: - Transforme feeds de câmera em realidades alternativas - Dirija e grave seus próprios filmes, encenando cenas com adereços. Tempo real = > feedback / revisão instantânea. - Vibe Code Games em torno de apenas esferas/blocos simples e, em seguida, use um modelo de difusão em tempo real para texturizar seu jogo e torná-lo bonito. - Estilize e personalize qualquer feed de vídeo: jogos, vídeos, ... por exemplo, Skyrim, mas "MAIS ÉPICO"? DOOM II, mas a qualidade moderna do Unreal Engine com apenas um prompt? Filme de terror, mas "fofo, rosa e apenas coelhos"? Eu não sei! - planos de fundo de chamadas de zoom +++ - Experimente roupas em tempo real virtualmente - óculos: por exemplo, caricaturar sua visão em tempo real? - agora podemos construir Harry Potter Mirror of Ojesed, mostrando a "alimentação bruta" de você no espelho, mas aumentada com seus desejos mais profundos (como inferido pela IA). - Não sei, provavelmente estou perdendo o maior, tantas coisas! (Divulgação Eu sou (muito pequeno) investidor anjo na Decart, fiquei animado porque, na minha opinião, essa tecnologia ficará muito boa muito rápido e parece geral, poderosa, mas também é tecnicamente muito difícil. Parabéns pelo lançamento para a equipe!)
5,89K