@karpathy 我刚刚又重看了你的采访,@lexfridman 是不是对灯光做了什么?
Andrej Karpathy
Andrej Karpathy7月18日 06:52
扩散视频模型,但现在是 - **实时**! 简单的视频滤镜是实时的,但只能进行基本的重新着色和样式。视频扩散模型(Veo 和朋友们)是魔法,但生成需要几秒钟/几分钟。MirageLSD 是实时魔法。与简单的视频滤镜不同,扩散模型实际上 *理解* 它们所看到的内容,因此它们可以智能地为所有部分的画面进行风格化(例如,把帽子放在头上,或把光剑放在手中,等等)。而且它们可以任意引导,例如通过文本提示。 可定制的智能视频滤镜随着时间的推移解锁了许多酷炫的想法: - 将摄像头画面转变为替代现实 - 导演和拍摄自己的电影,使用道具表演场景。实时 => 即时反馈/回顾。 - 基于简单的球体/方块编写氛围代码游戏,然后使用实时扩散模型为你的游戏纹理,使其变得美丽。 - 风格化和定制任何视频画面:游戏、视频,... 例如,Skyrim 但 "更史诗"?DOOM II 但现代虚幻引擎质量,仅需一个提示?恐怖电影但 "可爱、粉色和只有兔子"?我不知道! - Zoom 通话背景+++ - 实时虚拟试穿衣服 - 眼镜:例如,实时卡通化你的视野? - 我们现在可以构建哈利·波特的厄里斯魔镜,显示你在镜子中的 "原始画面",但增强了你最深的愿望(由 AI 推断)。 - 我不知道,我可能错过了最大的一个,还有很多事情! (披露:我在 Decart 是(非常小的)天使投资者,我很兴奋,因为在我看来,这项技术会很快变得非常好,并且感觉通用、强大,但它在技术上也非常困难。祝贺团队的发布!
5.88K