🚀来自Meta FAIR的新消息:今天我们推出了无缝互动,这是一个致力于建模人际动态的研究项目。 该项目包含一系列视听行为模型,旨在与Meta的Codec Avatars实验室和Core AI实验室合作开发,这些模型将两个人之间的言语转化为多样化、富有表现力的全身手势和积极倾听行为,从而允许在2D和3D中创建完全具身的虚拟形象。 这些模型有潜力创造出更自然、互动性更强的虚拟代理,能够在各种环境中进行类人社交互动。 了解更多:
我们还将公开发布无缝互动数据集,参与者超过4000人,互动时间超过4000小时,使其成为已知同类视频数据集中最大的一项。 该数据集使我们的视听行为模型能够理解和生成类人社会行为,并代表了理解和建模人们在一起时如何沟通和行为的重要基石。 我们在这里分享它,以帮助研究社区推进他们的工作:
还有一件事……您还可以查看这份技术报告,详细介绍了我们在数据集上构建运动模型的方法论,以及针对这种模型的评估框架:
前往我们的博客,深入了解完整故事:
32.8K