🚀Новинка від Meta FAIR: сьогодні ми представляємо Seamless Interaction — дослідницький проєкт, присвячений моделюванню міжособистісної динаміки. Проєкт включає сімейство аудіовізуальних поведінкових моделей, розроблених у співпраці з лабораторією Codec Avatars + лабораторією Core AI, які передають мову між двома людьми в різноманітні, виразні жести всього тіла та активну поведінку слухання, що дозволяє створювати повністю втілені аватари в 2D та 3D. Ці моделі мають потенціал для створення більш природних, інтерактивних віртуальних агентів, які можуть брати участь у соціальній взаємодії, подібній до людської, у різних умовах. Дізнатися більше:

Ми також публічно оприлюднюємо набір даних Seamless Interaction Dataset із 4 000+ учасниками та 4 000+ годинами взаємодій, що робить його найбільшим відомим набором відеоданих такого роду. Цей набір даних дозволяє нашим аудіовізуальним поведінковим моделям розуміти та генерувати соціальну поведінку, подібну до людської, і є важливим кроком до розуміння та моделювання того, як люди спілкуються та поводяться, коли вони разом. Ми ділимося нею тут, щоб допомогти дослідницькій спільноті просувати свою роботу:

І ще одне... Ви також можете ознайомитися з цим технічним звітом, в якому детально описана наша методологія побудови моделей руху на наборі даних, а також структура оцінки для цього типу моделей:

Перейдіть до нашого блогу, щоб дізнатися більше про повну історію: