🚀Nieuw van Meta FAIR: vandaag introduceren we Seamless Interaction, een onderzoeksproject dat zich richt op het modelleren van interpersoonlijke dynamiek. Het project bevat een familie van audiovisuele gedragsmodellen, ontwikkeld in samenwerking met Meta's Codec Avatars-lab + Core AI-lab, die spraak tussen twee individuen omzet in diverse, expressieve lichaamshoudingen en actieve luistergedragingen, waardoor de creatie van volledig belichaamde avatars in 2D en 3D mogelijk wordt. Deze modellen hebben het potentieel om natuurlijkere, interactieve virtuele agenten te creëren die kunnen deelnemen aan mensachtige sociale interacties in verschillende omgevingen. Leer meer:

We publiceren ook de Seamless Interaction Dataset, met meer dan 4.000 deelnemers en meer dan 4.000 uur aan interacties, waardoor het de grootste bekende video dataset van zijn soort is. Deze dataset stelt onze audiovisuele gedragsmodellen in staat om menselijke sociale gedragingen te begrijpen en te genereren, en vormt een cruciale stap naar het begrijpen en modelleren van hoe mensen communiceren en zich gedragen wanneer ze samen zijn. We delen het hier om de onderzoeksgemeenschap te helpen hun werk vooruit te helpen:

Nog één ding... je kunt ook dit technische rapport bekijken waarin onze methodologie wordt beschreven voor het bouwen van bewegingsmodellen op de dataset, samen met een evaluatiekader voor dit type model:

Ga naar onze blog om dieper in het volledige verhaal te duiken: