🚀Neu von Meta FAIR: Heute stellen wir Seamless Interaction vor, ein Forschungsprojekt, das sich der Modellierung zwischenmenschlicher Dynamiken widmet. Das Projekt umfasst eine Familie von audiovisuellen Verhaltensmodellen, die in Zusammenarbeit mit Metas Codec Avatars-Labor und dem Core AI-Labor entwickelt wurden. Diese Modelle wandeln die Sprache zwischen zwei Personen in vielfältige, ausdrucksstarke Ganzkörpergesten und aktives Zuhören um, was die Erstellung vollständig verkörperter Avatare in 2D und 3D ermöglicht. Diese Modelle haben das Potenzial, natürlichere, interaktive virtuelle Agenten zu schaffen, die in der Lage sind, menschenähnliche soziale Interaktionen in verschiedenen Umgebungen zu führen. Erfahren Sie mehr:

Wir veröffentlichen auch öffentlich das Seamless Interaction Dataset mit über 4.000 Teilnehmern und über 4.000 Stunden Interaktionen, was es zum größten bekannten Video-Datensatz seiner Art macht. Dieser Datensatz ermöglicht es unseren audiovisuellen Verhaltensmodellen, menschliche soziale Verhaltensweisen zu verstehen und zu generieren, und stellt einen entscheidenden Schritt dar, um zu verstehen und zu modellieren, wie Menschen kommunizieren und sich verhalten, wenn sie zusammen sind. Wir teilen es hier, um der Forschungsgemeinschaft zu helfen, ihre Arbeit voranzutreiben:

Eine weitere Sache… Sie können auch diesen technischen Bericht einsehen, der unsere Methodik zur Erstellung von Bewegungsmodellen auf dem Datensatz sowie einen Bewertungsrahmen für diese Art von Modell beschreibt:

Besuchen Sie unseren Blog, um die gesamte Geschichte ausführlicher zu erfahren: