🚀Baru dari Meta FAIR: hari ini kami memperkenalkan Seamless Interaction, sebuah proyek penelitian yang didedikasikan untuk memodelkan dinamika interpersonal. Proyek ini menampilkan keluarga model perilaku audiovisual, yang dikembangkan bekerja sama dengan lab Codec Avatars + lab Core AI Meta, yang merender ucapan antara dua individu menjadi gerakan seluruh tubuh yang beragam dan ekspresif serta perilaku mendengarkan aktif, memungkinkan pembuatan avatar yang sepenuhnya terwujud dalam 2D dan 3D. Model-model ini memiliki potensi untuk menciptakan agen virtual yang lebih alami dan interaktif yang dapat terlibat dalam interaksi sosial seperti manusia di berbagai pengaturan. Pelajari lebih lanjut:
Kami juga merilis Dataset Interaksi Seamless secara publik, dengan 4.000+ peserta dan 4.000+ jam interaksi, menjadikannya kumpulan data video terbesar yang diketahui dari jenisnya. Himpunan data ini memungkinkan model perilaku audiovisual kami untuk memahami dan menghasilkan perilaku sosial seperti manusia, dan merupakan batu loncatan penting untuk memahami dan memodelkan bagaimana orang berkomunikasi dan berperilaku saat mereka bersama. Kami membagikannya di sini untuk membantu komunitas penelitian memajukan pekerjaan mereka:
Satu hal lagi... Anda juga dapat melihat laporan teknis ini yang merinci metodologi kami untuk membangun model gerak pada himpunan data, bersama dengan kerangka kerja evaluasi untuk jenis model ini:
Kunjungi blog kami untuk membahas lebih dalam tentang cerita lengkapnya:
32,79K