Smart Turn v2: sumber terbuka, deteksi belokan audio asli dalam 14 bahasa. Pos pemeriksaan baru dari open source, data terbuka, kode pelatihan terbuka, model VAD semantik pada @huggingface, @FAL, dan @pipecat_ai. - Inferensi 3x lebih cepat (12ms pada L40) - 14 bahasa (13 lebih banyak dari v1, yang hanya bahasa Inggris) - Kumpulan data sintetis baru 'chirp_3_all' dengan ~163k sampel audio - Akurasi 99% pada data pengujian 'human_5_all' yang ditahan Deteksi belokan yang baik sangat penting untuk agen suara. Model ini "memahami" pola semantik dan audio, dan mengurangi pertukaran AI suara antara latensi giliran yang tidak diinginkan vs agen yang mengganggu orang sebelum mereka selesai berbicara. Skrip pelatihan untuk pelatihan @modal_labs dan lokal ada di reposito. Kami ingin membuatnya semudah mungkin untuk berkontribusi atau menyesuaikan model ini! Berikut adalah demo yang menjalankan model belokan pintar dengan pengaturan default, yang ditujukan untuk umumnya mencapai total waktu deteksi giliran 400 ms. Anda juga dapat menyetel hal-hal agar lebih cepat. Anda dapat membantu dengan menyumbangkan data, melakukan pengalaman arsitektur, atau membersihkan data sumber terbuka! Teruslah membaca ...