Terima kasih banyak kepada Ferdinand karena telah menyelenggarakan percakapan ini! Ini adalah kesempatan bagus untuk meninjau semua bagian SWARM dan mendiskusikan motivasi di baliknya secara mendalam. Saya harap video ini akan membuat DL terdesentralisasi lebih mudah diakses: banyak ide di lapangan lebih sederhana daripada yang terlihat!
Ferdinand Mom
Ferdinand Mom12 Jun 2025
Tinjauan video makalah penelitian tentang "Swarm Parallelism" bersama dengan penulis @m_ryabinin, Distinguished Research Scientist @togethercompute sekarang keluar! Tautan di bawah ini 👇 Untuk konteks, sebagian besar pelatihan terdesentralisasi saat ini mengikuti pendekatan gaya DDP yang membutuhkan replikasi model penuh pada setiap node. Meskipun praktis bagi mereka yang memiliki kluster H100 yang mereka miliki, ini tetap di luar jangkauan sebagian besar kontributor potensial, di sinilah SWARM berguna!
3,07K