Велике спасибі Фердинанду за те, що він провів цю розмову! Це була чудова можливість оглянути всі частини SWARM і детально обговорити мотивацію, що стоїть за ними. Сподіваюся, це відео зробить децентралізовані DL більш доступними: багато ідей в області простіше, ніж здається!
Ferdinand Mom
Ferdinand Mom12 черв. 2025 р.
Відеоогляд наукової роботи на тему "Ройовий паралелізм" разом з автором @m_ryabinin, заслуженим науковим співробітником @togethercompute вийшов друком! Посилання нижче 👇 Для контексту, більшість децентралізованого навчання сьогодні дотримується підходів у стилі DDP, які вимагають повної реплікації моделі на кожному вузлі. Хоча це практично для тих, хто має в своєму розпорядженні кластери H100, це залишається недосяжним для переважної більшості потенційних учасників, саме тут SWARM стане в нагоді!
3,08K