Tack så mycket till Ferdinand för att du var värd för detta samtal! Det var ett utmärkt tillfälle att överblicka alla delar av SWARM och diskutera motivationen bakom dem på djupet. Jag hoppas att den här videon kommer att göra decentraliserad DL mer tillgänglig: många idéer inom området är enklare än de verkar!
Ferdinand Mom
Ferdinand Mom12 juni 2025
Forskningsrapporten videorecension om "Swarm Parallelism" tillsammans med författaren @m_ryabinin, Distinguished Research Scientist @togethercompute är nu ute! Länk nedan 👇 För kontext följer de flesta decentraliserade träningar idag DDP-metoder som kräver fullständig modellreplikering på varje nod. Även om det är praktiskt för dem som har H100-kluster till sitt förfogande, är detta fortfarande utom räckhåll för de allra flesta potentiella bidragsgivare, det är här SWARM kommer väl till pass!
3,05K