Muito obrigado ao Ferdinand por hospedar esta conversa! Foi uma ótima oportunidade para revisar todas as partes do SWARM e discutir a motivação por trás delas em profundidade. Espero que este vídeo torne o DL descentralizado mais acessível: muitas ideias na área são mais simples do que parecem!
Ferdinand Mom
Ferdinand Mom12/06/2025
A revisão em vídeo do artigo de pesquisa sobre "Paralelismo em Enxame" junto com o autor @m_ryabinin, Cientista de Pesquisa Distinto @togethercompute, já está disponível! Link abaixo 👇 Para contexto, a maioria dos treinamentos descentralizados hoje segue abordagens no estilo DDP que requerem replicação completa do modelo em cada nó. Embora prático para aqueles que têm clusters H100 à disposição, isso continua fora do alcance da vasta maioria dos potenciais colaboradores, é aqui que o SWARM se torna útil!
3,09K