¡Muchas gracias a Ferdinand por organizar esta conversación! Fue una gran oportunidad para repasar todas las partes de SWARM y discutir la motivación detrás de ellas en profundidad. ¡Espero que este video haga que el DL descentralizado sea más accesible: muchas ideas en el campo son más simples de lo que parecen!
Ferdinand Mom
Ferdinand Mom12 jun 2025
¡La revisión en video del artículo de investigación sobre "Paralelismo de Enjambre" junto con el autor @m_ryabinin, Científico Investigador Distinguido @togethercompute ya está disponible! Enlace abajo 👇 Para dar contexto, la mayoría de los entrenamientos descentralizados hoy en día siguen enfoques estilo DDP que requieren una replicación completa del modelo en cada nodo. Si bien es práctico para aquellos que tienen clústeres H100 a su disposición, esto sigue estando fuera del alcance de la gran mayoría de los posibles contribuyentes, ¡aquí es donde SWARM resulta útil!
3,08K