关于《群体并行性》的研究论文视频评审现已发布，作者 @m_ryabinin，杰出研究科学家 @togethercompute，链接如下 👇 为了提供背景，目前大多数去中心化训练遵循 DDP 风格的方法，需要在每个节点上完全复制模型。虽然对于拥有 H100 集群的人来说是可行的，但这对绝大多数潜在贡献者来说仍然遥不可及，这就是 SWARM 发挥作用的地方！