關於「Swarm Parallelism」的研究論文視頻評論以及作者 @m_ryabinin，傑出研究科學家@togethercompute現已發佈！連結如下 👇 就上下文而言，當今大多數分散式訓練都遵循 DDP 風格的方法，需要在每個節點上進行完整的模型複製。雖然對於擁有 H100 集群的人來說很實用，但對於絕大多數潛在貢獻者來說，這仍然遙不可及，這就是 SWARM 派上用場的地方！