對於不熟悉 AI 出版的人來說，每年有三個主要的會議：ICML、ICLR 和 NeurIPS。這些是技術會議，相當於其他學科的期刊——它們是 AI 的主要出版場所。能夠在這些會議上發表論文的競爭現在已經達到了荒謬的程度，論文被接受的難度非常高，並且對於審稿過程的擔憂也相當多，這個過程目前相當嘈雜。一篇沒有缺陷的強論文被接受的機率大約是 50%，通常一篇論文會在經過幾次審稿修改後才會被接受。儘管如此，這些會議上的論文仍然是 AI 界主要的合法性標誌，並且可能仍然是 ML 研究人員的主要職業指標（雖然我認為這正在減弱，因為前沿實驗室的許多研究尚未發表）。 主題論文與研討會論文有顯著的不同。主題論文經過激烈、嚴謹的同行評審。研討會論文則是針對初步工作，提供一些有趣結果的指示，但要麼不完整，要麼結果對主題論文來說不夠重要。它們只需由研討會審稿人小組進行審查，並且不會出現在會議紀要中。 許多優秀的論文最初是在研討會上出現的（例如 grokking）——但研討會論文和主題論文本質上是不同的東西，影響力的層級也根本不同。今年在去中心化 AI 領域中，只有兩家公司有主題論文，分別是 @PrimeIntellect 和 Pluralis。

關於「Swarm Parallelism」的研究論文視頻評論以及作者 @m_ryabinin，傑出研究科學家@togethercompute現已發佈！連結如下 👇 就上下文而言，當今大多數分散式訓練都遵循 DDP 風格的方法，需要在每個節點上進行完整的模型複製。雖然對於擁有 H100 集群的人來說很實用，但對於絕大多數潛在貢獻者來說，這仍然遙不可及，這就是 SWARM 派上用場的地方！