对于不熟悉人工智能出版的人来说，每年有三个主要的会议：ICML、ICLR和NeurIPS。这些是技术会议，相当于其他学科的期刊——它们是人工智能的主要出版场所。现在在这些会议上发表论文的竞争达到了荒谬的程度，论文被接受非常困难，而且对审稿过程的担忧也很大，目前这个过程相当嘈杂。一篇没有缺陷的强论文被接受的几率大约为50%，通常一篇论文会在经过几次审稿修改后才会被接受。尽管如此，这些场所的论文仍然是人工智能领域的主要合法性标志，并且可能仍然是机器学习研究人员的主要职业指标（尽管我认为这一点正在减弱，因为前沿实验室的许多研究尚未发表）。 主轨道论文与研讨会论文有显著不同。主轨道有严格、严肃的同行评审。研讨会论文是初步工作，给出一些有趣结果的指示，但要么不完整，要么结果对主轨道来说不够重要。它们只需由研讨会审稿人池进行审查，并且不会出现在会议记录中。 许多优秀的论文最初是在研讨会上出现的（例如grokking）——但研讨会论文和主轨道论文在本质上是不同的，影响力也有根本的不同。今年在去中心化人工智能领域中，只有@PrimeIntellect和Pluralis有主轨道论文。

关于《群体并行性》的研究论文视频评审现已发布，作者 @m_ryabinin，杰出研究科学家 @togethercompute，链接如下 👇 为了提供背景，目前大多数去中心化训练遵循 DDP 风格的方法，需要在每个节点上完全复制模型。虽然对于拥有 H100 集群的人来说是可行的，但这对绝大多数潜在贡献者来说仍然遥不可及，这就是 SWARM 发挥作用的地方！