ICML2025 的結束。令人難以置信的是，這個領域在短短一年多的時間裡，從「你在說什麼」到「那是不可能的」再到「嗯，這非常有趣」的變化。@tha_ajanthan @hmdolatabadi

如果你聲稱預見了這一切，那你最好有多元的盈虧來支持這個說法。

Noam 通常不會誇大其詞。

完全同意 - Flower labs 是另一個積極發表優秀內容的團隊，現在專注於去中心化的訓練。這應該是對於仍然對這個領域持懷疑態度的每個人來說一個重要的數據點 - flower 團隊是最合法的，而 Nic Lane 幾乎是聯邦學習領域的頂尖人物。 對我來說，每一個信號都表明我們即將見證這個領域在機器學習方面的重大學術轉折點。這不再是反向思考的問題，而是明顯處於將成為一個重要且影響深遠的領域的早期階段。

根據我的經驗，將一篇關於去中心化深度學習的論文提交到頂級會議上被接受是相當困難的。這個動機對許多審稿人來說並不熟悉，而標準的實驗設置並未考慮到你想要解決的問題。 因此，我非常高興看到像 @PluralisHQ 和 @PrimeIntellect 這樣的公司投入精力分享他們的成果並在主要會議上發表！在我看來，即使是準備提交也迫使你對實驗更加嚴謹，來自審稿人的外部反饋幫助你更清晰地表達論文的主旨。

Pluralis + Prime Intellect + Ambient 在2030年前顛覆以太坊

感覺元宇宙關閉模型是非常可預測的。我去年明確說過這會發生，並解釋了原因（來自）。

在 ICML 上對一群滿座的 AI 研究人員連續講了 50 分鐘，展示了 @akashnet_、@PrimeIntellect、@gensynai、@NousResearch、@PluralisHQ 和 @GoogleDeepMind 的工作。 現在對 DeAI 的興趣巨大。 任務（部分）完成。

對於不熟悉 AI 出版的人來說，每年有三個主要的會議：ICML、ICLR 和 NeurIPS。這些是技術會議，相當於其他學科的期刊——它們是 AI 的主要出版場所。能夠在這些會議上發表論文的競爭現在已經達到了荒謬的程度，論文被接受的難度非常高，並且對於審稿過程的擔憂也相當多，這個過程目前相當嘈雜。一篇沒有缺陷的強論文被接受的機率大約是 50%，通常一篇論文會在經過幾次審稿修改後才會被接受。儘管如此，這些會議上的論文仍然是 AI 界主要的合法性標誌，並且可能仍然是 ML 研究人員的主要職業指標（雖然我認為這正在減弱，因為前沿實驗室的許多研究尚未發表）。 主題論文與研討會論文有顯著的不同。主題論文經過激烈、嚴謹的同行評審。研討會論文則是針對初步工作，提供一些有趣結果的指示，但要麼不完整，要麼結果對主題論文來說不夠重要。它們只需由研討會審稿人小組進行審查，並且不會出現在會議紀要中。 許多優秀的論文最初是在研討會上出現的（例如 grokking）——但研討會論文和主題論文本質上是不同的東西，影響力的層級也根本不同。今年在去中心化 AI 領域中，只有兩家公司有主題論文，分別是 @PrimeIntellect 和 Pluralis。

在內部使用漂亮的 Grafana 儀錶板來處理所有內容，比 Tensorboard 好得多。Wandb 仍然很好，但並不能真正與分散式訓練一起使用。 讓我想知道 openai 中的內部可視化工具是什麼樣的 - 一定令人難以置信。