ICML2025はこれで終わりです。わずか1年余りで、この分野が「何を言っているの?」から「それは不可能だ」、そして「うーん、とても面白い」に変わっていくのを見るのは信じられないほどです。@tha_ajanthan @hmdolatabadi

これが来ることを予見していたと主張するなら、それを裏付ける多様な損益を用意したほうがよいでしょう

ノームは誇張しない傾向があります。

全く同感です - Flower labsは、素晴らしいものを積極的に公開している別のグループで、現在は分散型トレーニングに真正面から取り組んでいます。まだこの地域に懐疑的なすべての人にとって主要なデータポイントになるはずです-フラワーチームはそれが得るのと同じくらい正当であり、ニックレーンはフェデレーテッドラーニングの頂点のほとんどです。 私には、ML側のこの領域への大規模な学術的転換点を目の当たりにしているというすべての兆候があります。もはや逆張りではなく、そこから、メジャーで非常に影響力のある分野になるであろうものの、明らかに初期の日々へと移行しました。

私の経験から言うと、分散型DLに関する論文をトップレベルのカンファレンスに受け入れてもらうのは、かなり難しいことです。この動機は多くのレビュー担当者にとって馴染み深いものではなく、標準的な実験設定では、解決しようとしている問題が考慮されていません。 ですから、@PluralisHQや@PrimeIntellectのような企業が、結果を共有し、主要な会議で発表するために努力しているのを見るのは、とても楽しみです。IMOは、投稿を準備するだけでも、実験についてより厳格になることを余儀なくされます+査読者からの外部フィードバックは、論文のメッセージを鮮明にするのに役立ちます。

Pluralis + Prime Intellect + Ambientが2030年までにイーサリアムを反転

メタクロージングモデルは非常に予測可能だったように感じます。私はこれが昨年起こると明確に述べ、その理由を説明しました(から)。

ICMLの満員のAI研究者の前で50分間、@akashnet_、@PrimeIntellect、@gensynai、@NousResearch、@PluralisHQ、@GoogleDeepMindの研究を紹介しました。 現在、DeAIには大きな関心が寄せられています。 ミッション(一部)達成。

AIパブリッシングに詳しくない人向け。毎年3つの主要な会議があります。ICML、ICLR、および NeurIPS。これらは技術会議であり、他の分野のジャーナルと同等であり、AIの主要な出版の場です。これらの会議で論文を出すための競争は今やばかげたレベルにあり、論文を受理してもらうのは非常に難しく、現時点ではかなり騒々しいレビュープロセスについて多くの懸念があります。欠陥のない強力な論文は、約50%の確率で受理され、通常、論文は査読者の変更が加えられて受理されるまで数回提出されます。それにもかかわらず、これらの場所での論文は、AIの世界における正当性の主要なスタンプであり続け、おそらくML研究者の主要なキャリア指標です(ただし、フロンティアラボでの研究の多くが未発表であるため、これはimoを弱体化させています)。 メイントラックの論文は、ワークショップの論文とは大きく異なります。メイントラックには、熱心で真剣な査読があります。ワークショップの論文は予備作業のためのもので、興味深い結果を示すものの、完全ではないか、結果がメイントラックにとって十分に重要ではないかのどちらかです。彼らはワークショップのレビュアープールによるレビューのみが必要であり、議事録には登場しません。 多くの優れた論文は、最初にワークショップ(例えば、grokking)に現れた - しかし、ワークショップとメイントラックの論文は根本的に異なるものであり、根本的に異なる影響レベルを持っている。分散型AIの分野で今年メイントラックペーパーを持っているのは、@PrimeIntellectとPluralisの2社だけです。

内部のすべてに美しいGrafanaダッシュボードを使用しており、Tensorboardよりもはるかに優れています。Wandbはまだ良いですが、分散型トレーニングでは実際には機能しません。 openaiの内部visツールがどのようなものか疑問に思います-信じられないほどでなければなりません。