Itu bungkus untuk ICML2025. Luar biasa untuk menyaksikan ruang berubah dari "Apa yang kamu bicarakan" menjadi "Itu tidak mungkin" menjadi "Hmmm itu sangat menarik" hanya dalam waktu setahun. @tha_ajanthan @hmdolatabadi

Jika Anda mengklaim telah melihat ini datang, Anda lebih baik memiliki banyak P&L untuk mendukungnya

Noam cenderung tidak melebih-lebihkan.

Sangat setuju - Flower labs grup lain yang secara aktif menerbitkan hal-hal hebat dan sekarang berfokus pada pelatihan terdesentralisasi. Harus menjadi titik data utama bagi semua orang yang masih skeptis terhadap area tersebut - tim bunga sesah yang didapatnya dan Nic Lane cukup banyak yang teratas dalam Federated Learning. Setiap sinyal bagi saya adalah kita akan menyaksikan titik kritis akademis yang besar ke area ini di sisi ML. Bahkan tidak benar-benar berlawanan lagi beralih dari itu ke hari-hari awal yang jelas dari apa yang akan menjadi bidang utama dan sangat berdampak.

Dari pengalaman saya, mendapatkan makalah tentang DL terdesentralisasi yang diterima ke konferensi tingkat atas bisa sangat sulit. Motivasi tidak dikenal oleh banyak pengulas, dan pengaturan eksperimen standar tidak memperhitungkan masalah yang ingin Anda pecahkan. Oleh karena itu, saya sangat senang melihat perusahaan seperti @PluralisHQ dan @PrimeIntellect menginvestasikan upaya untuk membagikan hasil mereka dan mempublikasikannya di konferensi besar! IMO bahkan mempersiapkan pengiriman memaksa Anda untuk lebih teliti tentang eksperimen Anda + umpan balik dari luar dari pengulas membantu Anda mempertajam pesan makalah.

Pluralis + Prime Intellect + Ambient membalik Ethereum pada tahun 2030

Rasanya model penutupan meta sangat dapat diprediksi. Saya secara eksplisit mengatakan ini akan terjadi tahun lalu dan menjelaskan mengapa (dari ).

Berbicara 50 menit langsung ke ruang yang penuh sesak dengan peneliti AI yang retak di ICML, mempresentasikan karya @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ, dan @GoogleDeepMind. Sekarang ada minat yang sangat besar pada DeAI. Misi (sebagian) tercapai.

Bagi orang yang tidak terbiasa dengan penerbitan AI; Ada 3 konferensi utama setiap tahun. ICML, ICLR dan NeurIPS. Ini adalah konferensi teknis dan setara dengan jurnal dalam disiplin ilmu lain - mereka adalah tempat penerbitan utama untuk AI. Persaingan untuk memiliki makalah di konferensi ini sekarang berada pada tingkat yang konyol, mendapatkan makalah yang diterima sangat sulit, dan ada banyak kekhawatiran tentang proses peninjauan yang cukup berisik pada saat ini. Makalah yang kuat tanpa kekurangan memiliki peluang sekitar 50% untuk diterima, dan biasanya makalah diserahkan dengan perubahan pengulas beberapa kali sampai diterima. Terlepas dari semua itu, makalah di tempat-tempat ini tetap menjadi cap utama legitimasi di dunia AI, dan mungkin masih merupakan metrik karir utama bagi peneliti ML (meskipun ini melemahkan imo karena begitu banyak penelitian di laboratorium perbatasan tidak dipublikasikan). Makalah Jalur Utama sangat berbeda dengan makalah lokakarya. Trek utama memiliki tinjauan sejawat yang intens dan serius. Makalah lokakarya adalah untuk pekerjaan pendahuluan, yang memberikan beberapa indikasi hasil yang menarik, tetapi tidak lengkap atau hasilnya tidak cukup signifikan untuk jalur utama. Mereka hanya diharuskan untuk ditinjau oleh kumpulan peninjau lokakarya dan mereka tidak muncul dalam persidangan. Banyak makalah hebat pertama kali muncul di lokakarya (misalnya grokking) - tetapi lokakarya dan makalah jalur utama pada dasarnya berbeda, dengan tingkat dampak yang berbeda secara fundamental. Satu-satunya dua perusahaan dalam AI terdesentralisasi yang memiliki makalah jalur utama tahun ini adalah @PrimeIntellect dan Pluralis.

Menggunakan dasbor Grafana yang indah untuk semuanya secara internal, jauh lebih bagus daripada Tensorboard. Wandb masih bagus tetapi tidak benar-benar bekerja dengan pelatihan terdesentralisasi. Membuat saya bertanya-tanya seperti apa perkakas vis internal di openai - pasti luar biasa.