Ось і обгортка для ICML2025. Неймовірно спостерігати, як космос проходить шлях від «Про що ти говориш» до «Це неможливо» та «Хмммм, це дуже цікаво» трохи більше ніж за рік. @tha_ajanthan @hmdolatabadi

Якщо ви стверджуєте, що бачили це, вам краще мати колектор P&L, щоб підкріпити це

Ноам схильний не перебільшувати.

Цілком згоден - Flower labs, ще одна група, яка активно публікує чудові речі і тепер прямо зосереджена на децентралізованому навчанні. Це має бути основною точкою даних для всіх, хто все ще скептично ставиться до цього району - команда квітів настільки легітимна, наскільки це можливо, а Нік Лейн є майже вершиною у федеративному навчанні. Кожен сигнал для мене полягає в тому, що ми ось-ось станемо свідками величезного академічного переломного моменту в цій галузі на стороні машинного навчання. Насправді це вже не навпаки, воно перейшло від цього до просто явно ранніх днів того, що стане важливою і дуже впливовою сферою.

З мого досвіду, домогтися прийняття доповіді про децентралізовану ДН на конференції найвищого рівня може бути досить складно. Мотивація не знайома багатьом рецензентам, а стандартні налаштування експерименту не враховують проблеми, які ви прагнете вирішити. Тому я дуже радий бачити, як такі компанії, як @PluralisHQ і @PrimeIntellect, вкладають зусилля, щоб поділитися своїми результатами та опублікувати їх на великих конференціях! IMO навіть підготовка подання змушує вас бути більш суворим у своїх експериментах / зовнішні відгуки рецензентів допомагають вам посилити посил статті.

Pluralis + Prime Intellect + Ambient перевертає Ethereum до 2030 року

Відчувалося, що закриття мета-моделей було дуже передбачуваним. Я прямо сказав, що це станеться минулого року і пояснив, чому (з ).

Виступив 50 хвилин прямо перед переповненою кімнатою зламаних дослідників штучного інтелекту в ICML, представивши роботи @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ та @GoogleDeepMind. Зараз існує величезний інтерес до DeAI. Місія (частково) виконана.

Для людей, які не знайомі з публікацією штучного інтелекту; Щороку проводяться 3 основні конференції. ICML, ICLR та NeurIPS. Це технічні конференції та аналоги журналів з інших дисциплін – вони є основним майданчиком для публікації ШІ. Конкуренція за участь у цих конференціях зараз на сміховинному рівні, домогтися прийняття доповідей дуже важко, і існує багато занепокоєння щодо процесу рецензування, який на даний момент є досить шумним. Сильна стаття без недоліків має близько 50% шансів бути прийнятою, і, як правило, стаття подається зі змінами рецензента кілька разів, поки її не приймуть. Незважаючи на все це, статті в цих місцях залишаються основним штампом легітимності у світі штучного інтелекту і, ймовірно, все ще є основними кар'єрними показниками для дослідників машинного навчання (хоча це послаблює IMO, оскільки велика частина досліджень у передових лабораторіях не опублікована). Папір Main Track значно відрізняється від паперу для майстерень. Основний трек має насичене, серйозне рецензування. Матеріали воркшопу призначені для попередньої роботи, які дають деяке уявлення про цікавий результат, але або не є повними, або результат недостатньо значний для основного треку. Вони повинні бути розглянуті лише пулом рецензентів семінару, і вони не з'являються в провадженнях. Багато чудових паперів вперше з'явилися в майстернях (наприклад, grokking) - але майстерня і основна доріжка - це принципово різні речі, з принципово різним рівнем впливу. Єдиними двома компаніями в галузі децентралізованого штучного інтелекту, які мають основні рейтинги цього року, є @PrimeIntellect та Pluralis.

Використання красивих дашбордів Grafana для всього внутрішнє, набагато приємніше, ніж Tensorboard. Wandb все ще хороший, але насправді не працює з децентралізованим навчанням. Змушує мене задуматися, який внутрішній vis tooling в openai - мабуть, неймовірно.