🚨 Олимпиадная математика + ИИ: Мы запустили Google Gemini 2.5 Pro на свежих задачах IMO 2025. С помощью тщательной настройки и проектирования пайплайна он решил 5 из 6 — это замечательно для задач, требующих глубокого понимания и креативности. Модель может выиграть золото! 🥇 #ИИ #Математика #LLMs #IMO2025

IMO 🥇достигнуто! Очень горжусь тем, что смог внести свой вклад в постобучение и размышления по поводу этой модели! Становимся ближе к ASI!

Азиаты: мы сами исправим свои ошибки

Чтобы бороться с азиатами, нужны азиаты

Почему командам предтренировки и посттренировки нужно ладить

Команда Grok интернализирует операции с человеческими данными (например, набор на роль AI-наставника для японского языка). Вероятно, больше лабораторий на переднем крае задумываются о владении и управлении трудозатратами на данные.

Команда Grok интернализирует операции с человеческими данными (например, набор на роль AI-наставника для японского языка). Учитывая переход Scale AI, вероятно, больше лабораторий на переднем крае подумают о владении и управлении трудозатратами на данные.

Если вы на ICML и интересуетесь RL или многоязычностью, пожалуйста, поздоровайтесь с @marafinkels! Мы тесно работали последние несколько месяцев, чтобы разработать метод RL для решения критической проблемы качества Gemini. У нее также отличные идеи для исследований! Надеюсь, Gemini и академическое сообщество останутся на связи.

Новая запись в блоге о асимметрии верификации и "законе верификатора": Асимметрия верификации — это идея о том, что некоторые задачи гораздо легче проверить, чем решить, и она становится важной концепцией, поскольку у нас есть RL, который наконец работает в общем случае. Отличные примеры асимметрии верификации — это такие вещи, как судоку, написание кода для веб-сайта, подобного Instagram, и задачи BrowseComp (требуется ~100 веб-сайтов, чтобы найти ответ, но легко проверить, когда у вас есть ответ). Другие задачи имеют почти симметрию верификации, такие как сложение двух 900-значных чисел или некоторые скрипты обработки данных. Однако другие задачи гораздо легче предложить осуществимые решения, чем проверить их (например, проверка фактов длинного эссе или утверждение новой диеты, такой как "едим только бизонов"). Важно понимать, что асимметрию верификации можно улучшить, выполнив некоторую работу заранее. Например, если у вас есть ключ ответов к математической задаче или если у вас есть тестовые случаи для задачи Leetcode. Это значительно увеличивает набор задач с желаемой асимметрией верификации. "Закон верификатора" гласит, что легкость обучения ИИ решать задачу пропорциональна тому, насколько проверяемой является эта задача. Все задачи, которые можно решить и легко проверить, будут решены ИИ. Способность обучать ИИ решать задачу пропорциональна тому, имеет ли задача следующие свойства: 1. Объективная истина: все согласны с тем, что такое хорошие решения 2. Быстрая верификация: любое данное решение можно проверить за несколько секунд 3. Масштабируемая верификация: многие решения можно проверить одновременно 4. Низкий уровень шума: верификация как можно более тесно связана с качеством решения 5. Непрерывная награда: легко оценить качество многих решений для одной проблемы Одним очевидным воплощением закона верификатора является тот факт, что большинство предложенных в ИИ бенчмарков легко проверить и до сих пор были решены. Обратите внимание, что практически все популярные бенчмарки за последние десять лет соответствуют критериям #1-4; бенчмарки, которые не соответствуют критериям #1-4, будут испытывать трудности с тем, чтобы стать популярными. Почему проверяемость так важна? Объем обучения в ИИ максимизируется, когда вышеуказанные критерии удовлетворены; вы можете сделать много градиентных шагов, где каждый шаг имеет много сигнала. Скорость итерации критична — это причина, по которой прогресс в цифровом мире был гораздо быстрее, чем прогресс в физическом мире. AlphaEvolve от Google является одним из величайших примеров использования асимметрии верификации. Он сосредоточен на настройках, которые соответствуют всем вышеуказанным критериям, и привел к ряду достижений в математике и других областях. В отличие от того, что мы делали в ИИ за последние два десятилетия, это новая парадигма, в которой все задачи оптимизируются в условиях, где обучающая выборка эквивалентна тестовой выборке. Асимметрия верификации повсюду, и это захватывающе — представить мир зазубренного интеллекта, где все, что мы можем измерить, будет решено.

Влиятельная работа, которую может сделать каждый, — это использовать LLM для ведения журнала и цифровизации как можно большей части вашего рабочего процесса, CoTs и вдохновения. Контекстная инженерия для автоматизации и дополнения себя в жизни и работе.