1/N Я рад поделиться тем, что наш последний экспериментальный LLM от @OpenAI достиг давнего грандиозного вызова в ИИ: золотого медального уровня на самом престижном математическом соревновании в мире — Международной математической олимпиаде (IMO).
2/N Мы оценили наши модели по задачам IMO 2025 по тем же правилам, что и у человеческих участников: два экзамена по 4,5 часа, без инструментов и интернета, чтение официальных формулировок задач и написание доказательств на естественном языке.
4/N Во-вторых, IMO-заявки являются труднодоказуемыми, многопользовательскими доказательствами. Прогресс здесь требует выхода за рамки парадигмы RL с четкими, проверяемыми вознаграждениями. Таким образом, мы получили модель, которая может создавать сложные, непробиваемые аргументы на уровне человеческих математиков.
5/N Кроме самого результата, я взволнован нашим подходом: мы достигаем этого уровня возможностей не через узкую, специфическую для задач методологию, а прокладывая новый путь в общем-purpose обучении с подкреплением и масштабировании вычислений во время тестирования.
6/N В нашей оценке модель решила 5 из 6 задач на IMO 2025. Для каждой задачи трое бывших медалистов IMO независимо оценили представленный моделью доказательство, а баллы были окончательно утверждены после единогласного согласия. Модель набрала 35 из 42 баллов в общей сложности, что достаточно для золота! 🥇
8/N Кстати, мы скоро выпустим GPT-5, и мы рады, что вы сможете его попробовать. Но чтобы прояснить: IMO gold LLM — это экспериментальная исследовательская модель. Мы не планируем выпускать ничего с таким уровнем математических возможностей в течение нескольких месяцев.
9/N Тем не менее, это подчеркивает, насколько быстро развивался ИИ в последние годы. В 2021 году мой научный руководитель по PhD @JacobSteinhardt попросил меня спрогнозировать прогресс в математике ИИ к июлю 2025 года. Я предсказал 30% по стандарту MATH (и думал, что все остальные слишком оптимистичны). Вместо этого у нас золото IMO.
11/N Наконец, мы хотели бы поздравить всех участников IMO 2025 с их достижением! Мы гордимся тем, что в @OpenAI есть много бывших участников IMO и признаем, что это одни из самых ярких молодых умов будущего.
1,12M