Мы, возможно, движемся к неожиданному повороту в саге OpenAI против DeepMind на IMO. Только что увидел пост от Джозефа Майерса (участвует в Олимпиаде по математике с 1992 года): комитет IMO, по сообщениям, попросил лаборатории ИИ не публиковать результаты до 7 дней после закрытия церемонии — из уважения к участникам-людям (см. мой пост вчера) и, вероятно, чтобы дать время на надлежащую проверку поданных ИИ решений и форматов. По словам Джозефа, OpenAI не сотрудничала с IMO для тестирования своей модели, и ни один из 91 официальных координаторов IMO не участвовал в оценке ее решений. Тем временем, похоже, что DeepMind соблюдает правила и терпеливо ждет своей очереди. Для контекста: В IMO 6 задач, каждая стоит 7 баллов. В этом году золотой порог составляет 35 баллов. Даже небольшое снижение может сбросить OpenAI до серебра. И, судя по их отчетам, некоторые части могут вызвать вопросы — и, возможно, стоить баллов. Теренс Тао также отметил, что хотя задачи остаются прежними, форматы тестирования имеют значение. Студент, который не получил бы бронзу в стандартных условиях, может получить золото с измененной настройкой — что поднимает реальные вопросы о том, что значит "решить IMO" для ИИ. На следующей неделе может быть интересно. Оставайтесь с нами.
Jasper
Jasper20 июл., 03:15
DeepMind получила золотую медаль на IMO в пятницу днем. Но им пришлось ждать, пока маркетинг одобрит твит — до понедельника. @OpenAI поделились своим первым в 1:00 в субботу и украли все внимание. В этой игре скорость > бюрократия. Упустите момент, потеряйте нарратив.
@swierk Они нашли 3 бывших медалистов IMO, не являющихся официальными координаторами IMO: "Для каждой задачи три бывших медалиста IMO независимо оценили представленные доказательства модели, а оценки были окончательно утверждены после единогласного согласия."
Alexander Wei
Alexander Wei19 июл., 15:50
6/N В нашей оценке модель решила 5 из 6 задач на IMO 2025. Для каждой задачи трое бывших медалистов IMO независимо оценили представленный моделью доказательство, а баллы были окончательно утверждены после единогласного согласия. Модель набрала 35 из 42 баллов в общей сложности, что достаточно для золота! 🥇
Мой предыдущий пост о запросе комитета IMO
Jasper
Jasper20 июл., 05:42
Разъяснение: мне сказали, что кто-то из Google сообщил, что их результаты IMO все еще проверяются внутренне. Как только это будет сделано, они планируют официально их опубликовать — любопытно увидеть их подход. Другой источник упомянул, что комитет IMO попросил не обсуждать участие ИИ публично в течение недели после закрытия церемонии. Теперь стало немного интереснее 🧐
Руководитель команды суперчеловеческого мышления @GoogleDeepMind @lmthang также поднял вопрос о том, выиграет ли OpenAI золото или серебро.
Jasper
Jasper20 июл., 05:42
Разъяснение: мне сказали, что кто-то из Google сообщил, что их результаты IMO все еще проверяются внутренне. Как только это будет сделано, они планируют официально их опубликовать — любопытно увидеть их подход. Другой источник упомянул, что комитет IMO попросил не обсуждать участие ИИ публично в течение недели после закрытия церемонии. Теперь стало немного интереснее 🧐
Руководитель команды суперчеловеческого мышления @GoogleDeepMind @lmthang, который создал AlphaGeometry, также поднял вопрос о том, выиграет ли OpenAI золотую или серебряную медаль.
Thang Luong
Thang Luong20 июл., 23:47
Да, есть официальные рекомендации по оценке от организаторов IMO, которые недоступны извне. Без оценки на основе этих рекомендаций нельзя заявлять о медали. С одним вычтенным баллом это серебро, а не золото.
@swierk Да, все больше и больше вопросов поднимается людьми из математики и ИИ.
Jasper
Jasper21 июл., 03:41
Руководитель команды суперчеловеческого мышления @GoogleDeepMind @lmthang, который создал AlphaGeometry, также поднял вопрос о том, выиграет ли OpenAI золотую или серебряную медаль.
219,7K