Les preuves GDM sont magnifiques ! Félicitations à l'équipe pour cet effort impressionnant.

fun : il y a 3/4 mois, j'ai utilisé o3 pour des travaux académiques sur un ensemble de problèmes de style AIME. Il leur a fallu tellement de temps pour rédiger un résumé des résultats (96 % si je me souviens bien) qu'Alex a résolu la preuve et l'IMO entre-temps lol

il y a 3/4 mois, j'ai utilisé o3 pour des travaux académiques sur un ensemble de problèmes de style AIME. Il leur a fallu si longtemps pour rédiger un résumé des résultats (98%) qu'Alex a résolu proof+IMO entre-temps lol

il y a 3/4 mois, j'ai exécuté o3 pour des universitaires sur un ensemble de tests privés de problèmes similaires à l'AIME. Il leur a fallu tellement de temps pour rédiger un résumé des résultats (96%) qu'Alex a résolu l'IMO entre-temps.

@alexwei_ peux-tu dire au monde combien de tokens par problème ?

Pour résumer cette semaine : - nous avons lancé un ordinateur à usage général utilisant un agent - nous avons été battus par un seul humain lors de la compétition de heuristiques d'Atcoder - nous avons résolu 5/6 nouveaux problèmes de l'IMO avec des preuves en langage naturel Tous ces éléments sont basés sur le même système d'apprentissage par renforcement.

17 M adolescents américains en classes 9-12, ~5 médailles d'or US IMO en pratique mais ~20 enfants au niveau or. Donc, la médaille d'or IMO est un talent mathématique d'un sur un million (pour les 18 ans ; mais je parie que le prochain Putnam tombera aussi). 99,9999e percentile.

Pourquoi suis-je enthousiaste à propos des résultats d'IMO que nous venons de publier : - nous avons fait très peu de travail spécifique à l'IMO, nous continuons simplement à entraîner des modèles généraux - toutes les preuves en langage naturel - pas de cadre d'évaluation Nous avions besoin d'une nouvelle percée en recherche et @alexwei_ et son équipe ont livré.

Si vous prétendez avoir vu cela venir, vous feriez mieux d'avoir le P&L manifold pour le prouver.

Les LLMs restent sous-estimés