Le prove GDM sono fantastiche! Congratulazioni al team per un impegno impressionante.

divertente: 3/4 mesi fa ho eseguito o3 per alcuni accademici su un insieme di problemi in stile AIME. Ci è voluto così tanto tempo per scrivere un riassunto dei risultati (96% se non ricordo male) che Alex ha risolto la prova e l'IMO nel frattempo lol

divertente: 3/4 mesi fa ho eseguito o3 per alcuni accademici su un insieme di problemi in stile AIME. Ci è voluto così tanto tempo per scrivere un riassunto dei risultati (98%) che Alex ha risolto proof+IMO nel frattempo lol

divertente: 3/4 mesi fa ho eseguito o3 per alcuni accademici su un insieme di test privato di problemi simili a quelli dell'AIME. Ci è voluto così tanto tempo per scrivere un riassunto dei risultati (96%) che Alex ha risolto l'IMO nel frattempo.

@alexwei_ puoi dire al mondo quanti token per problema?

Per riassumere questa settimana: - abbiamo rilasciato un computer a scopo generale utilizzando un agente - siamo stati battuti da un singolo umano nella competizione di euristiche di atcoder - abbiamo risolto 5/6 nuovi problemi IMO con prove in linguaggio naturale Tutti questi sono basati sullo stesso singolo sistema di apprendimento per rinforzo.

17 M adolescenti statunitensi delle classi 9-12, ~5 medaglie d'oro US IMO in pratica ma ~20 ragazzi a livello d'oro. Quindi l'oro IMO è un talento matematico da uno su un milione (per i 18enni; ma scommetto che anche il prossimo Putnam cadrà). 99.9999esimo percentile.

Perché sono entusiasta dei risultati di IMO che abbiamo appena pubblicato: - abbiamo fatto molto poco lavoro specifico per IMO, continuiamo semplicemente a formare modelli generali - tutte le prove in linguaggio naturale - nessun sistema di valutazione Avevamo bisogno di una nuova svolta nella ricerca e @alexwei_ e il suo team hanno consegnato

Se affermi di aver previsto tutto questo, è meglio che tu abbia il P&L manifolds per dimostrarlo.

I LLM rimangono sottovalutati