We zouden wel eens op weg kunnen zijn naar een plotwending in de OpenAI vs. DeepMind IMO-saga. Ik zag net een bericht van Joseph Myers (betrokken bij de Wiskunde Olympiade sinds 1992): de IMO-commissie heeft naar verluidt AI-laboratoria gevraagd om resultaten niet te publiceren tot 7 dagen na de sluitingsceremonie — uit respect voor menselijke deelnemers (zie mijn bericht van gisteren) en waarschijnlijk om tijd te geven voor een goede verificatie van AI-indieningen en -formaten. Volgens Joseph heeft OpenAI niet samengewerkt met de IMO om hun model te testen, en geen van de 91 officiële IMO-coördinatoren was betrokken bij het beoordelen van de oplossingen. Ondertussen lijkt het erop dat DeepMind de regels volgt en geduldig op hun beurt wacht. Voor de context: De IMO heeft 6 problemen, elk goed voor 7 punten. De gouden grens dit jaar is 35 punten. Zelfs een kleine aftrek zou OpenAI naar zilver kunnen duwen. En uit mijn lezing van hun verslagen, kunnen sommige delen vragen oproepen — en mogelijk punten kosten. Terence Tao wees ook op het feit dat hoewel de problemen hetzelfde blijven, testformaten belangrijk zijn. Een student die onder standaardomstandigheden geen brons zou behalen, zou goud kunnen behalen met een aangepast opzet — wat echte vragen oproept over wat "het oplossen van de IMO" betekent voor AI. Volgende week zou het spannend kunnen worden. Blijf op de hoogte.
Jasper
Jasper20 jul, 03:15
DeepMind heeft vrijdagmiddag een gouden medaille gewonnen op de IMO. Maar ze moesten wachten op goedkeuring van marketing voor de tweet — tot maandag. @OpenAI deelde de hunne als eerste om 1 uur 's nachts op zaterdag en stal de show. In dit spel is snelheid > bureaucratie. Mis het moment, verlies het verhaal.
@swierk Ze vonden 3 voormalige IMO-medaillewinnaars, geen officiële IMO-coördinatoren: “Voor elk probleem beoordeelden drie voormalige IMO-medaillewinnaars onafhankelijk het ingediende bewijs van het model, met scores die werden vastgesteld na unanieme consensus.”
Alexander Wei
Alexander Wei19 jul, 15:50
6/N In onze evaluatie heeft het model 5 van de 6 problemen op de 2025 IMO opgelost. Voor elk probleem hebben drie voormalige IMO-medaillewinnaars onafhankelijk de ingediende bewijsvoering van het model beoordeeld, met scores die zijn vastgesteld na unanieme consensus. Het model verdiende in totaal 35/42 punten, genoeg voor goud! 🥇
Mijn vorige bericht over het verzoek van de IMO-commissie
Jasper
Jasper20 jul, 05:42
Verduidelijking: Iemand bij Google heeft me verteld dat hun IMO-resultaten nog steeds intern worden geverifieerd. Zodra dat is gedaan, zijn ze van plan om ze officieel te delen—ben benieuwd naar hun aanpak. Een andere bron vermeldde dat de IMO-commissie vroeg om AI-betrokkenheid niet publiekelijk te bespreken binnen een week na de sluitingsceremonie. De zaken zijn net iets interessanter geworden 🧐
@GoogleDeepMind superhuman reasoning team lead @lmthang stelde ook de vraag of OpenAI een gouden of zilveren medaille zou winnen.
Jasper
Jasper20 jul, 05:42
Verduidelijking: Iemand bij Google heeft me verteld dat hun IMO-resultaten nog steeds intern worden geverifieerd. Zodra dat is gedaan, zijn ze van plan om ze officieel te delen—ben benieuwd naar hun aanpak. Een andere bron vermeldde dat de IMO-commissie vroeg om AI-betrokkenheid niet publiekelijk te bespreken binnen een week na de sluitingsceremonie. De zaken zijn net iets interessanter geworden 🧐
@GoogleDeepMind superhuman reasoning team lead @lmthang die AlphaGeometry heeft gebouwd, stelde ook de vraag of OpenAI een gouden of zilveren medaille zou winnen.
Thang Luong
Thang Luong20 jul, 23:47
Ja, er is een officiële beoordelingsrichtlijn van de IMO-organisatoren die niet extern beschikbaar is. Zonder de evaluatie op basis van die richtlijn kan er geen medailleclaim worden gemaakt. Met één punt aftrek is het een Zilver, geen Goud.
@swierk Ja, er worden steeds meer vragen gesteld door wiskunde- en AI-mensen.
Jasper
Jasper21 jul, 03:41
@GoogleDeepMind superhuman reasoning team lead @lmthang die AlphaGeometry heeft gebouwd, stelde ook de vraag of OpenAI een gouden of zilveren medaille zou winnen.
219,7K