Podemos estar a entrar numa reviravolta na saga OpenAI vs. DeepMind IMO. Acabei de ver uma publicação de Joseph Myers (envolvido na Olimpíada de Matemática desde 1992): o comitê da IMO supostamente pediu aos laboratórios de IA que não publicassem resultados até 7 dias após a cerimônia de encerramento — por respeito aos concorrentes humanos (veja minha publicação de ontem) e provavelmente para permitir tempo para a verificação adequada das submissões e formatos de IA. De acordo com Joseph, a OpenAI não colaborou com a IMO para testar seu modelo, e nenhum dos 91 coordenadores oficiais da IMO esteve envolvido na avaliação das suas soluções. Enquanto isso, parece que a DeepMind está a seguir as regras e a esperar pacientemente a sua vez. Para contexto: A IMO tem 6 problemas, cada um valendo 7 pontos. O corte de ouro deste ano é de 35 pontos. Mesmo uma pequena dedução poderia fazer a OpenAI cair para prata. E pela minha leitura dos seus relatórios, algumas partes podem levantar questões — e possivelmente custar pontos. Terence Tao também apontou que, embora os problemas permaneçam os mesmos, os formatos de teste importam. Um estudante que não conseguiria uma medalha de bronze em condições normais pode conquistar o ouro com uma configuração modificada — o que levanta questões reais sobre o que significa "resolver a IMO" para a IA. A próxima semana pode ser emocionante. Fique atento.
Jasper
Jasper20/07, 03:15
A DeepMind ganhou uma medalha de ouro na IMO na tarde de sexta-feira. Mas tiveram que esperar pela aprovação do marketing para o tweet — até segunda-feira. A @OpenAI partilhou o seu primeiro às 1h da manhã de sábado e roubou o destaque. Neste jogo, velocidade > burocracia. Perde o momento, perde a narrativa.
@swierk Encontraram 3 ex-medalhistas da IMO que não são coordenadores oficiais da IMO: “Para cada problema, três ex-medalhistas da IMO avaliaram independentemente a prova submetida pelo modelo, com as pontuações finalizadas após consenso unânime.”
Alexander Wei
Alexander Wei19/07, 15:50
6/N Na nossa avaliação, o modelo resolveu 5 dos 6 problemas da IMO 2025. Para cada problema, três ex-medalhistas da IMO avaliaram independentemente a prova submetida pelo modelo, com as pontuações finalizadas após consenso unânime. O modelo obteve 35/42 pontos no total, o suficiente para ouro! 🥇
A minha publicação anterior sobre o pedido do comitê IMO
Jasper
Jasper20/07, 05:42
Esclarecimento: Fui informado por alguém do Google que os resultados do IMO ainda estão a ser verificados internamente. Assim que isso estiver concluído, planeiam partilhá-los oficialmente—estou curioso para ver a abordagem deles. Outra fonte mencionou que o comitê do IMO pediu para não discutir publicamente a participação da IA dentro de uma semana após a cerimónia de encerramento. As coisas ficaram um pouco mais interessantes 🧐
@GoogleDeepMind o líder da equipa de raciocínio super-humano @lmthang também levantou a questão sobre se a OpenAI ganharia uma medalha de ouro ou prata.
Jasper
Jasper20/07, 05:42
Esclarecimento: Fui informado por alguém do Google que os resultados do IMO ainda estão a ser verificados internamente. Assim que isso estiver concluído, planeiam partilhá-los oficialmente—estou curioso para ver a abordagem deles. Outra fonte mencionou que o comitê do IMO pediu para não discutir publicamente a participação da IA dentro de uma semana após a cerimónia de encerramento. As coisas ficaram um pouco mais interessantes 🧐
@GoogleDeepMind líder da equipa de raciocínio super-humano @lmthang que construiu o AlphaGeometry também levantou a questão sobre se a OpenAI ganharia uma medalha de ouro ou de prata.
Thang Luong
Thang Luong20/07, 23:47
Sim, existe uma diretriz oficial de marcação dos organizadores do IMO que não está disponível externamente. Sem a avaliação com base nessa diretriz, não pode ser feita nenhuma reivindicação de medalha. Com um ponto deduzido, é uma Prata, não Ouro.
@swierk Sim, há cada vez mais perguntas levantadas por pessoas da matemática e da IA.
Jasper
Jasper21/07, 03:41
@GoogleDeepMind líder da equipa de raciocínio super-humano @lmthang que construiu o AlphaGeometry também levantou a questão sobre se a OpenAI ganharia uma medalha de ouro ou de prata.
219,7K