Ainda não temos IA que se auto-melhora, e quando tivermos, será uma mudança de jogo. Com mais sabedoria agora em comparação com os dias do GPT-4, é óbvio que não será uma "decolagem rápida", mas sim extremamente gradual ao longo de muitos anos, provavelmente uma década. A primeira coisa a saber é que a auto-melhoria, ou seja, modelos que se treinam a si mesmos, não é binária. Considere o cenário em que o GPT-5 treina o GPT-6, o que seria incrível. O GPT-5 de repente passaria de não conseguir treinar o GPT-6 de forma alguma para treiná-lo extremamente proficientemente? Definitivamente não. As primeiras execuções de treinamento do GPT-6 provavelmente seriam extremamente ineficientes em termos de tempo e computação em comparação com pesquisadores humanos. E só após muitas tentativas, o GPT-5 realmente seria capaz de treinar o GPT-6 melhor do que os humanos. Em segundo lugar, mesmo que um modelo pudesse treinar a si mesmo, não melhoraria de repente em todos os domínios. Existe um gradiente de dificuldade em quão difícil é melhorar a si mesmo em vários domínios. Por exemplo, talvez a auto-melhoria funcione apenas inicialmente em domínios que já sabemos como corrigir facilmente após o treinamento, como alucinações básicas ou estilo. O próximo seria matemática e programação, que exigem mais trabalho, mas têm métodos estabelecidos para melhorar modelos. E então, no extremo, você pode imaginar que há algumas tarefas que são muito difíceis para a auto-melhoria. Por exemplo, a capacidade de falar Tlingit, uma língua nativa americana falada por cerca de 500 pessoas. Será muito difícil para o modelo se auto-melhorar em falar Tlingit, pois ainda não temos maneiras de resolver línguas de baixo recurso como esta, exceto coletando mais dados, o que levaria tempo. Portanto, devido ao gradiente de dificuldade da auto-melhoria, isso não acontecerá tudo de uma vez. Finalmente, talvez isso seja controverso, mas, em última análise, o progresso na ciência é limitado por experimentos do mundo real. Alguns podem acreditar que ler todos os artigos de biologia nos diria a cura para o câncer, ou que ler todos os artigos de ML e dominar toda a matemática permitiria treinar o GPT-10 perfeitamente. Se esse fosse o caso, então as pessoas que lessem mais artigos e estudassem mais teoria seriam os melhores pesquisadores de IA. Mas o que realmente aconteceu é que a IA (e muitos outros campos) se tornou dominada por pesquisadores empíricos implacáveis, o que reflete o quanto o progresso é baseado em experimentos do mundo real, em vez de inteligência bruta. Portanto, meu ponto é que, embora um agente super inteligente possa projetar experimentos 2x ou até 5x melhores do que nossos melhores pesquisadores humanos, no final do dia, eles ainda têm que esperar os experimentos serem realizados, o que seria uma aceleração, mas não uma decolagem rápida. Em resumo, existem muitos gargalos para o progresso, não apenas inteligência bruta ou um sistema de auto-melhoria. A IA resolverá muitos domínios, mas cada domínio tem sua própria taxa de progresso. E mesmo a mais alta inteligência ainda exigirá experimentos no mundo real. Portanto, será uma aceleração e não uma decolagem rápida, obrigado por ler meu desabafo.