Todavía no tenemos automejoras de la IA, y cuando lo hagamos, cambiará las reglas del juego. Con más sabiduría ahora en comparación con los días de GPT-4, es obvio que no será un "despegue rápido", sino más bien extremadamente gradual a lo largo de muchos años, probablemente una década. Lo primero que hay que saber es que la superación personal, es decir, los modelos que se entrenan a sí mismos, no es binaria. Considere el escenario de GPT-5 entrenando a GPT-6, que sería increíble. ¿GPT-5 pasaría de repente de no poder entrenar a GPT-6 en absoluto a entrenarlo de manera extremadamente competente? Definitivamente no. Las primeras ejecuciones de entrenamiento de GPT-6 probablemente serían extremadamente ineficientes en tiempo y computación en comparación con los investigadores humanos. Y solo después de muchos ensayos, GPT-5 sería realmente capaz de entrenar a GPT-6 mejor que los humanos. En segundo lugar, incluso si un modelo pudiera entrenarse a sí mismo, no mejoraría repentinamente en todos los dominios. Hay un gradiente de dificultad en lo difícil que es mejorarse a sí mismo en varios dominios. Por ejemplo, puede que la superación personal solo funcione al principio en dominios que ya sabemos arreglar fácilmente en el post-entrenamiento, como las alucinaciones básicas o el estilo. Lo siguiente serían las matemáticas y la codificación, que requieren más trabajo, pero han establecido métodos para mejorar los modelos. Y luego, en el extremo, puedes imaginar que hay algunas tareas que son muy difíciles para la superación personal. Por ejemplo, la capacidad de hablar tlingit, un idioma nativo americano hablado por ~500 personas. Será muy difícil para el modelo mejorar por sí mismo en hablar tlingit, ya que aún no tenemos formas de resolver idiomas de bajos recursos como este, excepto recopilar más datos, lo que llevaría tiempo. Por lo tanto, debido al gradiente de dificultad de la superación personal, no sucederá todo a la vez. Finalmente, tal vez esto sea controvertido, pero en última instancia, el progreso en la ciencia se ve obstaculizado por experimentos del mundo real. Algunos pueden creer que leer todos los artículos de biología nos dirá la cura para el cáncer, o que leer todos los artículos de ML y dominar todas las matemáticas te permitiría entrenar GPT-10 perfectamente. Si este fuera el caso, entonces las personas que leyeron más artículos y estudiaron la mayor cantidad de teorías serían los mejores investigadores de IA. Pero lo que realmente sucedió es que la IA (y muchos otros campos) fueron dominados por investigadores empíricos despiadados, lo que refleja cuánto progreso se basa en experimentos del mundo real en lugar de inteligencia bruta. Así que mi punto es que, aunque un agente súper inteligente podría diseñar experimentos 2 veces o incluso 5 veces mejores que nuestros mejores investigadores humanos, al final del día todavía tienen que esperar a que se ejecuten los experimentos, lo que sería una aceleración pero no un despegue rápido. En resumen, hay muchos cuellos de botella para el progreso, no solo la inteligencia bruta o un sistema de superación personal. La IA resolverá muchos dominios, pero cada dominio tiene su propio ritmo de progreso. E incluso la inteligencia más alta seguirá requiriendo experimentos en el mundo real. Así que será una aceleración y no un despegue rápido, gracias por leer mi perorata