La tesis de red de la IA se está desarrollando: - orquestar múltiples modelos - escalado paralelizado para más inteligencia - protocolos abiertos como MCP
Varun
Varun14 sept 2024
OpenAI, con el lanzamiento de o1, ha demostrado inadvertidamente la intuición de cripto x IA que escribí en este ensayo hace exactamente un año: Un modelo como o1 ahora tiene un presupuesto de tokens de razonamiento de 25,000 para un solo aviso, lo que representa al menos un aumento de 20 veces en el presupuesto promedio de tokens por aviso. Esta es una tarea de computación paralelizada, donde redes distribuidas y descentralizadas pueden escalar infinitamente. Y - ¡la inteligencia, tal como la percibe un usuario, realmente mejora! Considera que si una red como Hyperspace crece de los 20k+ nodos de hoy a 20 millones de nodos algún día, estaría entre los 5 principales clústeres de IA en el mundo donde obtendrías las respuestas más inteligentes. Y también sería más barato al mismo tiempo, ya que es una función de los costos locales de electricidad más la economía de mercado en tiempo real. No hay intermediarios. Incluso los micropagos entre agentes se gestionarían a través de un protocolo ejecutado por una fracción de estos nodos. Los grandes modelos preentrenados en pequeños clústeres son dinosaurios en ese mundo. Demasiado lentos, no tan inteligentes, incluso si complacen a algunas personas en la comunidad académica. Lo que finalmente gana son las redes más grandes. Dado que la inteligencia ahora es una función de la escalabilidad paralelizada de la inferencia, casi toda la IA va a ser distribuida. Este es un mercado que ocurre una vez cada 20 años. Nuestras prioridades son claras: queremos construir la empresa de IA distribuida más impactante y no comprometeremos esa visión. Ese trabajo abarca desde nuevos modelos, productos de IA, sistemas distribuidos, redes, clientes y protocolos. Escalamos usando software. cc @ylecun
feedsImage
1,64K