A tese de rede da IA está se desenrolando: - orquestrar vários modelos - Dimensionamento paralelizado para mais inteligência - protocolos abertos, como MCP
Varun
Varun14 de set. de 2024
A OpenAI com o lançamento do o1 provou inadvertidamente a intuição cripto x IA que escrevi neste ensaio há exatamente um ano: Um modelo como o1 agora tem um orçamento de token de raciocínio de 25.000 para um único prompt - representando pelo menos um aumento de 20 vezes na média por orçamentos de token de prompt. Esta é uma tarefa de computação paralelizada, onde redes distribuídas e descentralizadas podem ser dimensionadas infinitamente. E - a inteligência percebida por um usuário realmente melhora! Considere se uma rede como o Hyperspace crescer dos 20k+ nós hoje para 20 milhões de nós um dia, ela estaria entre os 5 principais clusters de IA do mundo, de onde você obteria as respostas mais inteligentes. E também seria mais barato ao mesmo tempo, pois é uma função dos custos locais de eletricidade mais a economia de mercado em tempo real. Não há intermediários. Mesmo os micropagamentos entre agentes seriam gerenciados por meio de um protocolo executado por uma fração desses nós. Grandes modelos pré-treinados em pequenos aglomerados são dinossauros nesse mundo. Muito lento, não tão inteligente, mesmo que agradem a algumas pessoas da comunidade acadêmica. O que eventualmente vence são as maiores redes. Como a inteligência agora é uma função da escala paralelizada de inferência, quase toda a IA será distribuída. Este é um mercado que ocorre uma vez a cada 20 anos. Nossas prioridades são claras: queremos construir o empreendimento de IA distribuída mais impactante e não comprometeremos essa visão. Esse trabalho, portanto, abrange novos modelos, produtos de IA, sistemas distribuídos, redes, clientes e protocolos. Escalamos usando software. cc @ylecun
feedsImage
2,21K