Nossa equipe de infraestrutura divide o conceito de "engenharia de contexto": @martin_casado - "Se você vai chamar um modelo, você tem que saber o que colocar no contexto... Em algum momento, você provavelmente usará a ciência da computação tradicional." @JenniferHli - "Qual é o novo fator de forma da infraestrutura que precisa se tornar parte dessa engenharia de contexto?... Como você tem agências, ferramentas ou infraestrutura que fornecerão descoberta e garantias de observabilidade desses sistemas também?" "Novas peças de infraestrutura criam novos padrões e métodos de software e sistemas de construção. Este é um ótimo exemplo disso emergindo diante de nossos olhos."
Andrej Karpathy
Andrej Karpathy25 de jun. de 2025
+1 para "engenharia de contexto" em vez de "engenharia rápida". As pessoas associam prompts a descrições curtas de tarefas que você daria a um LLM em seu uso diário. Quando em todos os aplicativos LLM de força industrial, a engenharia de contexto é a delicada arte e ciência de preencher a janela de contexto com as informações certas para a próxima etapa. Ciência porque fazer isso direito envolve descrições e explicações de tarefas, poucos exemplos de tiros, RAG, dados relacionados (possivelmente multimodais), ferramentas, estado e histórico, compactação... Muito pouco ou da forma errada e o LLM não tem o contexto certo para um desempenho ideal. Muito ou muito irrelevante e os custos de LLM podem subir e o desempenho pode diminuir. Fazer isso bem é altamente não trivial. E arte por causa da intuição orientadora em torno da psicologia LLM dos espíritos das pessoas. Além da engenharia de contexto em si, um aplicativo LLM precisa: - dividir os problemas em fluxos de controle - embale as janelas de contexto da maneira certa - enviar chamadas para LLMs do tipo e capacidade certos - lidar com fluxos UIUX de verificação de geração - muito mais - proteções, segurança, avaliações, paralelismo, pré-busca, ... Portanto, a engenharia de contexto é apenas uma pequena parte de uma camada espessa emergente de software não trivial que coordena chamadas LLM individuais (e muito mais) em aplicativos LLM completos. O termo "wrapper ChatGPT" está cansado e muito, muito errado.
23,15K