Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
A nossa equipa de infra estrutura analisa o conceito de "engenharia de contexto":
@martin_casado - "Se você vai chamar um modelo, tem que saber o que colocar no contexto... Em algum momento, você provavelmente vai usar ciência da computação tradicional."
@JenniferHli - "Qual é a nova forma de infra que precisa fazer parte desta engenharia de contexto?... Como você faz com que agentes usem ferramentas, ou infraestruturas que proporcionarão descoberta e garantias de observabilidade desses sistemas também?"
"Novas peças de infraestrutura criam novos padrões e métodos de software e construção de sistemas. Este é um ótimo exemplo de como isso está surgindo diante dos nossos olhos."

25/06/2025
+1 para "engenharia de contexto" em vez de "engenharia de prompt".
As pessoas associam prompts a descrições curtas de tarefas que você daria a um LLM no seu uso diário. Quando, em cada aplicativo LLM de força industrial, a engenharia de contexto é a delicada arte e ciência de preencher a janela de contexto com as informações certas para o próximo passo. Ciência porque fazer isso corretamente envolve descrições de tarefas e explicações, exemplos de poucos disparos, RAG, dados relacionados (possivelmente multimodais), ferramentas, estado e histórico, compactação... Muito pouco ou na forma errada e o LLM não tem o contexto certo para um desempenho ótimo. Muito ou irrelevante demais e os custos do LLM podem aumentar e o desempenho pode cair. Fazer isso bem é altamente não trivial. E arte por causa da intuição orientadora em torno da psicologia do LLM e do espírito das pessoas.
Além da própria engenharia de contexto, um aplicativo LLM tem que:
- dividir problemas da maneira certa em fluxos de controle
- empacotar as janelas de contexto da maneira certa
- despachar chamadas para LLMs do tipo e capacidade corretos
- lidar com fluxos de UIUX de geração-verificação
- muito mais - barreiras de proteção, segurança, avaliações, paralelismo, pré-busca, ...
Portanto, a engenharia de contexto é apenas uma pequena parte de uma camada emergente espessa de software não trivial que coordena chamadas individuais de LLM (e muito mais) em aplicativos LLM completos. O termo "wrapper do ChatGPT" está cansado e realmente, realmente errado.
860
Top
Classificação
Favoritos