Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Nossa equipe de infraestrutura divide o conceito de "engenharia de contexto":
@martin_casado - "Se você vai chamar um modelo, você tem que saber o que colocar no contexto... Em algum momento, você provavelmente usará a ciência da computação tradicional."
@JenniferHli - "Qual é o novo fator de forma da infraestrutura que precisa se tornar parte dessa engenharia de contexto?... Como você faz com que os agentes usem ferramentas ou infraestrutura que fornecerão descoberta e garantias de observabilidade desses sistemas também?"
"Novas peças de infraestrutura criam novos padrões e métodos de software e sistemas de construção. Este é um ótimo exemplo disso emergindo diante de nossos olhos."

25 de jun. de 2025
+1 para "engenharia de contexto" em vez de "engenharia rápida".
As pessoas associam prompts a descrições curtas de tarefas que você daria a um LLM em seu uso diário. Quando em todos os aplicativos LLM de força industrial, a engenharia de contexto é a delicada arte e ciência de preencher a janela de contexto com as informações certas para a próxima etapa. Ciência porque fazer isso direito envolve descrições e explicações de tarefas, poucos exemplos de tiros, RAG, dados relacionados (possivelmente multimodais), ferramentas, estado e histórico, compactação... Muito pouco ou da forma errada e o LLM não tem o contexto certo para um desempenho ideal. Muito ou muito irrelevante e os custos de LLM podem subir e o desempenho pode diminuir. Fazer isso bem é altamente não trivial. E arte por causa da intuição orientadora em torno da psicologia LLM dos espíritos das pessoas.
Além da engenharia de contexto em si, um aplicativo LLM precisa:
- dividir os problemas em fluxos de controle
- embale as janelas de contexto da maneira certa
- enviar chamadas para LLMs do tipo e capacidade certos
- lidar com fluxos UIUX de verificação de geração
- muito mais - proteções, segurança, avaliações, paralelismo, pré-busca, ...
Portanto, a engenharia de contexto é apenas uma pequena parte de uma camada espessa emergente de software não trivial que coordena chamadas LLM individuais (e muito mais) em aplicativos LLM completos. O termo "wrapper ChatGPT" está cansado e muito, muito errado.
854
Melhores
Classificação
Favoritos