我們的基礎設施團隊解析「上下文工程」的概念: @martin_casado - 「如果你要調用一個模型,你必須知道要放入上下文中的內容……在某個時刻,你可能會使用傳統的計算機科學。」 @JenniferHli - 「基礎設施的新形式因素是什麼,需要成為這個上下文工程的一部分?……你如何擁有機構、工具或基礎設施,來提供這些系統的發現和可觀察性的保證?」 「新的基礎設施組件創造了新的模式和軟體及系統建設的方法。這是一個在我們眼前出現的絕佳例子。」
Andrej Karpathy
Andrej Karpathy2025年6月25日
+1 表示 “context engineering” 超過 “prompt engineering”。 人們將提示與您在日常使用中會給 LLM 的簡短任務描述相關聯。在每個工業級 LLM 應用程式中,上下文工程都是一門微妙的藝術和科學,它為下一步填充了正確的資訊。科學,因為做對了這件事涉及任務描述和解釋、少數鏡頭示例、RAG、相關(可能是多模態)數據、工具、狀態和歷史記錄、壓縮......太少或形式錯誤,並且 LLM 沒有正確的上下文來獲得最佳性能。太多或太不相關,LLM 成本可能會上升,性能可能會下降。做好這件事非常重要。而藝術是因為圍繞 LLM 心理學的指導直覺。 除了上下文工程本身之外,LLM 應用程式還必須: - 將問題直接分解到控制流中 - 恰到好處地打包上下文視窗 - 將調用分派給正確類型和能力的 LLM - 處理生成驗證 UIUX 流程 - 更多 - 護欄、安全、評估、並行、預取...... 因此,上下文工程只是新興的厚層非平凡軟體中的一小部分,該軟體將單個 LLM 調用(以及更多)協調到完整的 LLM 應用程式中。“ChatGPT 包裝器”這個詞很累,而且真的非常非常錯誤。
22.69K