Unser Infra-Team erklärt das Konzept des „Kontext-Engineerings“: @martin_casado - „Wenn du ein Modell aufrufen willst, musst du wissen, was du in den Kontext einfügen musst... Irgendwann wirst du wahrscheinlich traditionelle Informatik verwenden." @JenniferHli - „Was ist die neue Form der Infrastruktur, die Teil dieses Kontext-Engineerings werden muss?... Wie können Agenten Werkzeuge oder Infrastrukturen nutzen, die Entdeckung und Garantien für die Beobachtbarkeit dieser Systeme bieten?" „Neue Infrastrukturteile schaffen neue Muster und Methoden für Software und den Aufbau von Systemen. Das ist ein großartiges Beispiel dafür, wie es direkt vor unseren Augen entsteht.“
Andrej Karpathy
Andrej Karpathy25. Juni 2025
+1 für "Kontext-Engineering" gegenüber "Prompt-Engineering". Die Leute assoziieren Prompts mit kurzen Aufgabenbeschreibungen, die man einem LLM im täglichen Gebrauch geben würde. In jeder industrietauglichen LLM-Anwendung ist Kontext-Engineering jedoch die feine Kunst und Wissenschaft, das Kontextfenster mit genau den richtigen Informationen für den nächsten Schritt zu füllen. Wissenschaft, weil es richtig zu machen, Aufgabenbeschreibungen und Erklärungen, wenige Beispielanfragen, RAG, verwandte (möglicherweise multimodale) Daten, Werkzeuge, Zustand und Geschichte, Komprimierung... erfordert. Zu wenig oder in der falschen Form und das LLM hat nicht den richtigen Kontext für optimale Leistung. Zu viel oder zu irrelevant und die Kosten des LLM könnten steigen und die Leistung könnte sinken. Das gut zu machen, ist äußerst anspruchsvoll. Und Kunst, wegen der leitenden Intuition rund um die Psychologie von LLMs und den Geistern der Menschen. Neben dem Kontext-Engineering selbst muss eine LLM-Anwendung: - Probleme genau richtig in Kontrollflüsse aufteilen - die Kontextfenster genau richtig packen - Anrufe an LLMs der richtigen Art und Fähigkeit dispatchen - Generierung-Verifizierung UIUX-Flüsse handhaben - viel mehr - Sicherheitsvorkehrungen, Sicherheit, Bewertungen, Parallelität, Vorababruf, ... Kontext-Engineering ist also nur ein kleines Stück eines sich entwickelnden dicken Schicht von anspruchsvoller Software, die individuelle LLM-Anrufe (und viel mehr) in vollständige LLM-Anwendungen koordiniert. Der Begriff "ChatGPT-Wrapper" ist müde und wirklich, wirklich falsch.
850