Наша команда аналізує поняття «контекст-інжиніринг»: @martin_casado - «Якщо ви збираєтеся викликати модель, ви повинні знати, що ставити в контексті... У якийсь момент ви, ймовірно, будете використовувати традиційну інформатику». @JenniferHli - "Який новий форм-фактор інфраструктури повинен стати частиною цього контекстного інжинірингу?... Як у вас є агенції, інструменти чи інфраструктура, які забезпечать виявлення та гарантії спостережливості цих систем?» «Нові елементи інфраструктури створюють нові шаблони та методи програмного забезпечення та побудови систем. Це чудовий приклад того, як вона постає перед нашими очима».
Andrej Karpathy
Andrej Karpathy25 черв. 2025 р.
+1 за "контекстний інжиніринг" замість "оперативний інжиніринг". Люди асоціюють підказки з короткими описами завдань, які ви б дали LLM у повсякденному використанні. У кожному промисловому додатку LLM контекст-інжиніринг — це тонке мистецтво та наука наповнення контекстного вікна саме тією інформацією, яка потрібна для наступного кроку. Наука, тому що це правильне виконання включає описи та пояснення завдань, кілька прикладів пострілів, RAG, пов'язані (можливо, мультимодальні) дані, інструменти, стан та історію, компактування... Занадто мало або має неправильну форму, і LLM не має правильного контексту для оптимальної продуктивності. Занадто багато або занадто нерелевантно, і витрати на LLM можуть зрости, а продуктивність може знизитися. Зробити це добре вкрай нетривіально. А мистецтво через керівну інтуїцію навколо психології людей, духів. Крім контекстної інженерії, додаток LLM повинен: - Розбийте проблеми прямо на потоки контролю - Правильно упакуйте контекстні вікна - Диспетчеризація дзвінків до LLM відповідного типу та можливостей - обробляти потоки UIUX з перевіркою генерації - багато іншого - огородження, безпека, евали, паралелізм, попередня вибірка, ... Таким чином, контекстна інженерія — це лише невеликий шматок нового товстого шару нетривіального програмного забезпечення, яке координує окремі виклики LLM (і багато інших) у повноцінні додатки LLM. Термін "обгортка ChatGPT" набрид і дуже-дуже неправильний.
23,15K