Актуальні теми
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Наша команда аналізує поняття «контекст-інжиніринг»:
@martin_casado - «Якщо ви збираєтеся викликати модель, ви повинні знати, що ставити в контексті... У якийсь момент ви, ймовірно, будете використовувати традиційну інформатику».
@JenniferHli - "Який новий форм-фактор інфраструктури повинен стати частиною цього контекстного інжинірингу?... Як ви можете змусити агентів використовувати інструменти або інфраструктуру, яка забезпечить виявлення та гарантії спостережливості цих систем?»
«Нові елементи інфраструктури створюють нові шаблони та методи програмного забезпечення та побудови систем. Це чудовий приклад того, як вона постає перед нашими очима».

25 черв. 2025 р.
+1 за "контекстний інжиніринг" замість "оперативний інжиніринг".
Люди асоціюють підказки з короткими описами завдань, які ви б дали LLM у повсякденному використанні. У кожному промисловому додатку LLM контекст-інжиніринг — це тонке мистецтво та наука наповнення контекстного вікна саме тією інформацією, яка потрібна для наступного кроку. Наука, тому що це правильне виконання включає описи та пояснення завдань, кілька прикладів пострілів, RAG, пов'язані (можливо, мультимодальні) дані, інструменти, стан та історію, компактування... Занадто мало або має неправильну форму, і LLM не має правильного контексту для оптимальної продуктивності. Занадто багато або занадто нерелевантно, і витрати на LLM можуть зрости, а продуктивність може знизитися. Зробити це добре вкрай нетривіально. А мистецтво через керівну інтуїцію навколо психології людей, духів.
Крім контекстної інженерії, додаток LLM повинен:
- Розбийте проблеми прямо на потоки контролю
- Правильно упакуйте контекстні вікна
- Диспетчеризація дзвінків до LLM відповідного типу та можливостей
- обробляти потоки UIUX з перевіркою генерації
- багато іншого - огородження, безпека, евали, паралелізм, попередня вибірка, ...
Таким чином, контекстна інженерія — це лише невеликий шматок нового товстого шару нетривіального програмного забезпечення, яке координує окремі виклики LLM (і багато інших) у повноцінні додатки LLM. Термін "обгортка ChatGPT" набрид і дуже-дуже неправильний.
846
Найкращі
Рейтинг
Вибране