Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Наша команда инфраструктуры разбирает концепцию "инженерии контекста":
@martin_casado - "Если вы собираетесь вызывать модель, вы должны знать, что положить в контекст... В какой-то момент вы, вероятно, будете использовать традиционную информатику."
@JenniferHli - "Какова новая форма инфраструктуры, которая должна стать частью этой инженерии контекста?... Как у вас могут быть агентства, инструменты или инфраструктура, которые обеспечат открытие и гарантии наблюдаемости этих систем?"
"Новые элементы инфраструктуры создают новые паттерны и методы программного обеспечения и построения систем. Это отличный пример того, как это возникает у нас на глазах."

25 июн. 2025 г.
+1 за "инженерию контекста" вместо "инженерии подсказок".
Люди ассоциируют подсказки с короткими описаниями задач, которые вы даете LLM в повседневном использовании. Однако в каждом промышленном приложении LLM инженерия контекста — это тонкое искусство и наука заполнения окна контекста именно той информацией, которая нужна для следующего шага. Наука, потому что правильное выполнение этого включает описания задач и объяснения, примеры с несколькими образцами, RAG, связанные (возможно, мультимодальные) данные, инструменты, состояние и историю, сжатие... Слишком мало или неправильной формы, и LLM не имеет правильного контекста для оптимальной работы. Слишком много или слишком неуместно, и затраты LLM могут возрасти, а производительность может снизиться. Сделать это хорошо — это крайне нетривиально. И искусство, потому что это связано с интуицией о психологии LLM и духах людей.
Кроме самой инженерии контекста, приложение LLM должно:
- правильно разбивать проблемы на контрольные потоки
- правильно упаковывать окна контекста
- отправлять вызовы к LLM нужного типа и возможностей
- обрабатывать потоки UIUX генерации-проверки
- и многое другое - защитные меры, безопасность, оценки, параллелизм, предварительная выборка, ...
Таким образом, инженерия контекста — это всего лишь небольшая часть возникающего толстого слоя нетривиального программного обеспечения, которое координирует отдельные вызовы LLM (и многое другое) в полные приложения LLM. Термин "обертка ChatGPT" устарел и на самом деле очень, очень неверен.
23,15K
Топ
Рейтинг
Избранное