Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Notre équipe infra décompose le concept d'« ingénierie contextuelle » :
@martin_casado - « Si vous allez appeler un modèle, vous devez savoir quoi mettre dans le contexte… À un moment donné, vous allez probablement utiliser l'informatique traditionnelle. »
@JenniferHli - « Quelle est la nouvelle forme d'infrastructure qui doit faire partie de cette ingénierie contextuelle ?... Comment avoir des agences, des outils ou une infrastructure qui fourniront la découverte et des garanties d'observabilité de ces systèmes également ? »
« De nouveaux éléments d'infrastructure créent de nouveaux modèles et méthodes de logiciel et de construction de systèmes. C'est un excellent exemple de son émergence sous nos yeux. »

25 juin 2025
+1 pour "l'ingénierie du contexte" plutôt que "l'ingénierie des invites".
Les gens associent les invites à de courtes descriptions de tâches que vous donneriez à un LLM dans votre utilisation quotidienne. Alors que dans chaque application LLM de qualité industrielle, l'ingénierie du contexte est l'art et la science délicats de remplir la fenêtre de contexte avec juste les bonnes informations pour l'étape suivante. Science, car bien faire cela implique des descriptions de tâches et des explications, quelques exemples, RAG, des données connexes (possiblement multimodales), des outils, l'état et l'historique, la compression... Trop peu ou sous une forme incorrecte et le LLM n'a pas le bon contexte pour une performance optimale. Trop ou trop peu pertinent et les coûts du LLM pourraient augmenter et la performance pourrait diminuer. Bien faire cela est hautement non trivial. Et art, à cause de l'intuition directrice autour de la psychologie des LLM et des esprits des gens.
En plus de l'ingénierie du contexte elle-même, une application LLM doit :
- décomposer les problèmes de manière appropriée en flux de contrôle
- remplir les fenêtres de contexte de manière appropriée
- dispatcher des appels aux LLM du bon type et de la bonne capacité
- gérer les flux UIUX de génération-vérification
- beaucoup plus - garde-fous, sécurité, évaluations, parallélisme, préchargement, ...
Ainsi, l'ingénierie du contexte n'est qu'un petit morceau d'une couche épaisse de logiciels non triviaux qui coordonne les appels individuels aux LLM (et bien plus) en applications LLM complètes. Le terme "wrapper ChatGPT" est fatigué et vraiment, vraiment faux.
21,52K
Meilleurs
Classement
Favoris