Exploration du LLM Context Demo : maîtriser le contexte long pour vos agents IA

Dans cette session, Mikael Morvan, fondateur de AgentMaurice, nous dévoile les coulisses techniques du projet open source “LLM Context Demo” et partage sa vision de l’ingénierie des contextes dans les modèles de langage à grande échelle.

À travers une démonstration interactive, il explique de manière pédagogique ce qui se cache “sous le capot” des LLM :
comment les requêtes sont structurées (headers, body, rôles, instructions système) ;
comment un contexte se construit progressivement (historique, rôle, formatage, chaines de raisonnement) ;
et comment la taille du contexte influence directement les temps de réponse et les coûts en tokens.

🧩 Principaux thèmes abordés :
Contexte et rôles système : comment structurer les échanges pour maintenir cohérence et pertinence dans les réponses.
Gestion des historiques et RAG : comment limiter les coûts et optimiser la mémoire contextuelle à grande échelle via l’embedding partiel de contexte.
Sécurité et robustesse : prévention de la “prompt injection” grâce à la structuration rigoureuse du prompt système.
MCP (Model Context Protocol) : présentation du nouveau protocole d’outillage des LLM permettant d’intégrer des serveurs externes (météo, bases métiers…) tout en maîtrisant l’impact sur la taille de contexte.
Scalabilité et architecture : défis liés à la gestion simultanée de milliers d’appels LLM, orchestration des tâches, et impact sur les performances.

🔍 Enseignements clés :
L’efficacité d’un agent LLM dépend autant du modèle que de l’ingénierie du contexte.
Les solutions d’AgentMaurice visent à réduire le coût et la complexité du contexte via des techniques d’embedding et d’orchestration.
La démonstration illustre concrètement les enjeux de sobriété numérique et d’IA responsable appliqués à la conception d’agents à grande échelle.

#llm #generativeai #contextengineering #innovation #agentsia #mcp #airesponsable