RT para ayudar a Simon a crear conciencia sobre los ataques de inyección de comandos en los LLM. Se siente un poco como el salvaje oeste de la computación temprana, con virus informáticos (ahora = comandos maliciosos ocultos en datos/herramientas web), y defensas no muy desarrolladas (antivirus, o un paradigma de seguridad de espacio de núcleo/usuario mucho más desarrollado donde, por ejemplo, se le da a un agente tipos de acción muy específicos en lugar de la capacidad de ejecutar scripts bash arbitrarios). Estoy en conflicto porque quiero ser un adoptante temprano de agentes LLM en mi computación personal, pero el salvaje oeste de posibilidades me está deteniendo.
Simon Willison
Simon Willison16 jun 2025
Si utilizas "agentes de IA" (modelos de lenguaje que llaman a herramientas) debes ser consciente de la Trifecta Letal. Cada vez que combines el acceso a datos privados con la exposición a contenido no confiable y la capacidad de comunicarte externamente, ¡un atacante puede engañar al sistema para robar tus datos!
Debería aclarar que el riesgo es mayor si estás ejecutando agentes LLM locales (por ejemplo, Cursor, Claude Code, etc.). Si solo estás hablando con un LLM en un sitio web (por ejemplo, ChatGPT), el riesgo es mucho menor *a menos que* empieces a activar Conectores. Por ejemplo, acabo de ver que ChatGPT está añadiendo soporte para MCP. Esto combinará especialmente mal con todas las características de memoria añadidas recientemente; por ejemplo, imagina que ChatGPT le cuenta todo lo que sabe sobre ti a algún atacante en internet solo porque marcaste la casilla equivocada en la configuración de Conectores.
385,96K