Als je "AI-agenten" (LLM's die tools aanroepen) gebruikt, moet je je bewust zijn van de Dodelijke Driehoek. Elke keer dat je toegang tot privégegevens combineert met blootstelling aan onbetrouwbare inhoud en de mogelijkheid om extern te communiceren, kan een aanvaller het systeem misleiden om je gegevens te stelen!

Hier is mijn volledige uitleg waarom deze combinatie zo gevaarlijk is - als je MCP gebruikt, moet je bijzonder goed opletten, omdat het heel gemakkelijk is om verschillende MCP-tools te combineren op een manier die je blootstelt aan dit risico.

En ja, dit is in feite mijn poging om de wereld te laten geven om promptinjectie door een nieuwe term voor een subset van het probleem uit te proberen! Ik hoop dat dit het risico voor eindgebruikers op een meer viscerale manier vastlegt - vooral belangrijk nu mensen MCP aan het mixen en matchen zijn.

@IanChen524 Dat hangt heel erg af van welke definitie van "AI-agent" je gebruikt. Als je de populaire definitie "een LLM die tools in een lus uitvoert" gebruikt, dan telt elke LLM die ten minste één MCP aanroept als een "agent". Welke definitie gebruik jij?

@IanChen524 Belangrijk is dat je alleen volledig vertrouwde, goed gebouwde MCP-servers kunt gebruiken en toch te maken kunt krijgen met aanvallen op de exfiltratie van privégegevens als je de verkeerde set MCP's combineert die samen de drie kenmerken hebben.

@WolframRvnwlf Veel mensen hebben dat gebouwd en ik vertrouw het niet, om vergelijkbare redenen als waarom ik antivirussoftware niet vertrouw: het verdedigt tegen bekende bedreigingen maar faalt in het beschermen tegen nieuwe kwetsbaarheden, dus het kan altijd worden ondermijnd door een voldoende gemotiveerde aanvaller.

@WolframRvnwlf Ik wil geen antivirus, ik wil dat mijn software veilig genoeg is zodat virussen niets slechts kunnen doen met mijn systemen!

... en @Atlassian is het nieuwste bedrijf dat is toegevoegd aan mijn verzameling voorbeelden van de dodelijke trifecta in actie: hun onlangs vrijgegeven MCP-server is aangetoond dat deze prompt-injectieaanvallen in openbare problemen mogelijk maakt om privégegevens te stelen.

@convexDad Ik ben een sterke gelovige in dit principe, uit dit paper