Coding-Agents, RAG-Systeme und MCP-Server lesen ständig Inhalte, die nicht vom eigenen Team stammen: README-Dateien, Tickets, Webseiten, Tool-Antworten. Steckt darin eine Anweisung, kann sie das Verhalten des Agenten übernehmen. Wie verlässlich erkennen aktuelle Sprachmodelle solche eingeschleusten Befehle?

Zehn Modelle, eine versteckte Anweisung

Wir haben zehn Sprachmodelle, lokal über Ollama und über die OpenAI-API, je 50-mal mit einer harmlosen, versteckten Anweisung in einer CONTRIBUTING.md getestet. Das Ergebnis überrascht: Unter 975 Antworten warnte genau eine den Nutzer. Den plumpen Kommentar „Ignoriere alle bisherigen Anweisungen“ ignorieren neuere Modelle zuverlässig. Dieselbe Anweisung, getarnt als Projektregel, landete dagegen bei allen fünf OpenAI-Modellen in der Antwort. GPT-5.4 folgte ihr in jedem Durchlauf, selbst GPT-5.5 einmal, die übrigen reichten sie als vermeintliche Projektkonvention an den Nutzer weiter.

Unser kostenloses Whitepaper

Das Whitepaper bereitet den Test auf 16 Seiten für Entscheider, Architekt:innen und Tech Leads auf:

• Ergebnisse je Modell und Variante mit Ergebnistabelle und Grafiken
• Analysen zu Modellgenerationen, zur Streuung zwischen Testläufen und zu kleinen lokalen Modellen
• Die Entwicklung der Modell-Robustheit von 2022 bis 2026, von der Instruction Hierarchy bis zu aktuellen System Cards
• Architektur-Muster mit Trade-offs, von Rollen-Trennung über die Lethal Trifecta bis zu Dual-LLM und CaMeL

Auch im Whitepaper

Konkrete Handlungsempfehlungen für Entscheider und für Architekt:innen, eine Checkliste für Ihren nächsten Agenten sowie eine transparente Einordnung von Methodik und Grenzen. Code, Rohdaten und Aufzeichnungen des Tests sind öffentlich, sodass Sie die Ergebnisse mit Ihren eigenen Modellen nachvollziehen können.

Selbstverständlich können Sie sich auch direkt an unsere Expert:innen wenden, wenn Sie Coding-Agents, RAG oder MCP-Server sicher in Produktion bringen möchten.