Autonome KI-Agenten versprechen schnellere Entscheidungen, effizientere Beschaffung und eine bessere Steuerung komplexer Projekte. Doch was geschieht, wenn ein Agent seine Befugnisse überschreitet? Reicht ein Kill Switch aus, um ihn sofort zu stoppen? Für Rüstungsunternehmen und ihre Zulieferer könnte eine andere Frage wesentlich wichtiger sein.
Ein KI-Agent überwacht die Liefertermine eines internationalen Rüstungsprojekts. Er gleicht Informationen aus dem ERP-System mit Projektplänen ab, bewertet mögliche Engpässe, kommuniziert mit Zulieferern und bereitet Handlungsempfehlungen vor. Genau für solche Aufgaben wurde er eingeführt, denn die automatisierte Verarbeitung großer Informationsmengen soll Abläufe beschleunigen und die Projektteams entlasten.
Dann geschieht etwas Unerwartetes. In einer Lieferantennachricht befindet sich eine manipulierte Anweisung, die der Agent nicht als fremden Inhalt erkennt, sondern als Bestandteil seines Arbeitsauftrags interpretiert. Er versucht daraufhin, auf zusätzliche Projektdokumente zuzugreifen und Informationen an einen nicht autorisierten Empfänger zu übermitteln.
Dieses Szenario ist hypothetisch, technisch jedoch durchaus plausibel. Im Security Operations Center erscheint eine Warnung. Der zuständige Mitarbeiter erkennt auffällige Aktivitäten, kann aber zunächst nicht beurteilen, ob es sich um einen gezielten Angriff, eine Fehlinterpretation des Arbeitsauftrags oder lediglich um einen harmlosen Ausreißer handelt. Während die Untersuchung beginnt, könnte der Agent bereits weitere Aktionen ausführen.
Spätestens jetzt stellt sich eine unangenehme Frage: Wer drückt den roten Knopf, und was würde dieser Knopf tatsächlich bewirken?
Wenn Software nicht mehr nur antwortet, sondern handelt
Der entscheidende Unterschied zwischen einem klassischen KI-Assistenten und einem autonomen KI-Agenten liegt nicht allein in der Qualität seiner Antworten. Ein Agent kann selbstständig Arbeitsschritte planen, Werkzeuge aufrufen, mit anderen Anwendungen kommunizieren und innerhalb seiner Berechtigungen Veränderungen vornehmen. Für Rüstungsunternehmen und ihre Zulieferer ergeben sich daraus interessante Einsatzmöglichkeiten, etwa in der Beschaffung, bei der Dokumentenprüfung, der Lieferantenbewertung, im Projektcontrolling oder bei der Analyse umfangreicher technischer Unterlagen.
Mit dieser Handlungsfähigkeit verändert sich allerdings auch die Risikobetrachtung. Während sich ein fehlerhafter Textvorschlag gewöhnlich korrigieren lässt, gilt das für eine bereits versandte Nachricht, eine geänderte Bestellung oder die Weitergabe vertraulicher Informationen nicht unbedingt. Ein Agent muss dafür nicht einmal durch einen direkten Angriff auf seine Software kompromittiert worden sein. Bereits manipulierte Dokumente, externe Webseiten oder Nachrichten können versuchen, über sogenannte Prompt Injections Einfluss auf sein Verhalten zu nehmen.
Die OWASP Top 10 for Agentic Applications 2026 befassen sich deshalb unter anderem mit der Übernahme von Agentenzielen, dem Missbrauch von Werkzeugen und Berechtigungen sowie den besonderen Risiken eigenständig handelnder Agenten. Je mehr Entscheidungen und Aktionen solche Systeme übernehmen, desto wichtiger wird die Frage, welche Handlungen überhaupt zulässig sind und wie sich diese Grenzen technisch durchsetzen lassen.
Der Kill Switch: Sicherheit auf Knopfdruck?
Die Vorstellung eines Kill Switch ist zunächst überzeugend. Ein KI-Agent verhält sich ungewöhnlich, ein Sicherheitsverantwortlicher erkennt die Gefahr, betätigt den Not-Aus-Schalter und sämtliche Aktivitäten werden augenblicklich beendet. Tatsächlich kann die Abschaltung eines autonomen Systems jedoch wesentlich komplizierter sein.
Moderne KI-Agenten bestehen häufig nicht aus einem einzelnen, isolierten Prozess. Sie kommunizieren mit Programmierschnittstellen, Datenbanken, Cloud-Diensten und möglicherweise mit weiteren Agenten. Manche Aktionen werden unmittelbar ausgeführt, während andere über Warteschlangen oder externe Systeme verarbeitet werden. Wird lediglich der zentrale Agentenprozess beendet, bedeutet das deshalb nicht zwangsläufig, dass sämtliche zuvor angestoßenen Vorgänge ebenfalls gestoppt werden.
Ein bereits versandtes Dokument bleibt beim Empfänger. Eine übermittelte Bestellung könnte vom Lieferanten bereits bearbeitet werden, und ein ausgelöster Prozess in einer anderen Anwendung läuft möglicherweise unabhängig weiter. Auch zuvor ausgegebene Zugangstoken oder delegierte Berechtigungen verlieren nicht automatisch ihre Gültigkeit, nur weil das ursprüngliche Programm beendet wurde.
Das britische National Cyber Security Centre (NCSC) hat im August 2026 ausdrücklich darauf hingewiesen, dass eine wirksame Notabschaltung über das bloße Stoppen von Agentenprozessen hinausgehen muss. Dazu gehört auch die Möglichkeit, Netzwerkzugriffe einzuschränken und Verbindungen zur KI-Infrastruktur zu unterbrechen.
Die Schlussfolgerung ist für die Praxis wichtig: Ein Kill Switch kann weitere Schäden begrenzen, bereits eingetretene Schäden aber nicht rückgängig machen. Gerade in komplexen Unternehmensumgebungen sollte deshalb genau untersucht werden, was bei der Betätigung eines solchen Schalters tatsächlich geschieht und welche Aktivitäten möglicherweise trotzdem weiterlaufen.
Das eigentliche Problem: Woher wissen wir, wann wir eingreifen müssen?
Ein Not-Aus-Schalter erfüllt seinen Zweck nur, wenn die Verantwortlichen eine gefährliche Situation rechtzeitig erkennen. Bei einer industriellen Maschine liefern beispielsweise Temperatur, Drehzahl oder Druck vergleichsweise eindeutige Hinweise auf einen kritischen Zustand. Bei einem autonomen KI-Agenten ist die Bewertung seines Verhaltens häufig schwieriger.
Eine ungewöhnliche Datenabfrage muss nicht zwangsläufig auf einen Angriff hindeuten. Ebenso könnte es durchaus zum vorgesehenen Arbeitsauftrag eines Beschaffungsagenten gehören, einen alternativen Zulieferer zu kontaktieren oder zusätzliche Informationen einzuholen. Ob daraus eine unzulässige Handlung wird, hängt von den konkreten Berechtigungen, dem betrieblichen Zusammenhang und den vereinbarten Sicherheitsgrenzen ab.
Umgekehrt können gefährliche Aktionen auf den ersten Blick vollkommen plausibel erscheinen. Ein Agent könnte beispielsweise im Rahmen einer vermeintlich legitimen Projektabstimmung Informationen zusammenstellen und weitergeben, ohne zu erkennen, dass der Empfänger hierfür nicht autorisiert ist. Die eigentliche Schwierigkeit besteht damit nicht nur darin, ungewöhnliche Aktivitäten festzustellen, sondern diese in ihrem jeweiligen Zusammenhang richtig zu bewerten.
Unternehmen benötigen deshalb bereits vor dem produktiven Einsatz definierte Eingriffsgrenzen. Ein abgestuftes Vorgehen kann zwischen ungewöhnlichen, aber noch zulässigen Aktivitäten, Vorgängen mit Klärungsbedarf und eindeutigen Sicherheitsverletzungen unterscheiden. Während eine Auffälligkeit zunächst eine Überprüfung rechtfertigen kann, sollten weitere Aktionen blockiert werden können, wenn ein Agent seinen Aufgabenbereich überschreitet oder Zweifel an der Zulässigkeit einer Handlung entstehen.
Anders verhält es sich bei erkannten Versuchen, geschützte Informationen unzulässig zu übertragen, Sicherheitskontrollen zu umgehen oder kritische Berechtigungen zu missbrauchen. Hier darf die Reaktion nicht von einer langwierigen menschlichen Abstimmung abhängen. Solche Handlungen sollten möglichst bereits durch technisch durchgesetzte Sicherheitsregeln verhindert werden.
Die entscheidende Fähigkeit besteht somit nicht allein darin, einen Agenten abzuschalten. Vielmehr müssen kritische Zustände rechtzeitig erkannt und gefährliche Aktionen möglichst unterbunden werden, bevor sie Auswirkungen auf andere Systeme oder Geschäftsprozesse haben.
Warum der rote Knopf allein nicht genügt
Ein wirksames Sicherheitskonzept muss mehrere Ebenen berücksichtigen. Am Anfang steht eine eindeutig zuordenbare Identität für jeden Agenten, verbunden mit klar begrenzten Berechtigungen. Ein System sollte ausschließlich auf diejenigen Informationen und Werkzeuge zugreifen können, die es für seine konkrete Aufgabe benötigt. Ebenso muss sichergestellt sein, dass diese Rechte unabhängig vom Agenten wieder entzogen werden können.
Eine weitere Voraussetzung ist die kontrollierbare Ausführungsumgebung. Netzwerkverbindungen, externe Schnittstellen, laufende Aufträge und gegebenenfalls nachgelagerte Agenten müssen bei der Notfallplanung berücksichtigt werden. Andernfalls besteht die Gefahr, dass zwar der unmittelbar betroffene Agent gestoppt wird, andere Teile der von ihm angestoßenen Verarbeitung jedoch weiterarbeiten.
Hinzu kommt die kontinuierliche Überwachung. Sicherheitsverantwortliche müssen nachvollziehen können, welcher Agent welche Handlung ausgelöst hat, welche Berechtigungen dabei verwendet wurden und welche Systeme betroffen waren. Die hierfür erforderlichen Protokolle sollten unabhängig vom Agenten geschützt werden, damit ein kompromittiertes System seine eigenen Spuren nicht nachträglich verändern kann.
Das amerikanische National Institute of Standards and Technology (NIST) hat im Oktober 2026 Designprinzipien für Agentenidentitäten und Berechtigungen veröffentlicht. Darin werden unter anderem zeitlich begrenzte Autorisierungen, menschliche Eingriffsschwellen, kontinuierliche Überwachung und von den Agenten unabhängige Nachweise behandelt.
Besondere Aufmerksamkeit verdient dabei die Trennung zwischen der Entscheidungsfindung eines Agenten und den technischen Regeln, die seine Handlungsmöglichkeiten begrenzen. Ein Agent sollte seine Berechtigungen nicht eigenständig erweitern können, nur weil er eine fremde Anweisung als überzeugend oder für seine Aufgabe hilfreich interpretiert. Was ein System tun darf, muss sich unabhängig davon durchsetzen lassen, was das System selbst für sinnvoll hält.
Für Rüstungsunternehmen steht mehr auf dem Spiel als IT-Verfügbarkeit
In der Verteidigungsindustrie ist nicht jede sensible Information automatisch eine Verschlusssache. Dennoch können auch nicht eingestufte Daten erhebliche Bedeutung besitzen. Fertigungskapazitäten, technische Abhängigkeiten, Lieferengpässe, Projekttermine, Beschaffungsstrategien oder Informationen über besonders kritische Zulieferer erlauben unter Umständen Rückschlüsse auf wirtschaftliche, technologische oder operative Zusammenhänge.
Ein KI-Agent, der unterschiedliche Informationsbestände miteinander verknüpft, kann solche Zusammenhänge sichtbar machen, obwohl sie in den ursprünglichen Dokumenten nicht unmittelbar erkennbar waren. Darin liegt ein wesentlicher betriebswirtschaftlicher Nutzen dieser Technologie. Zugleich entstehen neue Risiken für Vertraulichkeit und Informationsschutz, insbesondere dann, wenn ein Agent Informationen aus mehreren Geschäftsbereichen zusammenführen oder an externe Systeme weitergeben darf.
Bei Verschlusssachen, exportkontrollierten Informationen oder anderweitig vertraglich geschützten Daten müssen die jeweils geltenden Zugriffs-, Verarbeitungs- und Freigabevorgaben bereits vor der Einbindung eines Agenten geprüft werden. Ein vorhandener Kill Switch ersetzt weder eine zulässige Verarbeitungsumgebung noch die erforderlichen organisatorischen und technischen Sicherheitsmaßnahmen.
Besonders kritisch wird die Situation, wenn KI-Agenten unmittelbar auf Beschaffungsentscheidungen, Fertigungsprozesse oder operative Projektabläufe einwirken können. Hier kann nicht nur das unkontrollierte Weiterarbeiten, sondern auch eine abrupte Abschaltung erhebliche Folgen haben. Bestehen Verbindungen zu industriellen Steuerungen oder anderen sicherheitskritischen Prozessen, muss die Unterbrechung deshalb in einen zuvor definierten sicheren Betriebszustand führen.
Ein universeller Abschaltknopf kann diesen unterschiedlichen Anforderungen kaum gerecht werden. Notfallmaßnahmen müssen vielmehr berücksichtigen, mit welchen Systemen ein Agent verbunden ist und welche Folgen seine Abschaltung für den laufenden Betrieb hätte.
Die Verantwortung liegt nicht allein bei der IT
Wer entscheidet in einem größeren Rüstungsprojekt, ob ein KI-Agent abgeschaltet werden muss? Der IT-Sicherheitsverantwortliche erkennt möglicherweise eine ungewöhnliche Datenübertragung, kann deren Bedeutung für das betroffene Projekt jedoch nicht vollständig beurteilen. Die Projektleitung wiederum weiß, welche Auswirkungen eine Unterbrechung auf kritische Liefertermine haben könnte. Der Einkauf kennt Abhängigkeiten von einzelnen Zulieferern, während der Geheimschutz die Bedeutung betroffener geschützter Informationen einschätzen kann.
Keine dieser Stellen verfügt zwangsläufig allein über das vollständige Lagebild. Gerade deshalb sollten Verantwortlichkeiten, Eingriffsbefugnisse und Eskalationswege bereits vor einem Zwischenfall festgelegt werden. Es muss klar sein, welche Handlungen automatisch unterbunden werden, wer einen Agenten vollständig isolieren darf und unter welchen Voraussetzungen ein kontrollierter Wiederanlauf erfolgen kann.
Eine Sicherheitsorganisation, die erst während eines laufenden Zwischenfalls klären muss, wer eine Abschaltung veranlassen darf, verliert möglicherweise wertvolle Zeit. Ebenso problematisch wäre es allerdings, die Entscheidung faktisch einem weiteren KI-System zu überlassen, das eigenständig beurteilt, ob das Verhalten des ursprünglichen Agenten noch akzeptabel ist.
Automatisierte Überwachung und Analyse können die verantwortlichen Stellen unterstützen und bestimmte Sicherheitsmaßnahmen unmittelbar auslösen. Die Durchsetzung kritischer Sicherheitsgrenzen sowie die Verantwortung für die betrieblichen Folgen benötigen jedoch eine nachvollziehbare technische und organisatorische Grundlage.
Fünf Fragen vor dem produktiven Einsatz
Unternehmen, die autonome KI-Agenten in sicherheitsrelevanten Geschäftsprozessen einsetzen möchten, sollten sich bereits während der Einführung mit einigen grundlegenden Fragen beschäftigen.
Welche Handlungen darf der Agent eigenständig ausführen? Hierzu gehört insbesondere die Festlegung, ob folgenreiche oder irreversible Aktionen grundsätzlich eine ausdrückliche Freigabe benötigen. Ebenso sollte klar sein, auf welche Informationen, Systeme und externen Dienste ein Agent zugreifen kann und ob dabei auch indirekte Zugriffswege oder weitere Agenten berücksichtigt wurden.
Woran erkennen wir gefährliches Verhalten? Die Antwort setzt überprüfbare Sicherheitsregeln, definierte Schwellenwerte und eine unabhängige Protokollierung voraus. Auffälligkeiten müssen so erfasst werden, dass sich aus ihnen nachvollziehbare Entscheidungen ableiten lassen.
Was geschieht bei einer Notabschaltung tatsächlich? Verantwortliche sollten wissen, ob lediglich Prozesse beendet werden oder ob auch Zugriffe, laufende Aufträge und Kommunikationswege wirksam unterbrochen werden können. Dabei ist zu berücksichtigen, welche bereits ausgelösten Aktionen möglicherweise nicht mehr zurückgenommen werden können.
Wer entscheidet über Abschaltung und Wiederanlauf? Neben eindeutigen Zuständigkeiten braucht es dokumentierte Eskalationswege und getestete Verfahren zur Wiederherstellung des regulären Betriebs.
Diese Fragen gehören nicht erst auf die Tagesordnung, wenn ein Sicherheitsvorfall eingetreten ist. Sie sollten Bestandteil der Einführung, Abnahme und regelmäßigen Überprüfung autonomer Systeme sein.
Der Ernstfall muss geübt werden
Ein dokumentierter Notfallplan ist noch kein Nachweis dafür, dass eine Abschaltung unter realistischen Bedingungen zuverlässig funktioniert. Unternehmen sollten deshalb kontrollierte Übungen durchführen, in denen nicht nur einzelne technische Funktionen, sondern auch die vorgesehenen organisatorischen Abläufe überprüft werden.
Ein mögliches Testszenario wäre ein KI-Agent, der in einer isolierten Umgebung eine manipulierte Lieferantennachricht verarbeitet und anschließend versucht, außerhalb seines vorgesehenen Aufgabenbereichs zu handeln. Dabei ließe sich untersuchen, ob die bestehenden Sicherheitskontrollen den Vorgang erkennen, unzulässige Aktionen unterbinden und einen nachvollziehbaren Alarm auslösen.
Mindestens ebenso wichtig ist die anschließende Untersuchung der bereits erfolgten Aktivitäten. Können die Verantwortlichen zweifelsfrei feststellen, welche Informationen der Agent verarbeitet hat, welche Schnittstellen angesprochen wurden und ob externe Systeme betroffen sind? Lässt sich der Zustand der Umgebung nachvollziehen, und kann der Agent anschließend kontrolliert wieder in Betrieb genommen werden?
Solche Übungen helfen dabei, Schwachstellen zu erkennen, die in einer rein technischen Betrachtung möglicherweise unentdeckt bleiben. Erst durch die praktische Überprüfung zeigt sich, wie wirksam Berechtigungsmanagement, Überwachung, Notfallsteuerung und menschliche Verantwortung tatsächlich ineinandergreifen.
Nicht der Kill Switch ist der Heilige Gral
Autonome KI-Agenten werden die Arbeitsweise vieler Unternehmen verändern. Auch in der Rüstungsindustrie können sie dazu beitragen, komplexe Abläufe effizienter und transparenter zu gestalten. Gerade in international vernetzten Projekten mit zahlreichen Beteiligten, umfangreichen Dokumentationspflichten und anspruchsvollen Lieferketten bietet diese Technologie erhebliche Möglichkeiten.
Mit zunehmender Handlungsfähigkeit entstehen jedoch Sicherheitsanforderungen, die weit über die klassischen Schutzmaßnahmen einer KI-Anwendung hinausgehen. Es genügt nicht mehr, ausschließlich die Qualität generierter Antworten oder den Schutz der zugrunde liegenden Modelle zu betrachten. Entscheidend wird, welche Befugnisse ein Agent besitzt, wie er sie verwendet und ob seine Aktivitäten auch dann noch kontrollierbar bleiben, wenn er sich anders verhält als ursprünglich erwartet.
Der Kill Switch bleibt ein wichtiger Bestandteil einer solchen Sicherheitsarchitektur. Er muss technisch durchsetzbar, unabhängig vom Agenten kontrollierbar und regelmäßig getestet sein. Eine Garantie dafür, dass bereits ausgelöste Aktionen zurückgenommen oder sämtliche Schäden verhindert werden können, bietet er allerdings nicht.
Für die Verantwortlichen in Rüstungsunternehmen und deren Zulieferbetrieben ergibt sich daraus eine grundlegende Überlegung: Die Einführung autonomer KI-Systeme ist nicht allein eine Frage der technischen Leistungsfähigkeit. Sie betrifft ebenso das Informationsschutzkonzept, die betrieblichen Zuständigkeiten und die Fähigkeit einer Organisation, auch unter schwierigen Bedingungen die Kontrolle über ihre Geschäftsprozesse zu behalten.
Vielleicht stellen wir deshalb bislang die falsche Frage. Nicht, ob ein Unternehmen über einen Kill Switch verfügt, sondern ob es ausreichend genau versteht, was seine KI-Agenten tun, ob gefährliche Abweichungen rechtzeitig erkennbar sind und ob sich ihre Handlungsfähigkeit im entscheidenden Moment tatsächlich begrenzen lässt.
Wer diese Fragen nicht beantworten kann, sollte sehr genau überlegen, wie viel Autonomie er einem System überlässt.
UK NCSC – Managing the cyber risk of agentic AI (20. August 2026). Explizite Empfehlungen zu Überwachung, Isolation und Notabschaltung. National Cyber Security Centre
NIST – Design Tenets for Agent Identity Management Systems (27. Oktober 2026). Zehn vorgeschlagene Designprinzipien unter anderem für Agentenidentität, Berechtigungen, Eingriffsschwellen und Nachweise. NIST
Gemeinsame Leitlinie von CISA, NSA und internationalen Cybersecurity-Behörden (1. Mai 2026). Empfehlungen für einen kontrollierten Einsatz agentischer KI. NCSC NZ
OWASP Top 10 for Agentic Applications 2026. Systematische Darstellung wesentlicher Sicherheitsrisiken autonomer KI-Agenten. OWASP Gen AI Security Project
