Welche Rolle spielen KI-Agenten (Agentic AI) in der funktionalen Sicherheit? Unsere Antwort ist differenziert und basiert auf einer klaren Einteilung des Safety-Lifecycles in drei Zonen:
Genau in diesem Graubereich – Tätigkeiten, die die Safety-Arbeit vorbereiten, unterstützen oder beschleunigen, deren Ergebnisse aber selbst keine Nachweise sind – steckt heute der größte Anteil manueller, fehleranfälliger und teurer Arbeit.
- Im Kernbereich (Nachweise) haben probabilistisch arbeitende Sprachmodelle als eigenständiges Instrument keinen Platz. Ein LLM kann keinen formalen Beweis ersetzen.
- Im Graubereich entfalten KI-Agenten als intelligente Zuarbeiter mit Human-in-the-Loop schon heute enormen Mehrwert. Der Mensch bleibt verantwortlich, der Agent erweitert seine Sichtweite.
Drei konkrete Use Cases für KI-Agenten im Graubereich
1. Intelligente Review-Unterstützung auf Vollständigkeit
Eine der tückischsten Lücken im Sicherheitsnachweis entsteht, wenn zwar alle Anforderungen erfüllt sind, aber der Nachweis fehlt, dass sie die übergeordneten Sicherheitsziele tatsächlich ausreichend abdecken.
Ob eine Anforderungsmenge ein Sicherheitsziel abdeckt, ist eine Urteilsfrage. Ein LLM kann diese Anforderungsmenge gegen das Sicherheitsziel lesen und das Engineering-Team gezielt auf mögliche Abdeckungslücken hinweisen – etwa auf nicht betrachtete Szenarien oder fehlende Degradationspfade. Der Hinweis füllt keine Lücke im Nachweis, er verhindert, dass sie unbemerkt bleibt.
2. KI-gestützte Recherche mit verschärften Spielregeln
Bei der Recherche von Unfall- und Feldstatistiken (für die Einstufung von Häufigkeit und Schwere in der HARA) scheitern klassische Sprachmodelle oft fatal: Sie erfinden plausible, aber falsche Zahlen.
Unser Ansatz: Der Agent darf hier Quellen auffinden, gegenüberstellen und auf Aktualität vorprüfen – aber er darf keine Statistik aus seinem eigenen Modellwissen generieren. Jede Statistik muss für den Menschen bis zur Primärquelle lückenlos zurückverfolgbar sein.
3. Vorbereitung von Impact-Analysen und Konsistenzprüfungen
Agenten prüfen Artefaktgrenzen und bereiten die Auswirkungsanalyse bei Systemänderungen vor, sodass der Safety-Engineer sofort sieht, wo Handlungsbedarf besteht.
Was bedeutet „Agentisch"? (Die neue Arbeitsteilung)
Dass der Agent keine finalen Entscheidungen trifft, macht ihn nicht zum bloßen Textgenerator. Das Revolutionäre ist seine agentische Arbeitsweise:
Autonomie im Weg, nicht in der Entscheidung: Der KI-Agent plant seinen Lösungsweg selbstständig. Er durchsucht Modelle, prüft Artefakte und iteriert eigenständig über Zwischenergebnisse, bis er dem Ingenieur ein belastbares Arbeitsergebnis vorlegt.
Es ist exakt dieselbe Arbeitsteilung wie zwischen einem verantwortlichen und einem zuarbeitenden Ingenieur: Wer zuarbeitet, arbeitet selbstständig, aber nicht eigenverantwortlich.
Die V&V-Grenze ist die Automatisierungsgrenze
Hinter dieser Arbeitsteilung steht eine fundamentale Unterscheidung, die die Safety-Normen seit jeher kennen:
- Verifikation (Teilautomatisierbar): Prüft, ob das System korrekt gegen seine Anforderungen gebaut wurde. Diese Arbeit kann an Teams und Werkzeuge (wie modellbasierte Agenten) delegiert werden.
- Validierung (Menschliche Verantwortung): Prüft, ob die Sicherheitsziele im realen Betriebskontext tatsächlich erreicht werden. Dies erfordert menschliches Urteil und bleibt beim Verantwortlichen für den Betrachtungsgegenstand – einem Menschen.
Wer diese Grenze verwischt, läuft Gefahr, das Falsche zu automatisieren: Je schneller die Werkzeuge melden, dass alle Anforderungen erfüllt sind, desto leichter bleibt unbemerkt, dass man die falsche Frage beantwortet hat. In der Praxis führt eine unklare Trennung unweigerlich zu Scope-Creep, Verantwortungsdiffusion und Gefährdungsszenarien, die im Anforderungsmodell unsichtbar werden.