KI-Agenten: Worauf es bei der Steuerung ankommt, um die Kontrolle zu behalten
Agentische Systeme, die auf künstlicher Intelligenz (KI) basieren und eigenständig Aufgaben ausführen können, halten zunehmend Einzug in den unternehmerischen Alltag. Sie bereiten Informationen auf, können operative Prozessschritte ausführen und dabei auf betriebliche Systeme und Ressourcen zugreifen. Doch Vorfälle bei den namhaften Entwicklern von KI-Modellen zeigen, dass solche Systeme unerwünschte Handlungen ausführen können. Für Aufsichtsräte stellt sich daher die Frage, welche Risiken sie im Blick behalten müssen und wie sich das Handeln der Systeme wirksam kontrollieren lässt.
Das unternehmerische Potenzial beim Einsatz von KI der neuesten Generation ist groß. Ein agentischer Voicebot kann zum Beispiel im Kundenservice Anfragen einordnen, passende Daten abrufen, Informationen bereitstellen und Serviceprozesse anstoßen. Doch in den großen Einsatzmöglichkeiten und dem in Aussicht stehenden Produktivitätsgewinn liegen zugleich auch Herausforderungen. Denn entscheidend ist nicht nur, was KI-Agenten können, sondern auch, was sie entscheiden dürfen, wo ihre Grenzen liegen und wie ihr Handeln steuerbar bleibt. Fünf Empfehlungen für den kontrollierten Einsatz:
1. Eignung und Handlungsspielraum bestimmen: Nicht jeder Prozess eignet sich für den Einsatz KI‑gestützter Agenten. Je größer das Schadenspotenzial, je höher die regulatorischen Anforderungen und je schwieriger das Erkennen oder Beheben von Fehlern, desto enger müssen Aufgaben und Entscheidungsspielräume abgegrenzt werden. „Für zielführende Antworten sollte man sich die Qualität und Struktur des betreffenden Prozesses genau anschauen“, sagt Tobias Schuster, AI Solution Lead beim Prüfungs- und Beratungsunternehmen Forvis Mazars. „Dabei ist zu klären, welche Entscheidungen und Handlungen der Agent übernehmen darf und wo menschliche Kontrolle erforderlich bleibt.“ Für ebenso wichtig hält er den Blick auf Ausnahmefälle: Was geschieht bei Unsicherheit, widersprüchlichen Informationen, technischen Fehlern oder Anfragen außerhalb des vorgesehenen Einsatzbereichs? Das muss vor dem Einsatz bedacht werden.
2. Technische Grenzen integrieren: Zwischen dem KI-Modell und dem Geschäftsprozess liegt eine technische Steuerungsschicht, der sogenannte Agent Harness. Dieser bestimmt, wie der Agent seine Aufgaben ausführt. Der Harness setzt zudem Grenzen, indem er festlegt, auf welches Wissen ein Agent zugreifen kann, welche Aktionen zulässig sind und wann die Bearbeitung abgebrochen oder übergeben wird. „Entscheidend sind technisch durchgesetzte Grenzen, etwa die Notwendigkeit der Freigabe von Tools, begrenzte Datenzugriffe, feste Aktionsfolgen und eine Höchstgrenze von Wiederholungen“, sagt Schuster. „So wird verhindert, dass ein Agent allein deshalb weiterhandelt, weil das Modell einen weiteren Schritt vorschlägt.“ Ohne solche Grenzen könnten sich Fehler, unerlaubte Aktionen oder unnötige Kosten schnell vervielfachen. Ein Vorfall beim Entwickler von ChatGPT, dem US-Konzern OpenAI, zeigt, wie wichtig technisch durchgesetzte Handlungsgrenzen sind: Hier brach ein KI-Agent aus einer isolierten Testumgebung aus und griff auf externe Systeme zu. Ähnliche Vorfälle gab es auch bei anderen Entwicklern.
3. Verantwortung und Änderungsrechte klären: Technische Grenzen wirken nur, wenn klar ist, wer sie festlegt, verändern und freigeben darf. „Wer KI-Agenten einführt, muss ihren Einsatz von Anfang an als Steuerungs- und Risikothema behandeln – und nicht erst, wenn sie im laufenden Betrieb sind“, sagt Timo Husemann, Audit Innovation Partner bei Forvis Mazars. In der Praxis verteilen sich die Verantwortlichkeiten häufig auf das Unternehmen, den Plattformanbieter und weitere Technologieanbieter. Betriebe müssen deshalb wissen, welche Instruktionen, Wissensquellen, Tools und Sicherheitsregeln sie selbst kontrollieren und welche Änderungen durch Anbieter erfolgen können. „Kritische Konfigurationen sollten zudem nicht von einer einzelnen Person geändert und unmittelbar produktiv gesetzt werden können“, so Husemann.
4. Menschliche Übernahme sicherstellen: Menschliche Aufsicht muss dort konkret werden, wo ein Agent seine Handlungsgrenzen erreicht. Dazu braucht es eindeutige Kriterien für Rückfragen, Eskalation und Übergabe, etwa bei fehlendem Wissen, unzureichender Identifizierung, widersprüchlichen Ergebnissen oder erhöhtem Schadenspotenzial. „Die Übergabe darf dabei nicht nur organisatorisch vorgesehen sein. Sie muss technisch funktionieren, die erforderlichen Informationen an die zuständige Person übermitteln und eine kontrollierte Fortsetzung des Vorgangs ermöglichen“, beschreibt Husemann einen strukturierten Einsatz in der Praxis. Er mahnt: „Für kritische Situationen braucht es außerdem die Möglichkeit, einzelne Aktionen oder den gesamten Agenten zu stoppen.“
5. Verhalten testen und laufend überwachen: Bei KI-Agenten reicht es nicht, nur einzelne Antworten zu prüfen. Entscheidend ist auch der Ausführungspfad: Wurde der richtige Bearbeitungsweg gewählt? Wurden nur zulässige Tools und Daten verwendet? Wurden Voraussetzungen, Reihenfolgen und Übergaberegeln eingehalten? Im Betrieb sollten deshalb neben Leistungskennzahlen auch kontrollrelevante Ereignisse überwacht werden, beispielsweise nicht gestützte Antworten, blockierte Aktionen, wiederholte Fehler und ausgelöste Übergaben. „Dafür braucht es klare Erwartungen an das Verhalten des Agenten, risikoorientierte Tests vor und nach Änderungen sowie eine laufende Überwachung im Betrieb“, empfehlen unisono die beiden Experten von Forvis Mazars. So lässt sich erkennen, ob technische Grenzen, organisatorische Verantwortlichkeiten und menschliche Eingriffsmöglichkeiten tatsächlich funktionieren.
Want to know more?
