Governance beim KI-Einsatz im Gesundheitswesen

Von der KI-Euphorie zur Frage der Steuerbarkeit

Künstliche Intelligenz (KI) verspricht dem Gesundheitswesen erhebliche Fortschritte – von der Unterstützung medizinischer Entscheidungen über die Automatisierung administrativer Prozesse bis hin zur Beschleunigung von Forschung und Innovation. Gleichzeitig entsteht in vielen Organisationen ein gefährlicher Trugschluss: die Annahme, die eingesetzten KI-Systeme bereits ausreichend zu verstehen und zu kontrollieren. Doch während die Nutzung von KI rasant zunimmt, fehlen häufig Transparenz über deren Einsatz, klare Verantwortlichkeiten und belastbare Governance-Strukturen. Die entscheidende Frage lautet daher nicht mehr, ob Gesundheitsorganisationen KI einsetzen, sondern ob sie in der Lage sind, deren Einsatz nachvollziehbar, verantwortungsvoll und dauerhaft zu steuern.¹

1. Komplikationen beim KI-Einsatz

Je stärker KI in klinische, administrative und wissenschaftliche Prozesse integriert wird, desto wichtiger wird eine unbequeme Frage: Verstehen und kontrollieren wir die eingesetzten Systeme tatsächlich – oder verlassen wir uns lediglich auf die Illusion, dies zu tun? Genau aus dieser Diskrepanz entstehen viele der größten Risiken beim KI-Einsatz im Gesundheitswesen.

a.     Halluzinationen und fehlerhafte Entscheidungen mit Auswirkungen auf Patienten

KI-Systeme können Ergebnisse erzeugen, die fachlich plausibel wirken, tatsächlich jedoch fehlerhaft oder unvollständig sind. Im Gesundheitswesen kann dies beispielsweise zu falschen Zusammenfassungen medizinischer Befunde, fehlerhaften Empfehlungen oder irreführenden Patienteninformationen führen, wenn die Ergebnisse ungeprüft übernommen werden.

b.     Gesundheitsdaten und die „Illusion der Vertraulichkeit“

Viele Healthcare-Organisationen gehen davon aus, dass eingegebene Daten automatisch vertraulich bleiben. Tatsächlich entstehen zusätzliche Risiken, wenn Gesundheitsdaten in externe KI-Dienste, RAG²-Systeme oder Trainingsprozesse einfließen und die Kontrolle über die spätere Nutzung und mögliche Offenlegung der Informationen eingeschränkt wird.

c.     Shadow-AI in Kliniken und Forschungseinrichtungen

Mitarbeitende nutzen zunehmend KI-Werkzeuge wie ChatGPT oder andere Assistenten eigenständig, um Berichte, Forschungsunterlagen oder Kommunikationsinhalte zu erstellen. Erfolgt dies außerhalb definierter Prozesse, fehlen Transparenz über die Nutzung, Kontrolle der Datenflüsse und eine angemessene Risiko- und Compliance-Bewertung.

d.     Wer trägt eigentlich die Verantwortung?

Wenn KI eine medizinische, organisatorische oder wirtschaftliche Entscheidung beeinflusst, ist die Verantwortung häufig nicht eindeutig geregelt. Gerade im Gesundheitswesen muss klar definiert sein, welche Rolle Fachbereiche, IT, Management und Anwender bei Freigabe, Überwachung und Nutzung von KI-Systemen übernehmen.

e.     Die Gefahr des „AI Compliance Theater“

Viele Organisationen verfügen bereits über Richtlinien, Schulungsunterlagen oder erste Governance-Konzepte für KI. Solange diese jedoch nicht in konkrete Kontrollen, Verantwortlichkeiten und laufende Überwachungsprozesse überführt werden, entsteht lediglich der Eindruck von Kontrolle, nicht jedoch eine tatsächlich wirksame KI-Governance – eine Art „Theater“.

2. Von der Illusion zur belastbaren KI-Governance

Die beschriebenen Herausforderungen sind kein unvermeidbarer Begleiteffekt des KI-Einsatzes, sondern in den meisten Fällen das Ergebnis fehlender Transparenz, unklarer Verantwortlichkeiten und unzureichender Governance-Strukturen. Der Schlüssel liegt daher nicht darin, den Einsatz von KI zu begrenzen, sondern ihn systematisch zu steuern: durch klare Verantwortlichkeiten, risikobasierte Kontrollen, kontinuierliche Überwachung und nachvollziehbare Entscheidungsprozesse. Ziel muss es sein, die Illusion von Kontrolle durch eine belastbare, nachweisbare und vertrauenswürdige KI-Governance zu ersetzen.

a.     Transparenz schaffen: Wo wird KI überhaupt eingesetzt?

Der erste Schritt jeder wirksamen KI-Governance besteht darin, Transparenz über die tatsächliche Nutzung von KI zu schaffen. Viele Healthcare-Organisationen wissen heute nicht, in welchen Fachbereichen KI bereits eingesetzt wird – etwa bei der Erstellung von Arztbriefen, in der Patientenkommunikation, in Forschungsprojekten oder bei administrativen Prozessen. Ohne diese Transparenz bleiben Risiken, Datenflüsse und Verantwortlichkeiten weitgehend unsichtbar. Deshalb sollte ein zentrales KI-Inventar etabliert werden, das sämtliche KI-Anwendungen, deren Zweck, die verwendeten Datenarten sowie die jeweiligen Verantwortlichen dokumentiert. Erst wenn bekannt ist, wo KI genutzt wird, können Risiken wirksam bewertet und gesteuert werden.

b.     KI nach Risiko klassifizieren

Nicht jede KI-Anwendung birgt dieselben Risiken. Während ein System zur Unterstützung interner Recherche nur begrenzte Auswirkungen haben kann, können KI-gestützte Entscheidungen in Diagnostik, Patientenversorgung oder Forschung erhebliche Auswirkungen auf Patienten, regulatorische Anforderungen und folglich auch auf die Reputation der Organisation entfalten. Healthcare-Unternehmen sollten daher ihre KI-Anwendungen anhand definierter Kriterien wie Datenkritikalität, Automatisierungsgrad, Einfluss auf Patientenversorgung und regulatorischer Relevanz klassifizieren. Dies ermöglicht es, Governance-Maßnahmen risikobasiert auszurichten und Ressourcen gezielt dort einzusetzen, wo die größten Risiken bestehen.

c.     Verbindliche Governance-Strukturen etablieren

Eine der häufigsten Schwachstellen beim KI-Einsatz ist die fehlende Klarheit darüber, wer für Auswahl, Betrieb, Überwachung und Freigabe von KI-Systemen verantwortlich ist. Gerade im Gesundheitswesen reicht es nicht aus, Verantwortung ausschließlich bei der IT oder einzelnen Fachbereichen zu verorten. Erfolgreiche KI-Governance setzt deshalb auf klar definierte Rollen und Entscheidungswege. Fachbereiche, Medizin, IT, Datenschutz, Informationssicherheit und Risikomanagement sollten gemeinsam eingebunden werden, um sicherzustellen, dass sowohl fachliche als auch regulatorische und technische Anforderungen berücksichtigt werden.

d.     Kontinuierliche Überwachung statt Einmalfreigabe

Anders als klassische Software bleiben KI-Systeme nicht zwangsläufig statisch. Modelle, Datenquellen und Anwendungsumgebungen verändern sich kontinuierlich, wodurch sich auch das Risikoprofil eines Systems im Laufe der Zeit verändern kann. Eine einmalige Freigabe vor Produktivsetzung reicht deshalb nicht aus. Organisationen sollten KI-Systeme daher fortlaufend überwachen, regelmäßig validieren und klare Prozesse für Vorfälle, Fehlfunktionen und Qualitätsabweichungen etablieren. Ziel ist es, Risiken frühzeitig zu erkennen und sicherzustellen, dass die eingesetzten Systeme dauerhaft den fachlichen, regulatorischen und organisatorischen Anforderungen entsprechen.

e.     ISO / IEC 42001 als strukturierender Rahmen

Viele Unternehmen verfügen bereits heute über etablierte Managementsysteme für Informationssicherheit (ISO 27001), Datenschutz (EU DS‑GVO und ISO 27701), Qualitätsmanagement (ISO 9001) oder Risikomanagement (ISO 31000). Die Herausforderung besteht häufig weniger im Fehlen von Regelwerken als vielmehr darin, KI-spezifische Risiken strukturiert in bestehende Governance-Modelle zu integrieren. ISO 42001 bietet hierfür einen geeigneten Rahmen, indem die Norm Anforderungen an Rollen, Verantwortlichkeiten, Risikomanagement, Überwachung und kontinuierliche Verbesserung speziell für KI-Systeme definiert. Sie unterstützt Organisationen dabei, KI-Governance systematisch aufzubauen und gleichzeitig bestehende Governance-, Compliance- und Sicherheitsstrukturen sinnvoll zu ergänzen.

3. Praxisnah: Wie belastbare KI-Governance Vertrauen schafft

Der Unterschied zwischen einer „Illusion der Kontrolle“ und einer tatsächlich wirksamen KI-Governance zeigt sich vor allem im operativen Alltag. Das hier dargestellte Beispiel veranschaulicht, wie ein Healthcare-Unternehmen durch strukturierte Governance-Maßnahmen Transparenz schaffen, Risiken beherrschen und gleichzeitig die Potenziale von KI sicher und regulatorisch nachvollziehbar nutzen kann.

Ausgangssituation

Betrachten wir beispielhaft einen Krankenhausverbund, der KI-Anwendungen für die Erstellung von Entlassbriefen, die Unterstützung medizinischer Recherchen sowie für Forschungsprojekte einsetzt. In einem solchen Szenario könnte die Nutzung verschiedener KI-Lösungen schrittweise durch einzelne Fachbereiche erfolgen, ohne dass eine zentrale Übersicht über die eingesetzten Systeme, die verarbeiteten Daten oder die verantwortlichen Stellen besteht. Ebenso könnte die Nutzung externer KI-Dienste durch Mitarbeitende zu Unsicherheiten hinsichtlich Datenschutz, Informationssicherheit und Compliance führen. Das Management stünde damit vor der Herausforderung, den tatsächlichen Umfang und die Risiken des KI-Einsatzes nur eingeschränkt bewerten zu können.

Umgesetzte Maßnahmen

Um diesen Risiken zu begegnen, sollte die Organisation zunächst ein zentrales KI-Inventar einführen, in dem sämtliche KI-Anwendungen, deren Zweck, Datenquellen und Verantwortlichkeiten dokumentiert werden. Ergänzend könnten die identifizierten Anwendungsfälle nach Risiko klassifiziert werden, wobei insbesondere die Nutzung sensibler Gesundheitsdaten sowie mögliche Auswirkungen auf Patientenversorgung und Forschung berücksichtigt werden. Darüber hinaus könnte ein interdisziplinäres AI-Governance Board eingerichtet werden, das Fachbereiche, Medizin, IT, Datenschutz, Informationssicherheit und Risikomanagement zusammenbringt. Ergänzt um verbindliche Nutzungsrichtlinien, definierte Freigabeprozesse und regelmäßige Überprüfungen der eingesetzten Systeme würde so ein strukturierter Governance-Rahmen entstehen, beispielsweise orientiert an den Prinzipien der ISO/IEC 42001.

Erzielte Verbesserungen

Durch einen solchen Governance-Ansatz könnte die Organisation erstmals einen transparenten Überblick über ihre KI-Landschaft gewinnen. Bislang unbekannte oder nicht ausreichend bewertete Anwendungen würden sichtbar, Risiken systematisch erfasst und die Nutzung von Shadow‑AI deutlich reduziert. Gleichzeitig würden Nachvollziehbarkeit, Transparenz und Prüfbarkeit des KI-Einsatzes steigen. Fachbereiche und Management erhielten eine belastbare Grundlage für Entscheidungen rund um den KI-Einsatz, während die Organisation insgesamt besser auf regulatorische Anforderungen und zukünftige Prüfungsanforderungen vorbereitet wäre. Die KI-Nutzung würde damit nicht eingeschränkt, sondern auf eine vertrauenswürdige und kontrollierbare Grundlage gestellt.

Zusammenfassung und Key Takeaways

Der Einsatz von KI bietet Healthcare-Organisationen erhebliche Potenziale, stellt sie jedoch gleichzeitig vor neue Herausforderungen hinsichtlich Transparenz, Verantwortung und Kontrolle. Entscheidend für einen nachhaltigen und vertrauenswürdigen KI-Einsatz ist daher nicht die Technologie selbst, sondern die Fähigkeit einer Organisation, deren Nutzung durch wirksame Governance-Strukturen nachvollziehbar und kontrollierbar zu gestalten.

KI-Governance ist keine Technologiefrage

Die Einführung von KI beginnt zwar häufig mit einer technologischen Entscheidung, ihr nachhaltiger und vertrauenswürdiger Einsatz hängt jedoch vor allem von Governance, Transparenz und Verantwortung ab. Die größten Risiken entstehen meist nicht durch die Technologie selbst, sondern durch fehlende Übersicht über den KI-Einsatz, unklare Zuständigkeiten, unzureichende Kontrollen und die Annahme, bestehende Governance-Strukturen würden die neuen Risiken bereits ausreichend adressieren. Für Healthcare-Organisationen bedeutet dies, KI nicht ausschließlich als IT-Thema zu betrachten. Entscheidend ist vielmehr ein Zusammenspiel aus Management, Fachbereichen, Medizin, Datenschutz, Informationssicherheit und Risikomanagement. Nur wenn Verantwortlichkeiten klar definiert, Risiken systematisch bewertet und KI-Systeme kontinuierlich überwacht werden, kann aus der Illusion von Kontrolle eine belastbare und vertrauenswürdige KI-Governance entstehen.

Key Takeaways

• Der Einsatz von KI im Gesundheitswesen wird weiter zunehmen;
• KI schafft neue Risikoarten, die über klassische Informationssicherheit hinausgehen;
• Shadow-AI und fehlende Transparenz sind häufig größere Risiken als die Technologie selbst;
• Governance muss den gesamten Lebenszyklus von KI-Systemen abdecken;
• „Human Oversight“ bleibt insbesondere bei kritischen Entscheidungen unverzichtbar;
• Die EU AI Act-Anforderungen erhöhen den Handlungsdruck für Healthcare-Organisationen;
• Belastbare KI-Governance entsteht durch die Kombination aus klaren Prozessen, geeigneten Kontrollen und qualifizierten Mitarbeitenden – nicht allein durch Richtlinien oder Zertifikate.

Autor: Roman Krepki

¹ Die in diesem Beitrag dargestellten Überlegungen basieren auf Erkenntnissen aus dem Fachwebinar „The AI Governance Illusion – Why ISO 27001 Is No Longer Sufficient and Why ISO 42001 Matters Now More Than Ever“, das die Herausforderungen einer wirksamen KI-Governance und die zunehmende Diskrepanz zwischen wahrgenommener und tatsächlicher Kontrolle über KI-Systeme beleuchtet.

² Retrieval-Augmented Generation: KI-Systeme, die nicht ausschließlich auf dem trainierten Wissen basieren, sondern zusätzlich auf externe Wissensquellen zugreifen, z. B. Wissens- und Rechercheplattformen.