KI in der Praxis: Wie faire und vertrauenswürdige KI-Systeme entstehen

16.06.2026

Künstliche Intelligenz hält zunehmend Einzug in das Gesundheitswesen, öffentliche Dienstleistungen, Personalprozesse, Bildungseinrichtungen und viele weitere Bereiche des täglichen Lebens. Damit rücken Fragen nach Fairness, Transparenz und Verantwortung immer stärker in den Fokus. Im exklusiven Interview mit Bayern Innovativ erläutert Alexandra Wudel, Gründerin des Unternehmens FemAI und „AI Person of the Year 2024“, was „Responsible AI“ in der Praxis bedeutet, warum Verzerrungen in KI-Systemen weit mehr als ein technisches Problem sind und wie Organisationen KI-Lösungen entwickeln und einsetzen können, die inklusiver, vertrauenswürdiger und gesellschaftlich nützlicher sind.

Welche Lücken im KI-Ökosystem möchten Sie mit FemAI schließen?

Alexandra Wudel: Auf Basis unserer Forschung entwickeln wir Beratungsangebote und Dienstleistungen, die auf konkrete Marktbedürfnisse eingehen. Gleichzeitig verfolgen wir konsequent die Vision, dass KI den Menschen dienen soll, insbesondere Frauen sowie anderen unterrepräsentierten Gruppen.
Anfangs haben wir vor allem mit Regierungen und öffentlichen Institutionen gearbeitet, beispielsweise zu regulatorischen Fragestellungen rund um die ethischen Grenzen von autonomen Waffensystemen. Inzwischen hat sich unser Fokus deutlich auf KI-Anwendungen verlagert, die bereits auf dem Markt verfügbar sind. Die technologische Entwicklung schreitet so schnell voran, dass Regulierung allein nicht ausreicht, um Menschenrechte wirksam zu schützen. Das ist an den Entwicklungen des EU AI Act abzulesen. Deshalb tragen die Personen, die über den Einsatz von KI entscheiden, derzeit die größte Verantwortung über den ethisch korrekten Ansatz. Doch wie lässt sich beurteilen, welche Lösungen tatsächlich vertrauenswürdig sind, wenn Transparenz und Zertifizierung bislang nur eingeschränkt vorhanden sind?
FemAI positioniert sich zwischen den Entwicklern von KI-Systemen und deren Anwenderinnen und Anwendern. Im Mittelpunkt unserer Arbeit stehen diejenigen Gruppen, die häufig unterrepräsentiert bleiben wie beispielsweise Frauen, Kinder, Menschen mit Beeinträchtigungen oder andere marginalisierte Personengruppen. Unsere Arbeit umfasst Forschung, Weiterbildung und Beratung. Langfristig beschäftigen wir uns außerdem mit Ansätzen zur Zertifizierung und systematischen Bewertung von KI-Systemen. Denn wenn man ehrlich ist, erfüllen viele der heute verfügbaren KI-Tools bei Weitem nicht die Anforderungen an Vertrauenswürdigkeit, die vor allem in sensiblen Bereichen notwendig wären.

Möglicherweise führt der Begriff „feministische KI“ bei fachfremden Personen zu falschen Vorstellungen oder Missverständnissen. Wie kann man feministische KI in einfachen Worten erklären?

Alexandra Wudel: Feministische KI ist ein Teilbereich von Responsible AI. Sie bringt eine spezifische Perspektive ein, indem sie Methoden der intersektional-feministischen Forschung nutzt. Damit hilft sie Verzerrungen in KI-Systemen zu identifizieren, zu verstehen und zu reduzieren. Im Kern stellt feministische KI Fragen wie:

• Wer profitiert von einem KI-System?
• Wer könnte dadurch benachteiligt werden?
• Wer wurde bei Entwicklung, Datenauswahl, Tests und Einführung berücksichtigt – wer nicht?

Aus unserer Sicht besitzt KI enormes Potenzial. Sie kann die Gesundheitsversorgung verbessern, den Zugang zu Wissen erleichtern, Routinetätigkeiten automatisieren und mehr Raum für zwischenmenschliche Beziehungen und Fürsorge schaffen. Gleichzeitig zeigt die Praxis, dass KI bestehende Ungleichheiten verstärken kann – insbesondere dann, wenn Systeme auf verzerrten Datensätzen basieren oder ohne ausreichende Kontrolle entwickelt werden.
Für uns ist feministische KI deshalb sowohl eine Vision als auch eine praktische Methode. Ziel ist es, Systeme zu entwickeln, die nicht nur effizient oder wirtschaftlich erfolgreich sind, sondern einen positiven Beitrag für die Gesellschaft leisten.

Wenn wir über faire KI sprechen, was bedeutet Fairness konkret und wer entscheidet darüber, ob ein System fair ist?

Alexandra Wudel: Aktuell wird Fairness häufig von denjenigen definiert, die KI-Systeme entwickeln oder strategische Produktentscheidungen treffen. In vielen Fällen gibt es keine unabhängige Prüfung, die bewertet, welche Daten verwendet wurden, wie stark ein System verzerrt ist oder ob es für verschiedene Bevölkerungsgruppen gleichermaßen zuverlässig funktioniert.
Aus unserer Sicht hat Fairness drei zentrale Dimensionen: Daten, Design und Kontext.
Datenfairness bedeutet, dass Trainings- und Testdaten ausreichend repräsentativ sind. Ein System sollte für unterschiedliche Bevölkerungsgruppen zuverlässig funktionieren.
Design-Fairness bedeutet, Mechanismen zu integrieren, die Leistungsunterschiede zwischen verschiedenen Gruppen sichtbar machen und adressieren können – auch dann, wenn die verfügbaren Daten nicht perfekt sind.
Kontext-Fairness betrachtet die Rahmenbedingungen: Wer entwickelt das System und wer ist davon betroffen? Verfügt das Team über das notwendige Verständnis für gesellschaftliche und regulatorische Risiken?
Ein faires KI-System sollte für alle betroffenen Gruppen eine vergleichbare Genauigkeit, Robustheit und Zuverlässigkeit gewährleisten. Gerade im Gesundheitswesen ist das entscheidend. Hier können Unterschiede unmittelbare Auswirkungen auf Diagnosen, Behandlungen und das Vertrauen der Menschen haben.

Können Sie ein konkretes Beispiel nennen, wie KI-Systeme Frauen oder andere marginalisierte Gruppen unbeabsichtigt diskriminieren können?

Alexandra Wudel: Ein einfaches, aber sehr anschauliches Beispiel ist die KI-Bildgenerierung. Fordert man ein Bildgenerierungssystem beispielsweise auf, das Bild eines Arztes zu erstellen, erhält man häufig die Darstellung eines weißen, westlich geprägten Mannes mittleren Alters. Das geschieht nicht zwangsläufig immer und hängt auch von Sprache und Prompt ab, ist aber nach wie vor ein verbreitetes Muster. Das heißt jetzt nicht, dass das System Männer bewusst bevorzugt, sondern es spiegelt vielmehr die Daten wider, mit denen das Modell trainiert wurde. Historisch enthalten viele Datensätze deutlich mehr Darstellungen weißer Männer in bestimmten Berufsrollen als von Frauen oder Personen aus dem Globalen Süden.
Nutzt ein Krankenhaus beispielsweise ein solches KI-generiertes Bild für eine Stellenanzeige, fühlen sich männliche Bewerber möglicherweise stärker angesprochen. Frauen oder Angehörige marginalisierter Gruppen könnten sich dagegen weniger repräsentiert fühlen. Auf diese Weise können scheinbar unbedeutende gestalterische Entscheidungen bestehende Ungleichheiten verstärken. Und dieses Beispiel steht stellvertretend für ein breiteres Problem: Verzerrungen können in Bildern, Sprache, Empfehlungssystemen, klinischen Entscheidungsunterstützungssystemen oder Recruiting-Tools auftreten. Deshalb besteht der erste Schritt darin, sich dieser Problematik bewusst zu werden und der zweite darin, aktiv gegen voreingenommene Standardeinstellungen vorzugehen und diese zu hinterfragen.
Richtig eingesetzt, kann KI sogar dazu beitragen, inklusivere Ergebnisse zu schaffen – etwa durch die gezielte Darstellung von Vielfalt oder die Unterstützung inklusiver Kommunikation. Das heißt, wir können gesellschaftliche Ziele fördern, statt bestehende Ungleichheiten zu reproduzieren.

Angesichts des EU AI Act und den steigenden Anforderungen an verantwortungsvolle KI: Worauf sollten Unternehmen Ihrer Meinung nach achten, bevor sie ein KI-Systems einsetzen?

Alexandra Wudel: Unternehmen sollten sich frühzeitig damit auseinandersetzen, ab welchem Zeitpunkt KI-Governance relevant wird. Wer erst nach der Einführung eines Systems damit beginnt, muss meist deutlich höhere Kosten und einen größeren Aufwand in Kauf nehmen. Responsible AI sollte nicht am Ende des Prozesses ergänzt werden, sondern bereits bei der ersten Idee mitgedacht werden. Der EU AI Act bildet dabei einen wichtigen Rahmen, ist jedoch nicht die einzige relevante Vorgabe, denn es kommen weitere horizontale Regulierungen und Cybersicherheitsanforderungen hinzu, beispielsweise im Kontext der NIS-2-Richtlinie. Im Gesundheitswesen gelten darüber hinaus zusätzliche branchenspezifische Regelungen.
Gerade für Start-ups kann es schwierig sein, sämtliche Anforderungen gleichzeitig zu erfüllen. Deshalb ist es wichtig, frühzeitig über KI-Governance zu sprechen. Allein ein eintägiger Workshop kann helfen, Risiken, Verantwortlichkeiten und regulatorische Anforderungen zu identifizieren. Entscheidend ist, frühzeitig festzulegen, wie Themen wie Governance, Fairness, Transparenz und Compliance im Laufe der Produktentwicklung berücksichtigt werden.

Mit Blick auf die Zukunft: Was müsste sich ändern, damit KI-Systeme nicht nur leistungsfähiger, sondern auch gerechter, inklusiver und vertrauenswürdiger werden?

Alexandra Wudel: Der wichtigste Hebel ist aus meiner Sicht Transparenz. Anbieter sollten offen kommunizieren, in welchen Anwendungskontexten und für welche Bevölkerungsgruppen ihre Systeme zuverlässig funktionieren und außerdem aufzeigen, wo es noch Verbesserungsbedarf gibt. Das schafft Vertrauen, was gerade im Gesundheitswesen von großer Bedeutung ist. Krankenhäuser, Ärztinnen und Ärzte, Patientinnen und Patienten sowie politische Entscheidungsträger müssen nachvollziehen können, ob ein KI-System für unterschiedliche Bevölkerungsgruppen gleichermaßen zuverlässig arbeitet. Falls Leistungsunterschiede bestehen, sollten diese offen benannt und adressiert werden. Dadurch würden im Markt positive Anreize gesetzt werden. Unternehmen, die verantwortungsvoll entwickelte KI anbieten, könnten Vertrauenswürdigkeit als Wettbewerbsvorteil nutzen. Gleichzeitig würde der Druck auf andere Marktteilnehmer steigen, ihre Systeme weiterzuentwickeln.
Letztendlich sollten KI-Systeme nicht nur aufgrund ihrer Leistungsfähigkeit bewertet werden, denn genauso wichtig sind Zuverlässigkeit, Fairness, Inklusivität und Verantwortlichkeit. Gerade in sensiblen Bereichen wie dem Gesundheitswesen ist Vertrauen keine Option, sondern die Grundvoraussetzung dafür, dass eine Technologie akzeptiert wird und einen echten gesellschaftlichen Mehrwert schafft.