KI-Systeme mögen wie „neutrale Maschinen“ aussehen, aber sie lernen aus Daten, die von Menschen erzeugt wurden. Wenn diese Daten soziale Ungleichheiten, Unterrepräsentation oder frühere Fehlentscheidungen enthalten, lernt das System diese und verstärkt sie manchmal. Das nennt man Bias in der KI.
Woher kommt Bias?
- Unausgewogene Daten: Wenn bestimmte Gruppen in den Trainingsdaten unterrepräsentiert sind, funktioniert das System für sie schlechter.
- Widerspiegelung der Vergangenheit: Wenn frühere Entscheidungen diskriminierend waren, wird ein Modell, das sie nachahmt, diskriminierende Ergebnisse liefern.
- Messung und Beschriftung: Falsche Definition von „Erfolg“ oder die eigenen Vorurteile der Annotatoren.
- Nutzungskontext: Einsatz eines in einem Land oder für eine Gruppe entwickelten Systems in einem anderen Umfeld, ohne es zu prüfen.
Reale Beispiele
Die 2018 veröffentlichte „Gender Shades“-Studie von Joy Buolamwini und Timnit Gebru vom MIT zeigte, dass kommerzielle Geschlechterklassifikationssysteme für hellhäutige Männer fast fehlerfrei arbeiteten, aber bei dunklerhäutigen Frauen deutlich höhere Fehlerraten aufwiesen. Tests des US-amerikanischen National Institute of Standards and Technology (NIST) aus dem Jahr 2019 wiesen ebenfalls unterschiedliche Fehlerraten über demografische Gruppen hinweg bei vielen Gesichtserkennungsalgorithmen nach. Laut einem Reuters-Bericht von 2018 hat Amazon ein experimentelles Einstellungstool, das auf früheren Lebensläufen trainiert war und Frauen benachteiligte, wieder eingestampft.
Auch große Sprachmodelle und Bildgeneratoren können Bias zeigen, etwa indem sie Berufe bestimmten Geschlechtern zuordnen oder Kulturen stereotyp darstellen.
Warum ist das wichtig?
Bias bei einer Filmempfehlung ist ärgerlich; bei Einstellung, Kreditvergabe, Gesundheitswesen, Sozialleistungen oder Justiz kann Bias jedoch direkt das Leben von Menschen beeinflussen. Deshalb schreibt der EU AI Act für Hochrisikosysteme Anforderungen an Datenqualität, Dokumentation und menschliche Aufsicht vor.
Wege zur Behebung
- Vielfältige, repräsentative Datensätze verwenden.
- Systeme vor der Veröffentlichung getrennt für verschiedene Gruppen testen und die Ergebnisse veröffentlichen.
- Prüfbare Systeme entwerfen, die erklären können, wie Entscheidungen zustande kommen.
- Bei wichtigen Entscheidungen das letzte Wort einem Menschen überlassen und eine Beschwerdemöglichkeit bieten.
- Verschiedene Perspektiven in Entwicklungsteams einbeziehen.
Tipps für Nutzer
Texte und Bilder, die von KI-Tools erzeugt werden, kritisch nutzen; besonders auf Generalisierungen über Menschen, Gruppen und Kulturen achten. Wenn eine automatisierte Entscheidung Sie betrifft, informieren Sie sich über Ihr Recht, zu erfahren, wie sie zustande kam, und sie anzufechten.
Wie wird Bias gemessen? Fairness-Metriken
Um zu verstehen, ob ein Modell verzerrt ist, müssen seine Ergebnisse über Gruppen hinweg verglichen werden. Die am häufigsten verwendeten Metriken sind:
- Demografische Parität: Sie prüft, ob die Rate positiver Entscheidungen (z. B. Kreditzusage) über verschiedene Gruppen hinweg ähnlich ist.
- Gleiche Fehlerraten: False-Positive- und False-Negative-Raten sollen zwischen den Gruppen nahe beieinander liegen.
- Kalibrierung: Wenn das Modell „70 Prozent Wahrscheinlichkeit“ angibt, sollte diese Vorhersage in jeder Gruppe tatsächlich in etwa 70 Prozent der Fälle zutreffen.
Ein wichtiger Punkt: Alexandra Chouldechovas Studie von 2017 zeigte, dass bei unterschiedlichen Basisraten der Gruppen Kalibrierung und gleiche Fehlerraten nicht gleichzeitig vollständig erfüllt werden können. Deshalb ist ein „faires Modell“ keine einzelne Zahl, sondern eine bewusste, kontextabhängige Entscheidung, deren Begründung offen dargelegt werden sollte.
Rechtlicher Rahmen und Standards
In seinem Bericht SP 1270 aus dem Jahr 2022 unterteilt das US-amerikanische National Institute of Standards and Technology (NIST) KI-Bias in drei Hauptquellen: systemisch (institutionell und gesellschaftlich), statistisch/komputerisch (aus Daten und Modellen stammend) und menschlich (aus Design- und Nutzungsentscheidungen stammend). Der Bericht betont, dass das Problem nicht allein durch technische Korrekturen gelöst werden kann.
Der Artificial Intelligence Act der Europäischen Union (Verordnung 2024/1689) verlangt, dass bei Hochrisikosystemen wie Personalauswahl oder Kreditbewertung die Trainingsdaten auf mögliche Verzerrungen hin untersucht und geeignete Maßnahmen zu deren Verhinderung ergriffen werden. Für Organisationen bedeutet dies, dass Bias-Tests von einer optionalen guten Praxis zu einer rechtlichen Verpflichtung werden.
Quellen und weiterführende Literatur
- Buolamwini, J. and Gebru, T., „Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification“, FAT* (2018).
- NIST, „Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects“, NISTIR 8280 (2019).
- Reuters, „Amazon scraps secret AI recruiting tool that showed bias against women“ (2018).
- Europäische Union, Artificial Intelligence Act (Verordnung 2024/1689).
- NIST SP 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)
- EUR-Lex – Verordnung (EU) 2024/1689 (Artificial Intelligence Act), Artikel 10
- Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2)
Kommentar hinterlassen
Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert