Mehr Schutz vor digitaler Diskriminierung erforderlich

Auch in Bewerbungsverfahren kommen zunehmend Künstliche Intelligenzen (KI) zum Einsatz. Werden Bewerber:innen wegen ihres Geschlechts, ihrer Herkunft oder wegen einer Behinderung aussortiert, können sie die Diskriminierung bisher oft nicht nachweisen. Die Bundesbeauftragte Ferda Ataman schlägt vor, das AGG um Auskunftspflichten und ein Schlichtungsverfahren zu erweitern.

Die Unabhängige Bundesbeauftragte für Antidiskriminierung, Ferda Ataman, will den Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme verbessern. Denn bisher ist unklar, was passiert, wenn eine Benachteiligung nicht von einem Menschen, sondern einem Algorithmus ausgeht. Ataman legte dazu am 30.8.2023 das Rechtsgutachten »Automatisch benachteiligt – Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme« vor.

Prof. Dr. Indra Spiecker genannt Döhmann und Prof. Dr. Emanuel V. Towfigh weisen in ihrem Gutachten nach, dass Regelungslücken im Allgemeinen Gleichbehandlungsgesetz (AGG) bestehen. Diese würden verhindern, dass der bestehende Rechtsschutz auch bei Diskriminierungen durch KI-Systeme wirkt.

Erhöhte Gefahr für Diskriminierung durch KI

Die Bundesbeauftragte sagte bei der Vorstellung des Gutachtens, Künstliche Intelligenzen (KI) machten vieles leichter – leider auch Diskriminierung. „Ob in Bewerbungsverfahren, bei Bankkrediten, Versicherungen oder der Vergabe staatlicher Leistungen: Immer öfter übernehmen automatisierte Systeme oder Künstliche Intelligenz Entscheidungen, die für Menschen im Alltag wichtig sind. Hier werden Wahrscheinlichkeitsaussagen auf der Grundlage von pauschalen Gruppenmerkmalen getroffen. Was auf den ersten Blick objektiv wirkt, kann automatisch Vorurteile und Stereotype reproduzieren. Die Gefahren digitaler Diskriminierung dürfen wir auf keinen Fall unterschätzen“, sagte Ferda Ataman.

Kindergeld-Affäre und Robdept-Skandal

Beispiel Niederlande: In der „Kindergeldaffäre“ wurden im Jahr 2019 zu Unrecht mehr als 20.000 Menschen unter hohen Strafandrohungen aufgefordert, Kindergeld zurückzuzahlen. Mitverantwortlich war ein diskriminierender Algorithmus in der Software, der vor allem Menschen mit doppelter Staatsbürgerschaft als potentielle Betrüger auswählte. Die Affäre führte 2021 zum Rücktritt der niederländischen Regierung.
Beispiele USA/Australien: In den USA benachteiligten fehlerhaft programmierte Algorithmen bei Apple-Kreditkarten systematisch Frauen bei der Kreditvergabe, in Australien sollten nach einem Fehler eines KI-gestützten Entscheidungssystems hunderttausende Sozialhilfeempfänger:innen Geld zurückzahlen („Robodebt“-Skandal). Das Muster war dabei stets das gleiche: Für die Betroffenen war es kaum nachvollziehbar, wie die Entscheidungen zustande kamen.

Und die Verursachenden – staatliche Stellen ebenso wie Unternehmen – verließen sich auch dann noch auf die automatisierten Entscheidungssysteme, als längst klar war, dass sie fehlerhaft waren.

Kritik: Keine Qualitätskontrolle bei eingespeisten Daten

Auch das Gutachten sieht in der Fehleranfälligkeit automatisierter Entscheidungssysteme ein zentrales Problem: Die Qualität digitaler Entscheidungen hänge wesentlich von den Daten ab, die in das System eingespeist werden. Ob diese fehlerfrei sind oder für ihren Zweck überhaupt geeignet waren, sei in der Regel weder für die Verwender*innen noch für die Adressat:innen der Systeme nachvollziehbar.

Den Betroffenen ist häufig gar nicht bewusst, dass ein KI-System zum Einsatz gekommen ist. Zudem sind Informationen über die Arbeitsweise der Systeme in der Regel nicht zugänglich. Somit sind die Möglichkeiten, Diskriminierungen durch KI-Systeme zu erkennen und gegen sie vorzugehen, stark eingeschränkt.

Bundesbeauftragte: Schutz vor KI-basierter Diskriminierung im AGG verankern

Ataman schlägt daher vor, den Schutz vor KI-basierter Diskriminierung im AGG zu verankern, um Betroffene besser zu schützen. Der Digitalisierung gehöre die Zukunft. „Sie darf aber nicht zum Albtraum werden. Menschen müssen darauf vertrauen können, dass sie durch „KI“ nicht diskriminiert werden – und sich wehren können, wenn es doch passiert. Deshalb brauchen wir klare und nachvollziehbare Regeln““, sagte Ataman. „„

Konkret schlägt die Unabhängige Bundesbeauftragte vor:

Anwendungsbereich des AGG erweitern: Künftig sollte „Handeln durch automatisierte Entscheidungssysteme“ als Benachteiligung in § 3 AGG aufgenommen werden.
Auskunfts- und Offenlegungspflichten: Betreiber:innen von KI-Systemen müssen einen Einblick in die genutzten Daten und in die Funktionsweise des Systems zu ermöglichen.
Schlichtungsverfahren: Das AGG soll ein verpflichtendes Schlichtungsverfahren regeln. Dazu soll bei der Antidiskriminierungsstelle des Bundes eine unabhängige Schlichtungsstelle eingerichtet werden.
Beweislastregeln ändern: Bislang müssen Betroffene vor Gericht Indizien einer Diskriminierung vorlegen, damit die Beweislasterleichterung des AGG greift. Betroffene haben aber keine Kenntnisse über die Funktionsweise des KI-Systems und können in die „Black Box“ digitaler Entscheidungen nicht hineinschauen.
Verantwortliche von KI-Systemen sollten deshalb vor Gericht die Beweislast tragen, wenn sie ein solches System eingesetzt haben. Ähnliche Regelungen zur Beweislasterleichterung stehen bereits in den EU-Richtlinien zum Schutz vor Diskriminierung und in der von der EU-Kommission vorgeschlagenen KI-Haftungsrichtlinie.

Quelle:

Antidiskriminierungsstelle des Bundes, Pressemitteilung vom 30.8.2023