Künstliche Intelligenz (KI) wird immer häufiger in der Arbeitswelt eingesetzt, zum Beispiel im Bereich des Robo-Recruiting. Viele Unternehmen setzten auf KI, um effektiver zu arbeiten. Dieser Beitrag beleuchtet, welches Diskriminierungsrisiko bei einem Einsatz von KI besteht und welche arbeitsrechtlichen Folgen eine Diskriminierung durch KI haben kann.
Diskriminierungsrisiko von KI
Häufig wird KI als unparteiisch und rein objektiv wahrgenommen, auch da KI selbst nicht von Emotionen beeinflusst wird. Viele Menschen schenken daher computergenerierten Ergebnissen ein sehr großes Vertrauen. Dieses Phänomen wird als „Automation Bias“ bezeichnet. Doch entgegen dieser Vorstellung kann auch eine KI diskriminierende Ergebnisse erzeugen.
Diskriminiert eine KI bei ihren Entscheidungen, wird das „KI-Bias“ oder „AI-Bias“ genannt. Dies hat vielschichtige Ursachen. Unter anderem kann es durch Vorurteile in den Trainingsdaten, eine fehlerhafte Auswahl der Modellierungssätze oder subjektive Entscheidungen bei der Gestaltung der Algorithmen entstehen.
Ein Beispiel: Ein Unternehmen möchte ein KI-Modell für die Bewertung von Bewerbern erstellen. Hat das Unternehmen in der Vergangenheit beispielsweise deutlich häufiger männliche Bewerber eingestellt und wird das KI-Modell mit diesen historischen Daten des Unternehmens trainiert, könnte es lernen, männliche Bewerber automatisch positiver zu bewerten.
Präventiver Schutz vor Diskriminierung
Die Einzelheiten der Folgen von Diskriminierung sind noch nicht höchstrichterlich entscheiden. Bereits jetzt steht jedoch fest: Arbeitgeber sind dazu verpflichtet, Maßnahmen zu ergreifen, um das Diskriminierungsrisiko durch KI zu minimieren.
So sind Arbeitgeber gemäß § 12 Allgemeines Gleichbehandlungsgesetz (AGG) verpflichtet, Maßnahmen zum Schutz vor Benachteiligungen wegen der in § 1 AGG genannten Gründe zu ergreifen. Nach § 1 AGG sollen Benachteiligungen aus Gründen der Rasse, der ethnischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung, des Alters oder der sexuellen Identität verhindert oder beseitigt werden.
Auch in der KI-Verordnung der EU finden sich Vorgaben zum Diskriminierungsschutz. Zu den durch die Verordnung konkret geforderten Maßnahmen zur Minimierung des Diskriminierungsrisikos durch Algorithmen zählen unter anderem die Qualität der Datensätze, Tests, Risikomanagement, Dokumentation und menschliche Aufsicht während der gesamten Lebensdauer eines KI-Systems. Zudem werden KI-Systeme im Personalwesen als Hochrisiko-Systeme klassifiziert, sodass strenge Compliance-Vorschriften gelten.
Wann liegt eine Diskriminierung im Sinne des AGG vor?
Eine Diskriminierung durch KI kann einen Verstoß gegen das AGG darstellen, denn Beschäftigte dürfen nicht aufgrund eines in § 1 AGG festgehaltenen Merkmales benachteiligt werden. Eine solche Benachteiligung kann unmittelbar oder mittelbar erfolgen.
Eine unmittelbare Benachteiligung liegt vor, wenn eine Person wegen eines oder mehrerer der in § 1 AGG genannten Merkmale eine weniger günstige Behandlung erfährt, als eine andere Person in einer vergleichbaren Situation erfährt, erfahren hat oder erfahren würde, § 3 Abs. 1 AGG. Eine solche unmittelbare Benachteiligung kann nur unter strengen Anforderungen gerechtfertigt werden, §§ 8- 10 AGG.
Mittelbare Benachteiligungen können hingegen unter weniger strengen Auflagen gerechtfertigt werden. Eine mittelbare Benachteiligung liegt vor, wenn Vorschriften, Kriterien oder Verfahren angewandt werden, die neutral erscheinen, bei denen aber durch § 1 AGG geschützte Personen im Vergleich zu anderen in besonderer Weise benachteiligt werden, § 3 Abs. 2 AGG. Jedoch kann die mittelbare Benachteiligung zulässig sein, wenn die weniger günstige Behandlung durch ein rechtmäßiges Ziel sachlich gerechtfertigt ist und die Mittel zur Erreichung dieses Ziels angemessen und erforderlich sind.
Arbeitsrechtliche Folgen eines Verstoßes gegen das AGG
Liegt ein Verstoß gegen das AGG vor, kann der diskriminierten Person ein Anspruch auf Entschädigung und/oder Schadensersatz, beispielsweise aus § 15 AGG, zustehen. Um diesen gerichtlich geltend zu machen, muss die betroffene Person vor Gericht den Verstoß beweisen können. Dabei stellt § 22 AGG eine Erleichterung der Beweislast für den Geschädigten dar. Danach kann der Beweis von Indizien, die eine Diskriminierung vermuten lassen, ausreichend sein, um einen Anspruch zu begründen. Es ist dann Aufgabe des Arbeitgebers, darzulegen, dass kein Verstoß vorliegt. Die Beweisführung des Arbeitgebers wird bei einem Einsatz von KI jedoch schwerfallen, da die Funktionsweise vieler Algorithmen nicht nachvollziehbar ist (sogenanntes „Black Box“-Phänomen). Dem Arbeitgeber ist daher zu einer sorgsamen Dokumentation über seine Erwägungen zu raten. Zudem sollte er geeignete Maßnahmen zur Vermeidung von Diskriminierungen ergreifen.
Fazit
Der Einsatz von KI birgt, wie in vielen Bereichen, auch im Arbeitsrecht Chancen und Risiken. Vor dem Einsatz von KI sollten Arbeitgeber sicherstellen, dass sowohl bei der Programmierung als auch bei den verwendeten Trainingsdaten keine Form von Diskriminierung vorliegt. Aus arbeitsrechtlicher Sicht ist es essenziell, aktiv Maßnahmen gegen Diskriminierung zu ergreifen und die eingesetzte KI regelmäßig zu überwachen. Diese Bemühungen zur Vermeidung von Diskriminierung sollten gründlich dokumentiert werden.
Ein Beitrag von Rebekka Finnern, juristische Mitarbeiterin unserer Kanzlei, und Moritz Schulte, Rechtsanwalt und Fachanwalt für Arbeitsrecht.
