KI und Diversität: Wie KI Diskriminierung verstärkt – und sie bekämpfen kann

In unserem Civic Coding-Schlaglicht am 11.07.2024 ging es um die Risiken und Chancen von KI in Bezug auf Diversität und Diskriminierung in der Gesellschaft. Durch KI-Anwendungen können sich Vorurteile verstärken, sie können aber bei entsprechender technischer Ausgestaltung auch Diskriminierung entgegenwirken. Darüber diskutierten wir mit unseren Expertinnen und warfen einen genaueren Blick auf Anwendungen und Projekte, die z. B. einen aktiven, transparenten und diversitätssensiblen Einsatz von KI in Unternehmen ermöglichen.

Dr. Julian Stubbe von der Civic Coding-Geschäftsstelle moderierte den virtuellen Austausch mit:

• Annette von Wedel, Beraterin, Gründerin von female visione. V. und Initiatorin des BMAS-Forschungsprojekts KIDD – Künstliche Intelligenz im Dienste der Diversität
• Aliki Anagnostopoulou, Researcher am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) im Forschungsbereich Interaktives Maschinelles Lernen

• Bereits bei der Gewinnung von Daten für KI-Modelle ist es wichtig, auf Diversität zu achten, um Verzerrungen und die Verstärkung gesellschaftlicher Vorurteile zu vermeiden.
• Der Mensch sollte bei der Entwicklung und Implementierung von KI-Anwendungen stets im Mittelpunkt stehen und unterschiedliche Gruppen – wie beim Projekt “KIDD” – aktiv in den Prozess einbezogen werden.
• Die Zusammenarbeit zwischen verschiedenen gesellschaftlichen Bereichen ist ein entscheidender Faktor, damit KI-Systeme fair und inklusiv gestaltet werden können.
• Regulierungen wie beispielsweise der AI Act können diskriminierenden Ansätzen von KI-Technologien entgegenwirken.
• Es ist eine breit angelegte gesellschaftliche Sensibilisierung notwendig, um die Chancen von KI zu nutzen und gleichzeitig ihre ethischen Risiken zu minimieren.

Wir diskutierten mit den Expertinnen, wie sich Vorurteile und Diskriminierung bei der Entwicklung von KI-Modellen vermeiden lassen und welche Maßnahmen es zur Förderung von Diversität und Inklusion durch KI-Anwendungen gibt. Dabei standen folgende Leitfragen im Fokus:

1. Wie lässt sich darauf hinwirken, dass die Daten, die zum Training von KI-Modellen verwendet werden, frei von Vorurteilen und Diskriminierung sind?
2. Welche Maßnahmen können Unternehmen, zivilgesellschaftliche Akteur*innen und öffentliche Institutionen ergreifen, um zu verhindern, dass KI-Systeme bestehende Diskriminierungen verstärken?
3. Welche positiven Beispiele gibt es bereits, bei denen KI erfolgreich zur Förderung von Diversität und Inklusion eingesetzt wurde?
4. Welche Rolle sollten Regulierungen und Richtlinien spielen, um sicherzustellen, dass KI-Systeme fair und inklusiv gestaltet werden?
5. Wie lässt sich das Bewusstsein und die Bildung über die ethischen Implikationen von KI in Bezug auf Diversität und Inklusion fördern?

Aliki Anagnostopoulou betonte, es sei insbesondere in Bezug auf Aspekte wie Fairness und Diversität zentral, dass der Mensch die Kontrolle behalte und eine optimale Zusammenarbeit zwischen Mensch und Maschine stattfinde. Allerdings spiegeln die Daten, die zur Schulung von KI-Modellen verwendet werden, häufig bestehende gesellschaftliche Vorurteile, die sich dann in den KI-Modellen manifestieren. Die Methode des interaktives Maschinelles Lernen, die darauf abzielt, menschliches Feedback in die Lernprozesse einzubeziehen, sei daher gut mit Diversität vereinbar. Dieser Perspektive stimmte auch Annette von Wedel zu.

Auch wenn das Bewusstsein dafür gewachsen sei, bereits große Fortschritte erzielt wurden und KI-Modelle inzwischen weniger voreingenommen seien als noch vor einigen Jahren, gebe es immer noch Diskriminierungsfälle in Technologien aufgrund verzerrter Daten, erklärte Anagnostopoulou. Deshalb sei es wichtig, bereits bei der Datensammlung auf Diversität zu achten und unterschiedliche Interessengruppen einzubeziehen. So können Verzerrungen vermieden werden.

Sie verwies außerdem auf Tools wie AI Fairness und AI Explainabality, die Datensätze und -modelle auf Diskriminierung und Diversitätsrichtlinien überprüfen können. Diese dienen der Erklärbarkeit von KI-Modellen und bieten vor allem für Forschungs- und Bildungszwecke verschiedene Metriken zur Bewertung und Verbesserung der Fairness. Andere Tools wie Aequitas prüfen KI-Systeme auf Verzerrungen – beispielsweise in Bezug auf den Arbeitsmarkt – und können auch von mittelständischen Unternehmen genutzt werden.

Unternehmen und Institutionen sollten sich der Verantwortung bewusst sein, die sie tragen, wenn sie KI-Systeme einsetzen. Anagnostopolou ging auf das Ethik-Team des DFKI ein, zu dem erfahrene Wissenschaftler*innen gehören und das sich mit ethischen Fragen in der Forschung beschäftigt. Bei der Publikation und Teilnahme an Konferenzen und Journals wird ein sogenanntes „Ethical Statement“ gefordert, in dem Informationen zu den verwendeten Daten wie ihre Herkunft und die Arbeitsbedingungen bei der Gewinnung angegeben werden müssen. Auch wenn es oft schwierig erscheine, alle Perspektiven zu betrachten, sei dies sehr wichtig, so Anagnostopolou. Wissenschaftler*innen können außerdem Methoden zur Neutralisierung von Daten entwickeln – beispielsweise ist es in der maschinellen Sprachverarbeitung möglich, „männliche“ Adjektive oder Berufsbezeichnungen in „weibliche“ Begriffe umzuwandeln.

Beide Expertinnen waren sich einig, dass der Mensch im Mittelpunkt stehen müsse. Es sei zudem entscheidend, dass bei der Entwicklung und Implementierung von KI-Anwendungen eine interdisziplinäre Zusammenarbeit stattfindet, bei der beispielsweise Ethiker*innen, Informatiker*innen und Soziolog*innen gemeinsam an der Gestaltung von fairen Systemen arbeiten.

Dass KI gezielt zur Förderung von Diversität eingesetzt werden kann, zeigt beispielsweise das Projekt „KIDD – KI im Dienste der Diversität“. 

Durch ihre Arbeit in diesem Projekt ist Annette von Wedel mit zahlreichen Unternehmen in Kontakt. Sie beobachtet, dass viele Arbeitgeber*innen die Relevanz des Themas Diversität insbesondere als entscheidenden Aspekt von Arbeitgeber*innenattraktivität in Zeiten des Fachkräftemangels verstanden haben. Allerdings fehlen vor allem in kleinen, eher traditionell geführten Unternehmen häufig noch die Ressourcen dafür, während größere Unternehmen über mehr Möglichkeiten verfügen, Personal und Geld zu investieren.

„KIDD“ unterstützt Unternehmen dabei, Digitalisierungsprozesse wie die Einführung von KI-Anwendungen transparent, partizipativ sowie unter Berücksichtigung von Diversitätsaspekten zu gestalten und Ungleichheiten zu identifizieren.

Der KIDD-Prozess ist strukturiert wie ein Softwareentwicklungs- oder -einführungsprozess. Zusätzliche Prozessschritte kommen hinzu und werden vom sogenannten „Panel der Vielfalt“, das Teil des Projekts ist, geleitet. Dieses Gremium setzt sich aus unterschiedlichen Stakeholder*innen der Organisation zusammen. Darunter sind nicht nur Expert*innen, sondern auch Personen, die mit der Anwendung arbeiten müssen. Im Panel der Vielfalt können Menschen eingebunden werden, die sonst nie an Entscheidungsprozessen hierarchischer Organisationen beteiligt sind. Die Einbindung eines solchen Gremiums sei ein massiver kultureller Impuls, der zwar Zeit kostet und zu herausfordernden Fragen führen kann, wodurch aber auch blinde Flecken und potenzielle Diskriminierung frühzeitig erkannt werden können.

In einem iterativen und partizipativen Prozess wird dem Panel der Vielfalt zunächst Wissen über KI vermittelt und eine Sensibilisierung für ethische Fragen geschaffen. Es wird eine Matrix mit Vielfaltsperspektiven erstellt, die neben Alter und Geschlecht auch Aspekte wie Dauer der Firmenzugehörigkeit oder Position einbeziehen. In diesem Prozess kam es teilweise auch zur Erkenntnis, dass das Unternehmen noch nicht sehr divers aufgestellt ist oder es keine Diversitätsstrategie gibt.

Der Prozess wurde an vier Unternehmen getestet. Eines war eine Beratungsgesellschaft, die ein Tool für das Matching von Beratungsteams einführen wollte, um mithilfe von KI passende Teams für Kund*innenanfragen zusammenzustellen. Ein solches Tool ist mit Chancen und Risiken verbunden und das Panel der Vielfalt sollte Hoffnungen und Befürchtungen formulieren. „Je vielfältiger das Gremium ist, umso unterschiedlichere Perspektiven werden sichtbar“, berichtete von Wedel. Auf Grundlage der Ergebnisse des Gremiums, die im Unternehmen diskutiert wurden, erfolgten dann entsprechende Anpassungen der Anwendung.

In einem anderen Unternehmen ging es um die Einführung einer Software für den Vertrieb, wofür ursprünglich der Einsatz einer KI geplant war. Doch durch die Diskussion im Panel der Vielfalt stellte sich heraus, dass eine „normale“ Software für ihre Zwecke ausreicht. Wenn sich auf diese Weise herausfinden lässt, dass eine Software für die jeweilige Anforderung nicht geeignet ist, steigt auch das Vertrauen in die letztendlich eingesetzte Anwendung.

Bei allen Unternehmen führte der Prozess zu teil schwerwiegenden Veränderungen, doch am Ende stand stets große Zufriedenheit, wie von Wedel deutlich machte.

Regulierungen wie der kürzlich verabschiedete AI Act sind für die Expertinnen von zentraler Bedeutung für eine möglichst faire und diskriminierungsfreie Entwicklung von KI-Systemen. Von Wedel befürwortete den auch im AI Act geforderten Ansatz, den Menschen in den Mittelpunkt zu stellen sowie die in der Verordnung festgelegte Notwendigkeit von Dokumentationen. Ihrer Auffassung nach lasse sich oft nicht mehr unterscheiden, welche der Inhalte, die durch KI ins Internet gelangen, tatsächlich real sind. „Es ist eine Herkulesaufgabe, etwas zu regulieren, was sich so schnell weiterentwickelt und so komplex ist. Daher ist es ein guter Ansatz, Risikokategorien zu definieren“, unterstrich von Wedel. Als Beispiel nannte sie Personalprozesse, von denen viele unter Hochrisikokategorien fallen und entsprechend reguliert werden.

Von Wedel und Anagnostopoulou erwähnten außerdem die Entwicklung von Large Languagebzw.Foundation Models, für die große Massen an Daten aufwändig programmiert werden, die eine Grundlage für Sprach- oder Bildmodelle bilden und auf die andere Anwendungen „draufgesetzt“ werden. Hier stellt sich in Europa immer die Frage, ob der Baustein selbst oder die Anwendung reguliert werden sollte. Es müsse unterschieden werden zwischen selbstentwickelten KI-Systemen, bei denen Entwickler*innen Einblick haben und Large Language oder Foundation Models, die eine „Black Box“ ohne eindeutige Verantwortliche darstellen und bei denen unklar ist, wer zur Rechenschaft gezogen werden kann.

Von Wedel betonte abschließend, dass KI zahlreiche Chancen biete und viel Positives mit sich bringe, aber man trotzdem einen kritischen Blick behalten müsse.

Die Kombination aus gesundem Menschenverstand und KI habe großes Potenzial und der Mensch werde daher nicht überflüssig, sondern eigentlich noch viel wichtiger. Anagnostopoulou hob darüber hinaus ebenfalls die Bedeutung von Bildung und Kampagnen für eine Sensibilisierung zu KI und Diversität hervor. Außerdem sei die Unterstützung von Forschungsprojekten, die sich mit ethischen Aspekten von KI beschäftigen, sehr wichtig.