Das Civic Coding-Schlaglicht „KI-Governance – Zwischen Innovation und Gesetz“ am 08.10.2024 beleuchtete verschiedene Ansätze der KI-Governance sowie ihre Herausforderungen und Potenziale für die Zivilgesellschaft. Im Mittelpunkt stand die Frage, wie sichergestellt werden kann, dass Innovationen gemeinwohlorientierten Prinzipien entsprechen. Dabei wurden der AI Act und internationale Policy-Initiativen wie die KI-Konvention des Europarats sowie die KI-Leitlinien der UNESCO näher beleuchtet. Es wurde diskutiert, wie gemeinwohlorientierte Innovationen durch sie gestärkt werden und wie sich zivilgesellschaftliche Akteur*innen bei der Aushandlung von solchen Gesetzen und Initiativen einbringen können.
Dr. Julian Stubbe von der Civic Coding-Geschäftsstelle moderierte den virtuellen Austausch mit Beiträgen von:
Über folgende Leitfragen sprachen und diskutierten wir mit den Expert*innen:
Lajla Fetic erklärte, dass der AI Act keinen Unterschied zwischen kommerziellen und gemeinwohlorientierten Anwendungen macht, sondern die Produkte selbst im Fokus stehen. Die Anforderungen der Verordnung orientieren sich daher am Risiko, das von der Anwendung des jeweiligen KI-Systems ausgeht, unabhängig von der Art der Organisation. Der AI Act unterscheidet dabei zwischen niedrigem, mittlerem und hohem Risiko sowie einem inakzeptablen Risiko, das zu einem Verbot des KI-Systems führt – etwa bei Technologien zur Emotionserkennung in bestimmten Situationen, beispielsweise am Arbeitsplatz. Systeme mit hohem Risiko, etwa in den Bereichen Bildung oder Recruiting, unterliegen strengen Auflagen.
Matthieu Binder ergänzte: „Nur weil man einen guten Zweck verfolgt, heißt das nicht, dass kein Risiko dahintersteht.” Gemeinwohlorientierte Organisationen müssen demzufolge sicherstellen, dass ihre KI-Systeme die entsprechenden Sicherheits- und Transparenzanforderungen erfüllen. Sie sollten sich daher mit dem AI Act beschäftigen, alle KI-Systeme auflisten, die sie entwickeln oder einsetzen und prüfen, ob diese unter die KI-Verordnung fallen, so der Rat der Expert*innen. Insbesondere gemeinnützige Organisationen benötigen dabei Unterstützung, da sie oft über weniger personelle Ressourcen verfügen. Ein hilfreiches Tool ist die vom applied AI Institute entwickelte Compliance Journey, die Organisationen durch die komplexen Schritte führt.
Die KI-Verordnung gilt dann, wenn es sich bei der Anwendung nach europäischer Definition um ein KI-System handelt und es auf den europäischen Markt gebracht wird, erläuterte Fetic. Allerdings gibt es Ausnahmen: Wenn das KI-System beispielsweise nur Forschungszwecken dient, ist es meist vom Anwendungsbereich ausgenommen.
Binder riet Organisationen, sich folgende Fragen zu stellen, die dabei helfen, die für sie geltenden Auflagen des AI Acts zu bestimmen:
Binder und Fetic thematisierten während der Diskussion einige weitere internationale Leitlinien und Abkommen, die sich mit KI-Ethik und -Governance befassen. Dazu gehören beispielsweise die KI-Konvention des Europarats sowie die KI-Leitlinien der UNESCO.
Der Europarat ist etwas größer als die Europäische Union und ihm gehören unter anderem auch die Türkei sowie einige Balkanländer an. Außerdem haben weitere Länder außerhalb Europas an der KI-Konvention mitgewirkt (beispielsweise die USA, Kanada, Japan und Israel). Die KI-Konvention zielt auf die Wahrung von Menschenrechten, Demokratie und Rechtsstaatlichkeit ab und bildet als völkerrechtlicher Vertrag und Rahmenkonvention einen gemeinsamen Nenner für die Mitgliedsstaaten. Binder betonte, dass zivilgesellschaftliche Akteur*innen die KI-Konvention argumentativ hinzuziehen können, wenn es um Themen wie Menschenrechte gehe. Allerdings bestehe die Gefahr, dass Organisationen sich überfordern, wenn sie die KI-Konvention zusätzlich zum AI Act für ihre Aktivitäten umfassend berücksichtigen, waren sich beide Expert*innen einig. Ähnlich verhalte es sich mit den KI-Leitlinien der UNESCO, die von 194 Staaten als ethische Leitlinien entwickelt wurden. Diese seien zwar wichtig für globale ethische Grundsätze, aber nicht unmittelbar hilfreich für die Umsetzung eigener gemeinwohlorientierter KI-Anwendungen, so Binder.
Darüber hinaus nannte er die OECD-Empfehlungen, die einen weiteren interessanten Ansatz darstellen, da die OECD sich insbesondere an die Wirtschaft richtet, Unternehmen direkt anspricht, Impulse gibt und Themen vorantreibt.
Binder machte deutlich, dass der AI Act auf diese Ansätze und Vereinbarungen Bezug nimmt und daher die wichtigste Grundlage für Organisationen darstellt, die KI-Anwendungen nutzen oder entwickeln.
„Als die EU den AI Act ausgehandelt hat, wurden diese anderen Ansätze berücksichtigt, indem man versucht hat, sie in Recht zu gießen.“
Matthieu Binder, wissenschaftlicher Mitarbeiter iRights.lab
Als eine Möglichkeit für gemeinwohlorientierte Organisationen oder Unternehmen, Einfluss auf die Anwendung der KI-Verordnung zu nehmen, stellte Fetic das Engagement in Standardisierungsorganisationen heraus, die Standards entsprechend des AI Acts entwickeln. Fetic betonte die Bedeutung zivilgesellschaftlicher Beteiligung an der Standardisierung, da es wichtig sei, nicht nur die Perspektive profitorientierter Unternehmen auf diesem Gebiet zu berücksichtigen.
Mit dem Standardisierungsprozess im Rahmen des AI Acts und der Beteiligung der Zivilgesellschaft haben wir uns ausführlich in unserer Veranstaltungsreihe „Civic Coding x ZVKI” beschäftigt. Im Nachbericht zur ersten Deep Dive-Session der Reihe findest du Informationen zu niederschwelligen Beteiligungsformaten. In einer weiteren Deep Dive-Session haben wir die verschiedenen Standardisierungsgremien genauer vorgestellt.
Weiterhin können Organisationen sich an der Entwicklung von Prozessen und Mustern für die in Artikel 27 des AI Acts vorgeschriebene Grundrechtefolgenabschätzung beteiligen. Diese Grundrechtefolgenabschätzung verpflichtet öffentliche Institutionen dazu, Fragen nach dem Zweck und den Folgen der Anwendung eines KI-Systems sowie betroffenen Personen und Maßnahmen für eine menschliche Aufsicht zu beantworten.
Neben dem AI Act als rechtliche Grundlage sei es eine Aufgabe für die Zukunft, partizipative und inklusive Entwicklung von KI-Systemen zu ermöglichen, so Fetic. Dafür stelle sich die Frage, wie beispielsweise Co-Creation und inklusive Gestaltung zum Standard für gemeinnützige Organisationen mit oftmals knappen Mitteln werden kann.
Eine wichtige Rolle bei der rechtlichen Absicherung spielt die im Rahmen des AI Act vorgesehene KI-Aufsicht. Matthieu Binder betonte, dass diese auch die Aufgabe hat, bei der Umsetzung der Verordnung zu unterstützen und entsprechende Handlungsempfehlungen und Materialien zu entwickeln. Organisationen, die KI-Systeme anwenden, sollten zudem Schulungen anbieten, um sicherzustellen, dass ihre Selbstverpflichtungen auch in der Praxis umgesetzt werden, ergänzte Fetic. Gleichzeitig warnte sie vor einem sogenannten „Compliance Bias”: „Bei KI-Anwendungen, die einen gesellschaftlichen Mehrwert bieten sollen, geht es nicht nur darum, dass die Anwendung gesetzeskonform ist. Sie muss auch konform mit gesellschaftlichen Vorstellungen sein und aus Betroffenen Beteiligte machen.” Beispielsweise sollten bei der Entwicklung von KI-Systemen für Migrationsmanagement von Migration betroffenen Menschen gefragt werden, wie und wofür sie sich solche KI-Systeme wünschen, so Fetic. Ihre Empfehlung ist daher, das zu lösende Problem zunächst „technologieblind” zu beschreiben und im zweiten Schritt zu prüfen, wie eine Technologie dabei helfen kann.
Jetzt anmelden und keine Neuigkeiten verpassen! Mit dem Civic Coding-Update wollen wir dich über Veranstaltungen, Förderangebote und Projekte aus der Initiative und der KI-Welt auf dem Laufenden halten.