Gewalt im Netz | Civic Coding-Schlaglicht - Civic Coding – Innovationsnetz KI für das Gemeinwohl

Die Zunahme von Gewalt und Hass im Internet stellt eine wachsende Bedrohung für unsere Gesellschaft dar. Sie hat das Potenzial, unser soziales Gefüge zu destabilisieren und die Grundlagen einer toleranten, pluralistischen Gesellschaft zu untergraben. Hasskommentare, Drohungen und Diskriminierung im Netz verschärfen gesellschaftliche Spaltungen und fördern das Misstrauen zwischen verschiedenen sozialen Gruppen. Künstliche Intelligenz (KI) bringt dabei sowohl Risiken als auch Chancen mit sich.

Während beispielsweise Algorithmen einerseits polarisierende und extremistische Inhalte verstärken und damit zu einem Anstieg von Feindseligkeit beitragen können, ermöglichen KI-Technologien auf der anderen Seite, Hassrede zu erkennen, dagegen vorzugehen sowie positive Inhalte stärker zu verbreiten. Gemeinsam mit Expert*innen diskutierten wir in unserem Civic Coding-Schlaglicht am 03.12.2024 die übergeordnete Frage, welche Potenziale und Gefahren KI-Anwendungen im Umgang mit Hass und Gewalt im Netz bergen.

Dr. Julian Stubbe von der Civic Coding-Geschäftsstelle moderierte den virtuellen Austausch mit Beiträgen von:

• Dr. Laura Braam, Leiterin der Abteilung Recht und Justiziarin der Landesanstalt für Medien NRW.
• Dr. Bernd Zywietz, Leiter des Bereichs Politischer Extremismus bei jugendschutz.net.

• Mithilfe von KI-Tools können rechtswidrige Inhalte effizient identifiziert und an menschliche Prüfer*innen weitergeleitet werden. Dies schützt Mitarbeiter*innen vor belastenden Inhalten und erhöht die Effizienz der Aufsichtsarbeit.
• Plattformbetreibende sollten den Zugang zu Monitoring-Tools ermöglichen und nationale Gesetze wie den Jugendschutz respektieren.
• Die Zusammenarbeit zwischen Medienaufsicht, Strafverfolgung und zivilgesellschaftlichen Akteur*innen ist essenziell, um nicht nur Inhalte zu löschen, sondern auch strafrechtlich gegen Hass und Gewalt vorzugehen.
• KI-Lösungen stoßen an ihre Grenzen, wenn es um die Unterscheidung zwischen Satire, Ironie und Hassrede geht, da eine präzise Kontexterfassung oft nicht gewährleistet ist. Dadurch bleibt eine Einzelfallprüfung durch Menschen oft unerlässlich.

Über folgende Leitfragen sprachen und diskutierten wir mit den Expert*innen:

1. Wie kann Künstliche Intelligenz effektiv zur Erkennung und Reduktion von Hassrede und Gewalt im Netz beitragen?
2. Welche Verantwortung tragen Plattformbetreibende, Regierungen und zivilgesellschaftliche Akteur*innen in der Zusammenarbeit mit KI-Entwickler*innen, um eine ganzheitliche Lösung gegen Online-Gewalt zu schaffen?
3. In welchen Bereichen stößt der Einsatz von KI an seine Grenzen, wenn es darum geht, zwischen akzeptabler Meinungsäußerung und tatsächlicher Hassrede zu unterscheiden?

Dr. Braam berichtete, dass die Landesanstalt für Medien NRW ihr Monitoring mithilfe des KI-Tools KIVI („KI und Vigilare“) betreibe. Verschiedene soziale Netzwerke sowie klassische Websites werden dabei nach rechtswidrigen Inhalten durchsucht. Die Anwendung KIVI suche gezielt nach potenziellen Verstößen und filtere diese vor. Im zweiten Schritt werden die Inhalte von Menschen geprüft und es wird entschieden, ob die Aufsichtsbehörde tätig werden müsse oder nicht. Anhand dieser Sondierung durch Mitarbeiter*innen, lerne KIVI permanent dazu und entwickele sich weiter.

Bis 2020 sei diese Arbeit von fünf Student*innen geleistet worden, welche manuell recherchiert und teilweise ohne Vorwarnung auf sehr belastende Inhalte gestoßen seien, so Braam. Das Tool diene also nicht nur der Effizienz, sondern schütze auch die Mitarbeiter*innen.

Dr. Zywietz ergänzte, dass jugendschutz.net zwar bisher nicht mit Künstlicher Intelligenz arbeite, sie jedoch großes Potenzial im Kampf gegen die Verbreitung von Hassrede und extremistischen Inhalten biete. So seien mittels KI-Technologie etwa in Echtzeit Vorhersagen darüber denkbar, mit welcher Wahrscheinlichkeit bestimmte öffentliche Diskussionen im Internet eskalieren und dabei rechtswidrige Inhalte verbreitet werden. Dies sei etwa anhand der Schnelligkeit und des Umfangs der Posts erkennbar, so Zywietz.

Dr. Braam betonte die Notwendigkeit, dass Plattformen den Einsatz von Monitoring-Tools ermöglichen sollten. Denn bisher verweigere beispielsweise das Unternehmen Meta den Zugang zu ihren Plattformen, was sie als hinderlich für die effektive Medienaufsicht beschrieb. Plattformbetreibende müssten sicherstellen, dass nationale Gesetze, einschließlich des Jugendschutzes, eingehalten werden. Eine gesetzliche Regelung, die solche Zugänge vorschreibt, sei wünschenswert und notwendig.

Auch zivilgesellschaftliche Akteur*innen könnten dabei helfen, Aufklärung über den Umgang mit Hassrede zu leisten und Gegenstrategien wie Counter-Speech zu fördern, so Dr. Braam. Sie betonte zudem die Bedeutung von Kooperation zwischen Medienaufsicht und Strafverfolgung, da ein reines Löschen von Inhalten nicht ausreiche – strafrechtliche Konsequenzen seien notwendig.

Insbesondere in Grauzonen, also bei Inhalten, die nicht eindeutig strafbar sind, sei die Aufsichtsarbeit kompliziert, berichtete Dr. Zywietz. Häufig berufen die Dienste sich auf die Meinungsfreiheit. Doch bei international agierenden Plattformen sei dies schwierig, da die Ideen von Meinungsfreiheit variieren. Es müsse daher klare nationale Regeln geben, an welche sich die Dienste halten.

Der Einsatz von KI zur Unterscheidung zwischen akzeptabler Meinungsäußerung und Hassrede stoße laut Dr. Zywietz besonders bei der Erfassung des Kontexts an Grenzen. Er beobachte zum Beispiel sehr viele, auch KI-generierte Inhalte, die vielleicht einmal ironisch, als Satire gemeint waren, dann aber durch die Sozialen Medien durchgereicht und irgendwann ernst genommen werden. KI-Tools können die vielfältigen Bedeutungsebenen nicht immer korrekt erfassen, daher sei immer eine Einzelfallabwägung durch Menschen notwendig, erklärte Dr. Zywietz. Besonders beschäftigen seine Institution in diesem Zusammenhang Deepfakes sowie KI-generierte Influencer*innen, also virtuelle Figuren, die in sozialen Netzwerken erscheinen und von vielen nicht als synthetisch erkannt werden.

Doch KI werde nicht nur genutzt, um Fakes zu generieren, sondern auch, um politische Aussagen oder Fakten zu leugnen. Ein konkretes Beispiel seien die Aufnahmen von Demonstrationen gegen Rechts aus dem Frühjahr 2024, als extremistische Akteur*innen behaupteten, die Menschenmassen seien gefälscht. „Unter demokratietheoretischen Gesichtspunkten ist das sehr problematisch, da Fakten einfach aus dem Diskurs gedrängt werden“, so Dr. Zywietz.

Dr. Braam ergänzte, dass die Grenze zwischen Meinungsfreiheit und strafbarer Hassrede eine rechtliche und gesellschaftliche Frage sei, die nicht allein durch technische Lösungen beantwortet werden könne. Zudem bemerkte sie, dass viele der Inhalte, die KIVI herausfiltere, KI-generiert seien, was besonders im Bereich der Desinformation auffalle. Sie wies jedoch darauf hin, dass gezielte Falschinformationen in unserer Gesellschaft leider ausgehalten werden müssten, solange sie nicht strafrechtlich relevant sind. Es sei nur wichtig, dass die Medienaufsicht tätig wird, wenn Desinformation sich so stark verbreite, dass sie von Teilen der Gesellschaft für glaubhaft gehalten wird. Auch für diesen Aspekt müssten nun KI-Lösungen gefunden werden, so Dr. Braam.

Trotz der engagierten Aufsichtsarbeit finden Hassakteur*innen und extremistische Akteur*innen oft Nischen, berichtete Dr. Zywietz. Das seien beispielsweise „Ausweichplattformen“ oder geschlossene Gruppen, welche die Institutionen meist nicht durchdringen können. Im Hinblick auf KI-Technologie gebe es sicherlich weitere Möglichkeiten, Lösungen für diese Herausforderungen zu finden: „Man sieht, dass vieles geht, wenn der Wille da ist“, betonte Dr. Zywietz.