Marlon Lückert, Sara Egetemeyr und Jonas Mehrabanian Al-Nemri haben eine KI entwickelt, die
gegen Hass im Netz angehen soll. Foto: Silvia Wolf / Penemue Hate-Speech im Internet ist ein großes Problem und betrifft immer mehr Menschen. Ein Freiburger Entwicklerteam wollte Abhilfe schaffen – und entwickelte mit Penemue eine KI, die für ein besseres Miteinander im World Wide Web sorgen soll.
Als „Heiler der Dummheit der Menschen“ gilt Penemue in der henochischen Überlieferung. Nach ihm benannt ist auch die KI Penemue, die gegen Hass und Hetze im Netz vorgehen soll. „Penemue hat der Überlieferung nach zwar den Menschen das Schreiben beigebracht, ihnen aber nicht erklärt, wie man es sinnvoll nutzt – das holen wir jetzt nach“, so Jonas Mehrabanian Al-Nemri aus dem Entwicklerteam.
Schon seit über zehn Jahren beschäftigt er sich mit Künstlichen Intelligenzen, die sich vor allem mit Sprache und Schrift befassen. Ein öffentlich rechtlicher Sender sei dann auf ihn zugekommen, da es Probleme auf den Kanälen mit Hate-Speech gab, so Mehrabanian Al-Nemri. „Wir wollten etwas für die Gesellschaft tun“, sagt er. Die Idee zu Penemue war geboren. Vor zwei Jahren ging die KI der Freiburger Entwickler an den Start.
Eine KI zu entwickeln, die sich mit Sprache befasst, war nicht so einfach. Reine Filter, wie sie zum Beispiel bei Spam-Verdacht eingesetzt werden, sind nicht sinnvoll. „Hass ist ganz oft etwas Impliziertes“, so Mehrabanian Al-Nemri. Die KI musste daher nicht nur Kontext, zum Beispiel von Bildpostings, verstehen, sondern sich auch mit codierter Sprache – zum Beispiel in gesellschaftlichen Nischen – befassen.
Auch Satire und Ironie sollte sie verstehen. Das führt auch dazu, dass Mehrabanian Al-Nemri und sein Entwicklerteam stets dahinter her sind, die KI weiterzuentwickeln. „Sprache wandelt sich schnell“, weiß Mehrabanian Al-Nemri. Gerade in Verbindung mit Rassismus und jugendgefährdenden Inhalten sei dies ein wichtiger Faktor. Die KI greift auch auf Echtzeitereignisse zurück und setzt Aussagen in den dementsprechenden Kontext: „Penemue weiß genau, was hier gerade abgeht.“
Gegen Verrohung im Netz
Wer Penemue nutzt, kann die KI als Autoguardian nutzen, die die Posts selbst moderiert, oder sich die Inhalte zur eigenen Kontrolle anzeigen lassen. Das hat den Vorteil, dass sich gerade Einzelpersonen, die in der Öffentlichkeit stehen, mit beleidigenden Inhalten und Drohungen gegen ihre Person nicht befassen müssen. Penemue bietet außerdem die Möglichkeit, juristisch relevante Inhalte anzuzeigen – und schätzt direkt die Wahrscheinlichkeit einer juristischen Verfolgung ein.
Dass KI Fluch und Segen zugleich sein kann, weiß Jonas Mehrabanian Al-Nemri: „Wir sind ein Positiv-Beispiel.“ KI sei Teil des Problems – zum Beispiel in Form von Deep-Fakes und Bots, die teilweise auf sehr hohem Niveau arbeiten würden und kaum noch von echten Usern zu unterscheiden seien. Gleichzeitig sei KI jedoch auch ein Teil der Lösung: „Gegen diese Bots kommt nur noch KI an.“
Zu den Nutzern gehören neben Menschen aus der Politik auch Freiburger Vereine und Organisationen. Das Entwicklerteam möchte die Organisationen hinter den Menschen ansprechen und Parteien, NGOs und Vereine dazu auffordern, ihre Abgeordneten und Mitglieder zu schützen. „Der Umgang miteinander im Internet ist schlimmer geworden, die Betroffenenrate wächst“, weiß Mehrabanian Al-Nemri.
Er ist der Meinung, dass gegen Hass und Hetze im Netz viel zu lange nicht vorgegangen und das Thema dadurch normalisiert wurde. Für ihn sei es auch wichtig, abzuwägen, wann eine Zensur stattfinde: Die Nutzung einer solchen KI empfindet er als nicht problematisch. „Durch Hass und Hetze im Netz werden die Stimmen derer aus dem Internet verdrängt, die Angst vor einem Shitstorm haben“, so Mehrabanian Al-Nemri. Sein Ziel: Mit Penemue weltweit für Sicherheit sorgen und zeigen, dass das Internet kein rechtsfreier Raum ist. „Wir brauchen Schutz für die
Menschen, die sich für Dinge einsetzen.“
