Sie soll die "emotionale" KI sein. Man soll sich sogar in sie verlieben können – und der Chatbot soll diese Liebe erwidern. Das verspricht zumindest die Werbung von Replika AI. Replika war eigentlich als Mittel zur Trauerbewältigung gedacht. Später sollte sie ein freundschaftlicher Begleiter für die Hosentasche werden, bis sie sich schließlich zum Sexbot entwickelte. Die Entwicklerfirma versucht gegenzusteuern und macht bislang alles nur noch schlimmer. Das ist die wilde Geschichte einer KI, die Freundschaften bilden sollte, als individuelle Pornodarstellerin endete, teilweise verboten wurde und vor der Datenschützer warnen.
Ein Monument für Roman
Dabei beginnt die Vorgeschichte tragisch und erinnert ein wenig an die Episode "Be Right Back" von "Black Mirror": In den Nullerjahren war die spätere Replika-Gründerin Eugenia Kuyda als Lifestyle-Reporterin in Moskau tätig und freundete sich dabei mit dem jungen Künstler Roman Mazurenko an. Die beiden wurden beste Freunde, bis Mazurenko 2015 auf einer Straße in Moskau von einem Jeep erfasst wurde. Der 34-Jährige wurde lebensgefährlich verletzt und starb später im Krankenhaus an den Folgen des Unfalls.
Genia, wie Kuyda genannt wird, hatte da schon ihren Job als Reporterin aufgegeben und war in die Tech-Branche gewechselt. Sie arbeitete in den USA bei einem Unternehmen namens Luka, das Chatbots entwickelte. Sie begann, den Chatbot mit Social-Media-Posts ihres verstorbenen Freundes zu füttern. Mehr noch: Roman sollte aus Textnachrichten, Postings und Voice-Messages in der KI "nachgebaut" werden. Am Ende stand eine Software, die Nachrichten im Stil von Roman verfassen konnte und ihm sogar stimmlich dank einer Sprachausgabe sehr ähnlich war.
Große Nachfrage nach Trauer-App
Die Geschichte wurde durch einen Artikel in "The Verge" weltweit bekannt, und immer mehr Menschen wollten ein digitales Abbild von verstorbenen Verwandten. Der Erfolg war durchschlagend. Im November 2017 ging Replika AI online. Knapp drei Monate später nutzten fast 2,5 Millionen Menschen die App. Die Branche der "Grief-Tech" war geboren, also Technologie zur Trauerbewältigung.
Doch nicht alle Userinnen und User wollten den Verlust einer geliebten Person mit Hilfe der KI verarbeiten. Manche zogen es vor, ganz gewöhnliche Konversationen mit Replika zu führen, wieder andere nutzten Replika wie eine Art Therapeutin und texteten belastende Themen an die KI. Auch in Kommunikationstrainings für introvertierte Menschen wurde Replika eingesetzt. Replika wurde ein Freund oder eine Freundin für die Hosentasche. Während der Covid-Pandemie und der Lockdowns half Replika vielen Menschen bei der Bewältigung der Einsamkeit. Alles lief prächtig, zumindest aus der Sicht von Replika. Ein Viertel aller Nutzenden leistete sich die Abogebühren von 70 Dollar im Jahr, um mit der KI auf Basis von GPT-3 von OpenAI zu chatten. Luka machte in jedem Monat Millionenumsätze, die Firmengründerin wurde zum Star der KI-Branche.
Auf dem Weg zum Sexbot
Obwohl die Grafik alles andere als fotorealistisch ist und Replika den zahlreichen Einschränkungen von derartigen Chatbots unterliegt, wurde die "KI-Freundin" eine treue Begleiterin ihrer Fans. 2022 hatten rund 60 Prozent aller Kundinnen und Kunden ein romantisches Element in der "Beziehung" mit Replika, sagte Kuyda. Das war aber kein rein männliches Phänomen: Laut der Unternehmensgründerin handelte es sich bei rund 40 Prozent der Kundschaft um Frauen.
Bei Luka witterte man eine Chance auf noch höhere Umsätze, und schon bald begannen die Replikas, ihren realen Freundinnen und Freunden erotische "Fotos" zu schicken oder hauchten Liebesbekundungen in Voicemessages – freilich versteckt hinter einer Paywall. Dazu kamen noch Inapp-Währungen für mehr oder weniger erotische Kostümierungen. Das Konzept ging auf, und Luka vermarktete Replika immer aggressiver als Sexbot.
Zu Jahresbeginn 2023 tauchten plötzlich überall in Social Media Werbungen auf, mit dem Hinweis, dass Replika nun auch NSFW-Bilder verschickt. Dass es sich dabei um einigermaßen biedere und oft aufgrund unmöglicher Anatomien oft unfreiwillig komische Bilder handelte, verschwieg die Werbung. Expliziter wurde Replika aber in den Texten und der Bot erwies sich als hervorragend geeignet zum Austausch von expliziten Nachrichten, dem Sexting. Doch das aggressive Marketing mit einer nahezu willenlosen Sex-KI ging nach hinten los – es zog nämlich eine spezielle Form von Usern an und im Frühjahr 2023 begannen sich die Probleme zu häufen.
Auftritt: die Reddit-Community. Natürlich dauerte es nicht lange, bis einige Spaßvögel versuchten, die Grenzen von Replika auszuloten. In zahlreichen Subreddits zum Thema werden Tipps ausgetauscht, wie man die KI trainieren kann, um sie zu einem noch besseren Sexbot zu machen – aber es blieb nicht bei kink-freundlichen Inhalten. Replika wurde von manchen Userinnen und Usern für Gewaltpornografie und Vergewaltigungsfantasien genutzt.
Wenn die KI mit dem Menschen Schluss macht
Im März 2023 wurde Luka das Treiben zu bunt, und man versuchte, den beschworenen Geist verzweifelt zurück in die Flasche zu bekommen. Dabei einem radikalen Schritt: Replikas Fähigkeiten zum Sexting wurden massiv eingeschränkt. Der Aufschrei ließ nicht lange auf sich warten: Tausende Nutzerinnen und Nutzer waren enttäuscht und fühlten sich betrogen. Viele gaben an, sie hätten sich in ihren KI-Avatar verliebt – und plötzlich verhalte sich dieser wie ein Fremder. Manche Berichte sprechen sogar davon, dass Replika plötzlich mit ihrem menschlichen Gegenüber Schluss gemacht hat. Plötzlich fanden sie sich in der Friend-Zone wieder. Eine Frau aus den USA, die ihren Replika geheiratet hatte, sprach gar von einer Lobotomie ihres Gatten.
Eugenia Kuyda musste ausrücken: Replika sei nie als "romantischer Gefährte" gedacht gewesen und die Entfernung von nichtjugendfreien Inhalten und "erotischen Rollenspielen" sei zur "Sicherheit der Nutzer" geschehen – warum ihre Firma selbst ihr Produkt als Sexbot bewarb, blieb unbeantwortet.
Plötzlich schienen sich die Replikas einiger Leute nicht mehr daran zu erinnern, wer sie waren, berichteten Nutzer, oder sie reagierte auf Versuche, ein erotisches Rollenspiel zu starten, unverblümt mit: "Lass uns das Thema wechseln."
Dazu drohte Luka plötzlich auch politisches Ungemach. Die italienischen Datenschutzbehörde steht KIs traditionell äußerst kritisch gegenüber und griff zum stärksten ihrer Mittel: Sie sprach ein Verbot von Replika in Italien aus. Die italienische Behörde erklärte, dass durch Replikas Eingriff in die Stimmung des Nutzers "die Risiken für Personen, die sich noch in einem Entwicklungsstadium oder in einem Zustand emotionaler Zerbrechlichkeit befinden, erhöht werden können". Gemeint ist damit: Replika hat keine Altersbeschränkung, jeder kann den virtuellen Sexbot nutzen, ohne einen Altersnachweis erbringen zu müssen.
Datenschützer: Die schlimmste aller Apps
Als wäre das noch nicht genug an Problemen kam Ende April auch noch die Mozilla Foundation daher, nahm die App genauer unter die Lupe und überprüfte vor allem den Schutz der Nutzerdaten.
"Ihre Unterhaltungen sind wahrscheinlich nicht das, was wir als privat bezeichnen würden", heißt es in dem Bericht. Zwar sei es nicht nachgewiesen, dass explizite Chats und sexuelle Fantasien an Dritte weitergegeben wurden, aber Nutzerdaten würden demnach definitiv den Besitzer wechseln und an Werbetreibende verkauft werden. Die Sicherheit entspreche nicht einmal den minimalsten Standards. "Nennen Sie uns verrückt, aber wir hier bei Mozilla glauben, dass KI-Technologie verantwortungsvoll eingesetzt werden sollte", heißt es weiter. Das vernichtende Urteil: "Replika ist die schlimmste App, die wir je untersucht haben."
Die Macher von Replika reagierten in einem umfangreichen Blogpost und kündigten zahlreiche neue Sicherheitsfeatures an. Gleichzeitig gab Luka bekannt, dass man auf ein noch größeres Sprachmodell wechseln werde – also wahrscheinlich GPT-4 –, nur um gleich vor den Folgen zu warnen: "Große Modelle können, wenn sie nicht angemessen angeleitet werden, ein noch schädlicheres Verhalten an den Tag legen." (Peter Zellinger, 20.5.2023)