"Wir arbeiten mit großen sozialen Netzwerken zusammen, um gefährdete Personen direkt auf deren Plattform zu finden und zu behandeln" – heißt es auf dem Linkedin-Profil der im Jahr 2020 gegründeten gemeinnützigen Organisation Koko. Überraschend selbstbewusst mutet dort ein Thread des Gründers Rob Morris an, in dem er nicht ohne Stolz darauf hinweist, dass man bereits mit einer Betreuung durch die KI "GPT-3" experimentiert hat. Schon seit Jahresbeginn erntet das umstrittene Start-up heftige Kritik – auf Social Media, aber auch aus der Wissenschaft, die ethische Standards für Humanstudien verletzt sieht.

Wohlmeinende Absicht

Koko hat sich einem akuten Problem verschrieben: Als Organisation für psychische Gesundheit arbeitet man mit Social-Media-Plattformen zusammen, um auf Postings potenziell gefährdeter Userinnen und User besser reagieren zu können.

Finden sich in geposteten Inhalten Hinweise auf Selbstgefährdung, werden die Personen üblicherweise an Krisenhotlines verwiesen, wo sie mit geschultem Personal sprechen können. Der Einsatz von Chatbots – die mit vorgefertigten Fragen und Antworten arbeiteten – ist in diesem sensiblen Bereich verständlicherweise sehr umstritten.

Zusammenarbeit mit Social-Media-Plattformen

Auf seiner Website listet Koko eine Vielzahl an Plattformen auf, mit denen man schon kooperiert hat, darunter Tiktok, Tumblr oder Twitch. 71 Prozent der Menschen, die Hilfe von Koko erhalten haben, fühlten sich demnach "hoffnungsvoller", 42 Prozent fühlen sich "besser in Bezug auf ihren Körper", und 67 Prozent würden "weniger Selbsthass" empfinden.

Die Mission ist, psychische Gesundheit für alle zugänglich zu machen, die Dienstleistungen sind kostenlos. Dabei experimentiert die Organisation auch immer wieder mit dem Einsatz von künstlicher Intelligenz, um das Angebot auszuweiten.

Kostenlos, aber auf Kosten von Patientinnen und Patienten?

Eine Studie der Organisation sorgt nun für heftige Kritik. Im Zeitraum von August bis September letzten Jahres führte Koko offenbar Tests mit suizidgefährdeten Teenagern durch – ohne Einholung einer informierten Einwilligung.

Auf verschiedenen Plattformen wurden Userinnen und User im Alter von 18 bis 25 Jahren gesucht, deren Postings Hinweise auf mögliche Selbstverletzung enthielten. Zu den Keywords zählten beispielsweise "Depression" oder "sewer-slide" – ein Codewort für das englische Wort "suicide", das benutzt wird, wenn Erwachsene in der Nähe sind und von den Problemen nichts mitbekommen sollen.

Ohne Vorwarnung wurden die Teenager dann an einen Chatbot weitervermittelt, anstatt Hilfe von einem menschlichen Gegenüber zu erhalten.

"Einminütige erweiterte Einsitzungs-Krisenintervention"

In einem Vorabdruck der Studie wird beschrieben, wie der Algorithmus von Koko "krisenbezogene" Sprache auf verschiedenen Plattformen – unter anderem Tumblr, Discord, Telegram und dem Facebook-Messenger – erkennt und die Personen auf die eigene Plattform weiterleitet. Dort wurde in einer Datenschutzrichtlinie und den Nutzungsbedingungen darauf verwiesen, dass Daten für Forschungszwecke verwendet werden könnten.

Im Anschluss wurde mithilfe eines Chatbots mit der Frage "Womit kämpfst du?" ("What are you struggling with?") das Problem eingegrenzt – in Kategorien wie Suizidgedanken, Seblstschädigung, Essstörungen oder Misshandlung. Anhand der Angaben wurden die Teenager in zwei Gruppen aufgeteilt: Eine Gruppe erhielt die Nummer einer Krisenhotline, die andere bekam eine "einminütige erweiterte Einsitzungs-Krisenintervention" ("one-minute enhanced crisis Single-Session Intervention").

Katzen-GIFs im Fragebogen

So professionell diese Bezeichnung anmuten mag: Bei der erweiterten Krisenintervention handelte es sich letztendlich um einen Online-Fragebogen. Userinnen und Usern wurde eine Art Quiz vorgelegt, in dem sie Auslöser der Beschwerden und Bewältigungsstrategien angeben sollten. Im Quiz waren außerdem an mehreren Stellen GIFs von Katzen enthalten.

Die Katzen sollten offenbar – je nach Antwort der Person – eine belohnende oder aufbauende Wirkung haben. So gab es beispielsweise eine Katze zur Belohnung, wenn die Person angab, am nächsten Tag ihre Benachrichtigungen zu checken. Lautete die Antwort "Nein", gab es dennoch eine Katze zum Trost: "Das ist okay. Wir lieben dich trotzdem."

In fünf Schritten zum Erfolg?

Die Autoren der Studie beschreiben fünf Schritte, mit denen Personen in der "erweiterten Kriseninterventions"-Gruppe geholfen werden soll. Zuerst bekämen die Userinnen und User Informationen zu ihrem Problem, zum Beispiel: "Viele Nutzer von Koko kämpfen mit Selbstverletzung. 17 Prozent der jungen Erwachsenen haben sich schon einmal selbst verletzt." Dem folgte ein Erfahrungsbericht einer anderen Person, die mit Koko schon positive Erfahrungen gemacht hatte.

Am Ende des Fragebogens erhielten die Userinnen und User einen "Sicherheitsplan", den sie abspeichern sollten. Dort fanden sich dann auch Kontaktdaten für Ansprechpartner im Fall eines psychischen Notfalls und die Nummer einer Krisenhotline. Sinn der Studie war offenbar, die Wirksamkeit einer derartigen "Intervention" (gemeint ist das Online-Formular) zu analysieren.

Unmenschliche "nichtmenschliche Forschung"

Die Studie wurde als "nichtmenschliche Subjektforschung" ("non-human subject research", NHSR) eingestuft. Dieser Forschungsansatz widmet sich nicht dem menschlichen Subjekt – in dem Fall also den gefährdeten Teenagern –, sondern der Erforschung eines anderen Phänomens. Das trifft beispielsweise auf Projekte zu, die Qualitätsverbesserung oder Geschäftsanalysen umfassen – solange diese Projekte eben keine Menschen betreffen.

Es steht der Vorwurf im Raum, Koko habe seinen Chatbot auf Kosten von Teenagern mit psychischen Problemen getestet, wodurch ihnen Schutzmaßnahmen in Bezug auf ihre Sicherheit und Privatsphäre verwehrt wurde.

Strenge Regulierungen für Humanstudien

Studien mit menschlichen Probanden unterliegen strengen Vorgaben. So ist beispielsweise eine Aufsicht durch eine Ethikkommission vorgeschrieben, außerdem müssen die Studienteilnehmerinnen und -teilnehmer über Risiken und Vorteile informiert werden und diesen mit einer unterschriebenen Einverständniserklärung zustimmen.

Weil das Design der Koko-Studie aber als "nichtmenschliche Subjektforschung" eingestuft wurde, war eine derartige Zustimmung nicht erforderlich. Die Probanden mussten lediglich den Nutzungsbedingungen und Datenschutzrichtlinien von Koko zustimmen – die bekanntlich kaum gelesen werden.

Koko-Gründer verteidigt das Studiendesign

Rob Morris, der Gründer von Koko, verteidigt das Studiendesign. Laut ihm würden Social-Media-Plattformen nicht genug für gefährdete Userinnen und User tun. Das Einholen einer informierten Einwilligung seitens der Teilnehmerinnen und Teilnehmer hätte außerdem dazu führen können, dass sie nicht teilnehmen, sagte er gegenüber "Motherboard".

Die informierte Einwilligung ("informed consent") soll Patientinnen und Patienten eigentlich über Risiken, Vorteile und Alternativen einer Behandlung aufklären. Dafür muss die betroffene Person allerdings in der Lage sein, eine freiwillige Entscheidung zu treffen. Dieser Punkt wurde in der gegenständlichen Studie missachtet, so die Vorwürfe gegen Koko.

Shitstorm bereits im Jänner

Bereits zu Jahresbeginn löste ein Thread von Rob Morris einen Shitstorm auf Twitter aus. Darin beschreibt er ein Modell von Koko, das auf Discord eingesetzt wurde. Auf einer "Peer-Suppport-Platform" konnten Userinnen und User einander unterstützen, wenn sie merkten, dass jemand Hilfe benötigt.

Ein gutgemeintes Erklärungsvideo trug nicht wesentlich zur Beruhigung der aufgebrachten Nutzerinnen und Nutzer bei. In dem Clip wird gezeigt, wie die Betreuung durch Userinnen und User funktioniert – so konnte man auf hilfesuchende Posts entweder mit eigens verfassten Antworten oder aber mit KI-generierten Texten reagieren. Die Personen konnten zwar selbst entscheiden, ob sie die KI-Texte noch bearbeiten wollten, der Beigeschmack "unmenschlicher" Hilfeleistung blieb aber bestehen. (Lisa Haberkorn, 13.03.2023)