Rund ein Jahr nach dem Höhepunkt des aktuellen KI-Hypes sollte man eigentlich meinen, dass sich die grundlegenden Defizite solcher Systeme mittlerweile herumgesprochen haben. Dass auf großen Sprachmodellen basierende Chatbots zwar sehr gut darin sind, überzeugend klingende Texte von sich zu geben, dass sie aber gerade dort, wo es präzise Informationen braucht, immer wieder einmal daneben liegen, gehört etwa dazu.

Und doch scheint bei vielen Firmen und Organisationen die Versuchung, sich mit "irgendwas mit KI" zu schmücken, einfach zu groß zu sein. Das neueste Beispiel dafür, wo das hinführt, liefert nun die US-Metropole New York City.

Überzeugender Unsinn

Seit einigen Wochen betreibt die Stadt unter dem Namen "MyCity" einen eigenen Chatbot, dessen Aufgabe: Er soll vertrauenswürdige Informationen für Unternehmen liefern, auf Nachfrage etwa Auskunft über Rechtsfragen oder Regulierungen liefern. Zu diesem Zweck wurde der Bot gezielt anhand von mehr als 2.000 Webseiten und Artikeln zu diesen Themen trainiert.

Eine Recherche von The Markup zeigt nun aber auf, dass das Ganze in etwa so gut funktioniert wie der vor einigen Wochen in Österreich Furore machende AMS-Chatbot: Die New Yorker Variante liefert selbst bei grundlegenden Fragen zum Teil grob falsche Informationen.

Das reicht von nicht korrekten Antworten im Bereich Arbeitszeiten und Gehalt – etwa der Behauptung, dass Chefs sich einen Teil des Trinkgelds nehmen können – bis zu falschen Aussagen zu den gesetzlichen Vorgaben für Hausbesitzer. Würden sich diese an die Empfehlungen des Chatbots halten, würden sie damit das Gesetz brechen.

Basis

Der MyCity-Chatbot verwendet den Microsoft Azure AI Bot Service als Basis, ähnliche Ergebnisse wären aber auch von anderen Lösungen zu erwarten. Immerhin sind solche Halluzinationen ein diesen Tools immanentes Problem.

Auf solche Hinweise reagiert man in den USA in etwa so wie in Österreich: Von der Stadt heißt es, dass es sich dabei noch um ein Pilotprogramm handle, und man diese Probleme mit der Zeit ausräumen werde. Fast wortgleich war das vor einigen Wochen aus den Reihen des AMS zu hören.

Warnung

Bezogen auf das US-Beispiel warnt KI-Expertin Emily Bender explizit vor diesem Glauben, es handle sich dabei um ein gefährliches Missverständnis. Chatbots auf Basis großer Sprachmodelle seien darauf designed, Dinge zu erfinden. Das sei kein Bug, den man einfach so ausräumen könne, Aufgabe und verwendete Technologie passen in so einem Fall einfach nicht zusammen. (apo, 31.3.2024)