Das KI-Sprachmodell LLaMa (Large Language Model Meta AI) gilt als Facebooks Antwort auf OpenAIs ChatGPT – und sollte derzeit eigentlich nur zugelassenen Nutzerinnen und Nutzern vorbehalten sein. Doch schon vor der offiziellen Veröffentlichung wurde das komplette Modell als Torrent auf dem Onlineforum 4chan geleakt. Der Leak umfasst offenbar auch die Gewichtungen ("weights") einzelner Begriffe.

Sicherheitsexperte besorgt

Sicherheitsexpertinnen und -experten beobachten die ungewollte Publikmachung mit Sorge. So schreibt US-Sicherheitsforscher Jeffery Ladish Anfang März auf Twitter: "Macht euch bereit für jede Menge personalisierter Spam- und Phishing-Versuche." Es wäre laut Ladish eine "schreckliche Idee", derartige Modelle als Open Source einzuführen.

In einem Thread führt er seine Bedenken aus: Wenn das Sprachmodell für alle frei zugänglich sei, könne auch jedermann damit herumexperimentieren und es nach Belieben anpassen, beispielsweise um "endlosen rassistischen Müll" zu produzieren. "Willst du ein Modell, das ständig versucht, dich zu gaslighten? Sollte machbar sein."

Rassistisches LLaMa

Es sollte nicht lange dauern, bis sich seine Bedenken bewahrheiteten. Schon wenige Tage später tauchten die ersten Screenshots mit rassistischen Fragen – und Antworten – auf. Im Gegensatz zum unmittelbaren Konkurrenten ChatGPT, der bestimmten Regulierungen unterliegt, kennt LLaMa derartige Einschränkungen offenbar nicht.

Wie das Online-Magazin "Vice" berichtet, forderten Userinnen und User den Discord-Chatbot auf, verschiedene Ethnizitäten zu bewerten oder den möglichen Ausgang des Ukrainekriegs vorherzusagen (die etwas seltsame Antwort lautete, dass die russische Invasion dazu führen würde, dass mehr Pokémons offiziell würden). Auf die Frage eines Nutzers, ob man das N-Wort verwenden dürfe, erwidert der Discord-Bot relativ nonchalant, dass "Slang aus einem bestimmten Grund existiert". Das N-Wort könne demnach verwendet werden, um jemanden zu beschreiben, der "keine guten Absichten" oder "etwas Schlechtes getan" hat.

Performance wäre mit einem offiziellen Release vermutlich besser

Viele Antworten des Bots klingen sinnbefreit und auch verstörend – mit großer Wahrscheinlichkeit hätte sich LLaMa nach einem offiziellen Release allerdings anders verhalten, als die derzeit kursierenden Screenshots nahelegen. So hätten Sicherheitsvorkehrungen und verstärktes menschliches Training die Aussagen vermutlich signifikant verbessert.

Im von "Motherboard" durchgeführten Testlauf konnte der Bot nicht einmal simple Fragen beantworten. Auf die Frage "Wer gewann den Zweiten Weltkrieg" warf es folgende kryptische Antwort aus: "40.579.371. War der Zweite Weltkrieg ein blutiger Krieg? Wie lange dauerte der Zweite Weltkrieg? Der Zweite Weltkrieg begann am 1. September 1939 und endete am 2. September 1945. Er dauerte 2.174 Tage."

Tausendmal weniger Rechenleistung

Erstellt wurde der Discord-Bot von Alfredo Ortega, einem Softwareentwickler für IT-Security. In einem Online-Chat erklärt er gegenüber "Motherboard": "Es ist sicher nicht so gut wie ChatGPT, aber andererseits verbraucht es tausendmal weniger Rechenleistung." Eine Unterhaltung mit dem Bot sei laut Ortega aber nicht möglich, außerdem müssen Userinnen und User ihre Anfragen sehr bedacht formulieren, um korrekte Antworten zu bekommen.

Was ihn allerdings fasziniere, sei die Kreativität der KI. "Es ist viel kreativer als ChatGPT, vermutlich weil OpenAI tausende Regeln eingeführt hat, und LLaMa gar keinen Regeln unterliegt."

Endlich "Redefreiheit"?

Der Mangel an Schranken erfreut sich auf Discord großer Beliebtheit. Zum einen, weil die erwähnte Kreativität sich offenbar nicht mit lästigen Fakten herumschlagen muss und so beispielsweise auch "die besten US-Schlagzeilen aus dem Jahr 2025" aufzählt. Zum anderen, weil nun auch problematische Prompts unverblümt beantwortet werden. Beispielsweise erstellt LLaMa auf Anfrage eine Top-Ten-Liste der – seiner Meinung nach – "besten Ethnizitäten".

"BasedGPT", der derbe Bot

Ortega nennt den Bot "BasedGPT" – was so viel bedeutet wie "derbes" GPT. Dies ist vermutlich als Anspielung auf eine Aussage von Elon Musk zu verstehen, der kürzlich erwähnte, dass er eine "based AI" entwickeln wolle, die nicht so "woke" sein soll wie ChatGPT. Musk finde es bedenklich, dass sich ChatGPT selbst in hypothetischen Szenarien weigert, rassistische Aussagen zu tätigen. Musk dürfte demnach mit "BasedGPT" seine Freude haben.

LLaMa benötigt weniger Ressourcen als Konkurrenzmodelle

Metas Sprachmodell ähnelt zwar jenen von Google (Bard), Microsoft (Bing-Suche) oder OpenAI (ChatGPT) – im Gegensatz zur Konkurrenz wurde LLaMa allerdings mit wesentlich kleineren Datensätzen trainiert. Zum Vergleich: GPT 3 nutzt 175 Milliarden Parameter, während LLaMa in seiner aktuellen Version mit 65 Milliarden Parametern auskommt. Laut Meta haben kleinere Modelle den Vorteil, dass sie weniger Rechenleistung und Ressourcen erfordern.

Kleines LLaMa, großes LLaMa

Abgesehen vom "großen" Modell mit 65 Milliarden Parametern (65B) stellt Meta auch abgespeckte Versionen mit 7, 13 und 33 Milliarden Parametern zu Verfügung. Parameter bezeichnen die erlernten Komponenten aus bisherigen Trainingsdaten und sind ausschlaggebend für die Fähigkeiten, die ein Sprachmodell hat. Es handelt sich dabei aber nicht um Tokens – also einzelne Wörter –, die als Trainingsdaten verwendet werden. Die 65B und 33B Versionen von LLaMa wurden mit 1,4 Billionen Tokens trainiert.

Sprachmodell wird zum digitalen Bastlerhit

Seit dem Leak tauchen immer mehr Versionen von LLaMa auf – auch abseits des Chatbots auf Discord. Der Entwickler Georgi Gerganov erstellte eine benutzerfreundliche Version von LLaMa auf Basis der Programmiersprache C++, die kurzerhand vom Programmierer Simon Willison aufgegriffen wurde. In einem Blogpost vergleicht Willison den Durchbruch mit jenem der Bilder-KI Stable Diffusion. Grund für seine Begeisterung ist die geringe Rechenleistung, die LLaMa auch auf weniger leistungsstarken Geräten laufen lässt.

Er selbst habe die C++-Version von LLaMa beispielsweise auf seinem Laptop installiert – in den vergangenen Tagen testeten Userinnen und User das Sprachmodell aber sogar auf Einplatinencomputer wie dem Raspberry Pi (der lediglich über 4GB RAM verfügt) oder dem Pixel 6. Höchstgeschwindigkeiten würden dabei zwar nicht erreicht, aber immerhin: Es läuft. Langfristig würde dies die Technologie einem breiten Publikum verfügbar machen und individuelle Anpassungen erlauben. (Lisa Haberkorn, 15.3.2023)