Seit ihrer Veröffentlichung im vergangenen Jahr ist die Konversations-KI ChatGPT in vieler Munde und auch vielfach im Einsatz. Die Fähigkeiten des Sprachmodells, Gespräche zu führen und verschiedenste Anweisungen umzusetzen, sorgten für Erstaunen und befeuerten den Hype rund um künstliche Intelligenz weiter. Mit der Veröffentlichung von Version 4 von GPT, das auch ChatGPT zugrunde liegt, wachsen die Möglichkeiten weiter.

Hinter dieser Entwicklung steht OpenAI, ein von bekannten Namen aus dem Tech-Geschäft gegründetes Unternehmen, in das viel Geld gesteckt wird. Alleine Microsoft hat Anfang des Jahres eine "Ausweitung der Partnerschaft" angekündigt, die man sich zehn Milliarden Dollar kosten lässt. Wie man auch mit wesentlich weniger Mitteln viel erreichen kann, zeigen Forscher aus Stanford. Sie haben mit geringem Geldeinsatz das KI-Sprachmodell "Alpaca" trainiert, das mit ChatGPT mithalten kann.

Aus "LLaMA" wird "Alpaca"

Der Vergleich ist freilich nicht ganz fair, denn die Wissenschafterinnen und Wissenschafter haben sich unter anderem der Vorarbeit von Meta bedient. Die Facebook-Mutterfirma hat verschiedene Versionen ihres eigenen KI-Modells "LLaMA" freigegeben. In Stanford hat man sich das Kleinste davon, LLaMA 7B, herausgegriffen.

Dieses wurde mit einer Billion Datenschnipsel trainiert und vermag sich eigentlich bei weitem nicht mit ChatGPT zu messen. An dieser Stelle bedienten sich die Stanford-Mitarbeiter an ihrem Vorbild GPT 3.5. Dieses fütterte man mit 175 von Menschen verfassten Eingabe/Ausgabe-Textpaaren (Frage/Antwort) und ließ es auf Basis dessen neue Daten dieser Art erzeugen.

So erstellte man für weniger als 500 Dollar einen Datensatz mit rund 52.000 Mini-Konversationen, um LLaMA 7B weiter anzulernen. Dieses Feintuning wurde mittels eines cloudbasierten Dienstes auf acht Rechnern mit Nvidias spezialisierter A100-GPU durchgeführt. Der Prozess dauerte drei Stunden und verursachte Kosten von weniger als 100 Dollar. Das daraus resultierende erweiterte KI-Modell taufte man schließlich "Alpaca 7B".

Erstaunliche Fertigkeiten

Das digitale Anden-Kamel durfte sodann gegen GPT 3.5 in Aufgaben aus verschiedenen Kategorien antreten, reichend vom Verfassen von Social-Media-Postings bis hin zu Geschäfts-E-Mails. Dabei wurden 90 Erfolge für Alpaca 7B und 89 für GPT 3.5 verbucht, was die Forschenden aufgrund des vergleichsweise geringen Umfangs ihres Modells selbst erstaunte. Dazu testete man Alpaca auch mit nicht vorgefertigten Aufgabenstellungen und stellte fest, dass es sich oft ähnlich wie GPT verhielt.

Man hält aber auch fest, dass der Umfang der Testläufe womöglich nicht umfassend genug war, um alle etwaigen Schwächen abzubilden. Aber auch hier gibt es Ähnlichkeiten. Auch die Stanford-Text-KI kann mitunter toxisches Verhalten an den Tag legen oder Falschinformationen als Fakt darstellen. Das Modell habe in puncto Sicherheit noch kein Feintuning erhalten.

Wer möchte, kann das Sprachmodell auf seinem eigenen Rechner zum Laufen bringen, da es als Open Source veröffentlicht wurde. Für einige Tage gab es zudem eine im Browser aufrufbare Eingabemaske, mit der jeder die Kapazitäten von Alpaca 7B selber testen konnte. Diese Webdemo wurde aber mittlerweile abgedreht. Begründet wird dies damit, dass die KI noch zu häufig problematisches Verhalten an den Tag legt und das Hosting zu teuer werde.

Die Implikationen sind trotzdem beachtlich, denn immerhin gibt es nun ein frei verfügbares Sprachmodell, das sich zumindest in vielen Aspekten mit der bis vor kurzem aktuellsten Version von ChatGPT (auf Basis von GPT 3.5) messen kann. Das dies mit einer vergleichsweise kleinen Vorlage und KI-generierten Trainingsdaten gelungen ist, lässt sich auch kaum überschätzen.

Verschiedene Interessenten experimentieren bereits mit dem Code. Mittlerweile gibt es Umsetzungen, die auf einem Raspberry-Pi-Mini-PC oder Pixel-6-Smartphone laufen und sich ganz ohne Clouddienst binnen weniger Stunden auf einer High-End-Grafikkarte trainieren lassen. (gpi, 21.3.2023)