Im Gastblog erklärt Sandra Wartner, was Natural Language Processing mit Sprachmodellen wie ChatGPT zu tun hat.
Sprache ist nicht gleich Sprache – während Menschen über Tausende von Jahren eigene Kommunikationswege geschaffen haben, dienen Millionen an Nullen und Einsen als Maschinencode beziehungsweise Maschinensprache dazu, dass Computer Befehle verstehen und ausführen können. Natural Language Processing (NLP) ist dabei der Schlüssel, um natürliche Sprache maschinell zu verarbeiten. Egal ob Sprachassistent, Rechtschreibkorrektur, E-Mail-Spamfilter – NLP als Technologie ist omnipräsent und verbirgt sich bereits hinter vielen, tief in unserem Alltag verankerten Abläufen und Softwareapplikationen.
(R)Evolution der Sprachmodelle
In den letzten Wochen drehte sich alles um die neuen künstlichen Intelligenzen (KIs) der großen Player. Die Veröffentlichung von OpenAIs Chatbot-Revolution ChatGPT Ende November 2022 hat das öffentliche Interesse rasant geweckt. Die KI hilft bei alltäglichen und beruflichen Schreibaufgaben wie Einkaufslisten oder kreativen Marketingtexten, liefert Vorschläge zur Planung von Geburtstagspartys, schreibt Gedichte und Songtexte oder hilft bei Programmieraufgaben. Doch was steckt eigentlich hinter der innovativen Technologie?
Natürliche Sprache an sich verfügt über keine identifizierbare Struktur und ist ein komplexes System aus aneinandergereihten, teilweise voneinander abhängigen Zeichen. Hinzu kommen weitere Erschwernisse, da Sprache oft nicht linear funktioniert, sondern sich unterschiedlicher Stilmittel, Redewendungen und Informationen zwischen den Zeilen bedient (zum Beispiel Detektion von Sarkasmus, Kontextanalyse). Um dieses Wissen abbilden zu können, griffen ältere Systeme auf regel- beziehungsweise rein statistikbasierte Ansätze zurück, konnten häufig jedoch nicht die erhofften Ergebnisse liefern. Vorangetrieben durch die Fortschritte im Bereich des Deep Learning, der Verfügbarkeit großer Mengen an Trainingsdaten sowie der gestiegenen Rechenleistung, konnte mit der Veröffentlichung der Transformer-Architektur im Jahr 20171 ein erheblicher Durchbruch im NLP-Bereich und dem Können der Sprachmodelle erzielt werden.
Wie lernt das Modell die Komplexität der Sprache?
Deep Learning wurde von der Funktionsweise des menschlichen Gehirns inspiriert und setzt vielschichtige neuronale Netze ein, deren hochgradig verknüpfte Strukturen gerade für das komplexe Konstrukt der Sprache essenziell sind. Um Sprachrepräsentationen zu lernen, werden dem Modell in der Pretrainingsphase riesige Mengen an Textdaten (zum Beispiel Bücher, Wikipedia) zur Verfügung gestellt. Zu diesem Zeitpunkt hat das Modell noch keine Informationen zu konkreten Aufgaben wie beispielsweise Texte übersetzen oder Informationen auswerten und muss diese in der nachfolgenden Finetuning-Phase mithilfe eines annotierten Datensets erlernen.
In diesem Lernprozess wird Wissen aus dem vortrainierten Modell auf das neue Modell übertragen und als Startpunkt für das Training auf eine spezielle Aufgabe verwendet (Transfer Learning). Da das Pretraining enorme Datenmengen und hohe Rechenleistung benötigt, ist es äußerst vorteilhaft, dass viele dieser (durch große Unternehmen wie beispielsweise Google) vortrainierten Sprachmodelle bereits als Open Source für weitere Forschungs- und Entwicklungsarbeiten zur Verfügung stehen.
KI als Schnittstelle zwischen Mensch und Maschine
Mit der zunehmenden Digitalisierung sowie der Menge an routinemäßigen Abläufen steckt noch immer viel ungenutztes Potenzial in den unstrukturierten Textdaten der Unternehmen, um deren Prozesse und Produkte mit NLP-Assistenten weiter zu optimieren. (Sandra Wartner, 20.3.2023)