Warum sollte man ChatGPT nicht bedingungslos vertrauen, Herr Spriestersbach?

Sie haben in den letzten Wochen bestimmt schon einmal von ChatGPT gehört. Der Hype um diesen revolutionären Chatbot der Firma OpenAI hat ein beispielloses Ausmaß erreicht, mit dem weder Experten noch die Macher hinter der künstlichen Intelligenz gerechnet haben. Ein Chatbot ist ein Computerprogramm, das künstliche Intelligenz (KI) und natürliche Sprachverarbeitung nutzt, um Fragen zu verstehen und die Antworten darauf zu automatisieren, indem es menschlichen Datenaustausch simuliert.

Mehr als über 100 Millionen Nutzerinnen und Nutzer haben das Tool in den ersten zwei Monaten nach seiner Veröffentlichung Ende 2022 genutzt. An Schulen und Universitäten wird ebenso darüber diskutiert, welchen Einfluss die KI haben könnte, wie am Arbeitsplatz oder in den Medien. Aber mit diesem Erfolg sind auch viele Missverständnisse entstanden. Plötzlich ist jeder ein KI-Experte und Menschen ohne Wissen über die Funktionsweise von maschinellem Lernen oder künstlichen neuronalen Netzen verbreiten Ratschläge in den sozialen Medien. Doch einige Behauptungen und Anleitungen sind falsch und tragen somit nicht zu einem besseren Verständnis der Technologie bei.

Wer ChatGPT und Co. einsetzt, um sich einen Text zu übersetzen, zusammenzufassen oder umzuschreiben zu lassen und sich auf die generierten Aussagen verlässt, sollte wissen, wie die Antworten von ChatGPT entstehen und wo die Grenzen und Risiken der KI liegen. Ansonsten kann es passieren, dass sie ungewollt und unbemerkt Falschinformationen verbreiten.

Zunächst ist es wichtig zu verstehen, wie die KI überhaupt funktioniert. Und hier tauchen bereits die ersten Probleme auf. Denn ein häufiger Fehler ist die Verwechslung von ChatGPT mit den zugrundeliegenden Sprachmodellen wie GPT-3, GPT-3.5 und GPT-4. Tatsächlich ist ChatGPT der von OpenAI entwickelte Chatbot, während GPT-3, GPT-3.5 und GPT-4 die sogenannten „großen Sprachmodelle“ sind, die als Basis für ChatGPT und andere KI-Text-Tools dienen. Diese Sprachmodelle kann man sich als einen sehr, sehr guten Text-Vorhersage-Algorithmus vorstellen. Es ist ein bisschen wie die automatische Vervollständigung auf Ihrem Smartphone, aber sehr viel fortschrittlicher und komplexer.

Diese Modelle werden so trainiert, dass sie Muster in den Daten erkennen, mit denen sie gefüttert wurden. Im Fall von GPT waren das gigantische Mengen an Text aus dem Internet und aus tausenden von Büchern. Die Modelle lernen über statistische Analyse dieser Texte, wie Sätze normalerweise strukturiert sind, welche Wörter tendenziell zusammen auftreten, und so weiter.

Das Modell nutzt diese gelernten Muster dann, um Vorhersagen zu treffen. Wenn Sie beispielsweise die Worte „Der Himmel ist...“ eingeben, wird das Modell vorhersagen, dass das nächste Wort „blau“ ist. Es macht diese Vorhersage, indem es alle Muster, die es aus den Daten gelernt hat, analysiert und das Wort auswählt, das am wahrscheinlichsten als nächstes kommt.

Die neuesten Modelle sind besonders gut darin, diese Vorhersagen zu treffen, und können sogar ganze Artikel oder Essays basierend auf ein paar Eingabewörtern generieren. Es ist jedoch wichtig zu beachten, dass die Modelle zwar sehr gut darin sind, Text zu generieren, der menschlich klingt, sie aber nicht wirklich verstehen, was sie da schreiben. Sie erzeugen einfach Text basierend auf Mustern und Wahrscheinlichkeiten, die sie aus den Daten gelernt haben.

Sie sind darauf ausgelegt, menschenähnliche Texte anhand von Wortwahrscheinlichkeiten zu erzeugen. Das heißt auch, dass sie Informationen nicht in einer Datenbank ablegen, sondern nur die Wahrscheinlichkeit einzelner Wörter oder Wortteile berechnen, und zwar basierend auf vorherigen Wörtern und den Trainingsdaten. Damit ist es zwar möglich, ChatGPT nach Informationen zu fragen oder Texte zu generieren, die breites Wissen erfordern, doch es kann passieren, dass ChatGPT etwas behauptet, das gar nicht stimmt, einfach weil es die wahrscheinlichste Antwort ist. Diese falschen Antworten trifft der Chatbot ebenso selbstbewusst, wie richtige Aussagen. In der Praxis ist schwer zu erkennen, wann ChatGPT etwas erfindet und wann eine Information aus den Trainingsdaten stammt. Besonders auffällig ist das, wenn man ChatGPT nach Informationen zu sich selbst fragt.

Die Entwicklerinnen und Entwickler können dem Chatbot nur ein paar grundlegende Informationen mitteilen, etwa dass es „ChatGPT“ heißt und freundlich und neutral antworten soll und sich nicht zu kritischen oder toxischen Themen äußern oder Unterstützung bei der Begehung von Straftaten leisten darf.

Die KI kann beispielsweise nichts darüber sagen, wie viele seiner Trainingsdaten in einer bestimmten Sprache vorliegen oder ob ein bestimmtes Buch in den Daten enthalten war. Wenn Sie es nach solchen Details fragen, erfindet es einfach eine Antwort. Daher ist es wichtig, die generierten Inhalte besonders auf Aktualität und Genauigkeit zu überprüfen. Ein weiteres wichtiges Detail ist, dass die KI nur Zugang zu den Informationen haben kann, die auch in ihren Trainingsdaten enthalten sind. Konkret bedeutet dies, dass ChatGPT nicht über Ereignisse oder Entwicklungen berichten kann, die nach der Sammlung und Speicherung dieser Trainingsdaten stattgefunden haben.

Mit anderen Worten: Sein Wissen über die Welt endet im September 2021, da dies das Abschlussdatum des Datenpools ist, der sowohl für GPT-3 und dessen Nachfolger GPT-3.5, als auch für die neueste Version GPT-4 genutzt wurde. Hinzu kommt, dass dieser Datenpool unvollständig ist, weshalb es vorkommen kann, dass ChatGPT über Ereignisse, die vor diesem Zeitpunkt stattfanden, nichts weiß.

Wenn man eine Webseite erwähnt, kann ChatGPT diese nicht abrufen oder auslesen, sondern benutzt nur die Wörter aus dieser URL, um eine plausibel klingende Antwort zu erfinden. Doch OpenAI arbeitet permanent an Verbesserungen. Ein neues, „Browsing“ genanntes Modell, das tatsächlich auf das Internet zugreifen kann, wird bereits getestet, und könnte in ein paar Wochen den zahlenden Nutzern von ChatGPT Plus zur Verfügung stehen. Soll ChatGPT etwas verbessern, zusammenfassen oder umschreiben, muss man derzeit noch den vollständigen Text in das Chatfenster kopieren. Dabei hat ChatGPT jedoch Grenzen, sowohl bei der Eingabe als auch bei der Ausgabe. Diese liegen – je nach verwendetem Modell – aktuell bei etwa 1500 bis 1700 Worten. Trotzdem behaupten einige Marketer, sie hätten mit ChatGPT ein ganzes Buch geschrieben und es bei Amazon erfolgreich verkauft.

Wer versucht, eine konsistente Handlung über dutzende Ausgaben mit ChatGPT zu verfolgen, wird schnell merken, wie wichtig es ist, die Begrenzung des Kontextes zu beachten. Das gilt übrigens auch für die Vermischung unterschiedlicher Themen in einem Gespräch. ChatGPT berücksichtigt die letzten 1500 bis 1700 Worte in einem Gesprächsverlauf. Wenn darin unterschiedliche Themen vermischt werden, führt dies ebenfalls zu verwirrenden Antworten. Besser ist es, für jedes Thema einen neuen Chatverlauf zu starten.

Zusammenfassend lässt sich sagen, dass Sprachmodelle durchaus beeindruckende Ergebnisse liefern können, aber längst nicht perfekt sind. Nutzerinnen und Nutzer sollten immer kritisch sein, wenn sie Informationen und Daten von ChatGPT verwenden oder weitergeben. Ein Faktencheck ist daher immer eine gute Idee. Seien Sie sich stets bewusst, dass Sie mit einem Werkzeug arbeiten und keine allwissende KI vor sich haben.

"Diese Modelle werden so trainiert, dass sie Muster in den Daten erkennen, mit denen sie gefüttert wurden"

" ChatGPT kann etwas behaupten, das nicht stimmt, einfach weil es die wahrscheinlichste Antwort ist"

"Sprachmodelle können durchaus beeindruckende Ergebnisse liefern, sind aber längst nicht perfekt"