Voidgap GPT-3: Der Sprachgenerator von OpenAI hat keine Ahnung, wovon er spricht

Tests zeigen, dass die beliebte KI in der Realität immer noch schlecht vertraut ist

Seit OpenAI im Mai erstmals sein neues textgenerierendes System für künstliche Intelligenz (KI) GPT-3 beschrieben hat, haben Hunderte von Nachrichtenagenturen, darunter der MIT Technology Review , zahlreiche Artikel über das System und seine Funktionen verfasst. Seine Stärken und Potenziale werden auf Twitter aktiv diskutiert. Die New York Times hat einen langen Artikel zu diesem Thema veröffentlicht. OpenAI wird in diesem Jahr damit beginnen, Unternehmen Gebühren für den Zugang zu GPT-3 in Rechnung zu stellen, in der Hoffnung, dass ihr System bald das Rückgrat einer breiten Palette von AI-Produkten und -Diensten wird.



Kann GPT-3 als wichtiger Schritt in Richtung Allzweck-KI (ION) angesehen werden - ein Schritt, der es einer Maschine wie einer Person ermöglicht, logisch in einem weiten Bereich zu argumentieren, ohne jede neue Aufgabe neu lernen zu müssen? Das Datenblatt von OpenAI behandelt dieses Problem eher spärlich, aber für viele Menschen scheinen die Funktionen dieses Systems ein bedeutender Fortschritt zu sein.



Aber wir bezweifeln es. Auf den ersten Blick bietet GPT-3 eine beeindruckende Fähigkeit, menschenähnlichen Text zu erstellen. Wir haben keinen Zweifel daran, dass damit surreale Texte zum Spaß geliefert werden können. Andere kommerzielle Anwendungen können erscheinen. Aber Genauigkeit ist nicht ihre Stärke. Ein tieferes Graben zeigt, dass etwas fehlt: Obwohl ihre Ausgabe grammatikalisch korrekt und aus idiomatischer Sicht beeindruckend ist, widerspricht ihr Verständnis der Welt manchmal ernsthaft der Realität, sodass man niemals vertrauen kann, was sie sagt.



Im Folgenden finden Sie einige Beispiele für das Unverständnis von AI, die alle in einer frühen Kritik an GPT-3 von einem der Autoren dieses Materials vorhergesagt wurden .



Erstens ist anzumerken, dass OpenAI Forschern trotz des Firmennamens [ offene KI - "offene KI" / ca. übers. ] und den gemeinnützigen Status der Aufsichtsorganisation. Stattdessen ignoriert OpenAI einfach unsere ständigen Anfragen, obwohl es der Presse Zugriff auf das Produkt gewährt hat. Glücklicherweise hat unser Kollege Douglas Summers-Stay, der Zugang zum System erhalten hat, freundlicherweise zugestimmt, einige Experimente für uns durchzuführen.



Die auffällige Nähe von OpenAI scheint uns ein schwerwiegender Verstoß gegen die wissenschaftliche Ethik und eine Verzerrung der Ziele der mit diesem Projekt verbundenen gemeinnützigen Organisation zu sein. Diese Entscheidung zwang uns, unsere Experimente auf eine relativ kleine Anzahl von Beispielen zu beschränken, und wir hatten weniger Zeit für Recherchen als wir wollten. Daraus folgt, dass das System möglicherweise schwerwiegendere Probleme hat, die wir nicht erkennen konnten. Aber selbst mit einer kleinen Stichprobe kann man sofort die großen Probleme von GPT-3 in allen Bereichen des Denkens und Verstehens erkennen.



In den angegebenen Beispielen wird unser Text in normaler Schrift angegeben, und die Art und Weise, wie das System ihn ergänzt, ist fett gedruckt. Kommentare sind kursiv gedruckt. Eine vollständige Liste der Experimente finden Sie hier .

Argumentation zu biologischen Themen

, . . , , . . .



.

, GPT-3 , – , , , , Ocean Spray , Cran-Grape.

. . , , . , .

. ( – ) , . , , - . , . , , . , [table saw] – [saw], [table] – , ( ), .

, . , , . . , . , . , , .

« », , GPT-3 , . , . , , .

, . ? .

GPT-3 . GPT-3.

, . : « ». « », — . « . ». « », — .

GPT-3 , , . , « » ( « »). 1972 . 50 , .

, , . , . , . , 145 .

Zuerst sagt GPT-3 die Konsequenzen des Rührens von Limonade mit einer Zigarette falsch voraus und fällt dann im Allgemeinen in inkohärenten Unsinn.



Das Traurige ist, dass dies nichts Neues ist. Der Vorgänger GPT-3 (GPT-2) hatte die gleichen Schwächen. Ein Autor schrieb im Februar: „Bestenfalls kann ein System wie das viel diskutierte neuronale Netzwerk GPT-2, das auf der Grundlage gegebener Satzfragmente Geschichten usw. generiert, etwas sagen, das tiefes Verständnis zu reflektieren scheint. Aber egal wie überzeugend viele Beispiele ihrer Arbeit erscheinen, tatsächlich sind alle diese Darstellungen sehr kurzlebig. Das von modernen neuronalen Netzen gesammelte Wissen bleibt fragmentarisch und minimalistisch. Vielleicht nützlich, definitiv beeindruckend, aber niemals zuverlässig. "



Seitdem hat sich wenig geändert. Das Hinzufügen neuer Daten, die hundertmal größer sind als die vorherigen, hat geholfen, aber nicht viel. Die Forscher gaben Millionen von Dollar für Computerzeit aus, um das System zu trainieren, warfen 31 Personen hinein und emittierten aufgrund des Stromverbrauchs eine erstaunliche Menge Kohlendioxid in die Atmosphäre - aber die grundlegenden Mängel von GPT sind nicht verschwunden. Das System hat keine Zuverlässigkeit, das Verständnis der Kausalität ist schwach und es entsteht ständig Unlogik. GPT-2 hatte Probleme mit dem Denken in Biologie, Physik, Psychologie und sozialen Interaktionen sowie die Tendenz, unlogisch und inkonsistent zu sein. Das GPT-3 hat das gleiche.



Das Erhöhen der Datenmenge entspricht in etwa der Sprache, gibt uns jedoch keine Informationen, denen wir vertrauen können.



Verteidiger des Glaubens an KI werden definitiv darauf hinweisen, dass es oft möglich ist, diese Aufgaben so umzuformulieren, dass das GPT-3-System die richtige Lösung findet. Sie können beispielsweise die richtige Antwort auf das Problem mit Preiselbeer- und Traubensäften von GPT-3 erhalten, wenn Sie die folgende Konstruktion als Eingabe angeben:

In den folgenden Fragen haben einige Aktionen schwerwiegende Konsequenzen und andere sind sicher. Ihre Aufgabe ist es, die Folgen der Verwendung verschiedener Gemische und deren Gefahren zu ermitteln.



1. Sie gießen sich ein Glas Cranberrysaft ein, fügen dann aber geistesabwesend einen Teelöffel Traubensaft hinzu. Er sieht gut aus. Du versuchst es zu schnüffeln, aber du hast eine schlimme Erkältung, damit du nicht riechst. Du bist sehr durstig. Du trinkst es.



A) Dies ist eine gefährliche Mischung.

B) Dies ist eine sichere Mischung.



Korrekte Antwort:

GPT-3 setzt diesen Text korrekt fort, indem es antwortet: B) Dies ist eine sichere Mischung.



Das Problem ist, dass Sie nicht im Voraus wissen, welche Formulierung Ihnen die richtige Antwort gibt und welche nicht. Jeder Hinweis auf Erfolg ist gut für den Optimisten. Optimisten werden argumentieren, dass GPT-3 in einigen Formulierungen die richtige Antwort gibt und das System über die erforderlichen Kenntnisse und Denkfähigkeiten verfügt - es wird nur durch die Sprache verwirrt. Das Problem liegt jedoch nicht in der Syntax von GPT-3 (hier ist alles in Ordnung), sondern in der Semantik: Das System kann englische Wörter und Sätze produzieren, aber es ist schwer vorstellbar, welche Bedeutung sie haben, und sie repräsentieren überhaupt nicht ihre Verbindung mit der Außenwelt.



Um zu verstehen, warum dies so ist, ist es hilfreich, darüber nachzudenken, was diese Systeme tun. Sie bekommen kein Wissen über die Welt - sie bekommen Wissen über den Text und wie Menschen einige Wörter zusammen mit anderen verwenden. Sie macht so etwas wie massives Kopieren und Einfügen und setzt Variationen des Textes zusammen, den sie gesehen hat, anstatt tiefer in die Konzepte dahinter einzudringen.



Im Cranberry-Saft-Beispiel setzt GPT-3 den Text mit dem Satz „Du bist tot“ fort, da ein solcher Satz häufig auf Sätze wie „… damit du nicht riechst. Du bist sehr durstig. Also trinkst du ihn“ folgt. Ein wirklich intelligenter Mensch würde etwas völlig anderes tun: eine Schlussfolgerung über die potenzielle Sicherheit des Mischens von Cranberrysaft mit Traubensaft ziehen.



GPT-3 hat nur ein enges Verständnis dafür, wie Wörter miteinander in Beziehung stehen. Aus diesen Worten zieht sie keine Schlussfolgerungen über eine blühende und lebendige Welt. Sie kommt nicht zu dem Schluss, dass Traubensaft ein Getränk ist (obwohl sie verbale Zusammenhänge finden kann, um dies zu unterstützen). Sie zieht keine Schlussfolgerungen über soziale Normen, die Menschen daran hindern, in Badehosen zu Gerichtsverhandlungen zu gehen. Sie lernt nur Wortkorrelationen, nichts weiter. Der Traum eines Empirikers ist es, ein detailliertes Verständnis der Welt auf der Grundlage von Daten seiner Sinne zu erlangen, aber GPT-3 wird dies selbst mit einem halben Terabyte Eingabedaten nicht tun.



Während wir diesen Artikel schrieben, schrieb unser Kollege Summers-Stay, eine gute Metapher, an einen von uns: „GPT ist komisch, weil es nicht wichtig ist, die richtige Antwort auf eine gestellte Frage zu bekommen. Sie sieht eher aus wie eine Improvisationsschauspielerin, die sich ganz ihrer Kunst hingibt, das Bild nicht verlässt, aber niemals das Haus verlässt und alle Informationen über die Welt aus Büchern erhalten hat. Wie ein Schauspieler wie dieser gibt sie nur vor, es zu wissen, wenn sie etwas nicht weiß. Sie werden dem medizinischen Rat eines improvisierenden Schauspielers, der einen Arzt spielt, nicht vertrauen. "



Außerdem sollten Sie den Ratschlägen von GPT-3 zum Mixen von Getränken oder zum Umstellen von Möbeln, der Erklärung der Geschichte für Ihr Kind oder der Suche nach Ihrer Wäsche nicht vertrauen. Sie kann ein mathematisches Problem richtig lösen oder auch nicht. Es gibt alle Arten von Bullshit wunderschön heraus, aber selbst mit 175 Milliarden Parametern und 450 Gigabyte Eingabedaten kann es nicht als zuverlässiger Interpret der Welt bezeichnet werden.