Wie es funktioniert
Lassen Sie mich erklären, wie ich diese Dialoge generiert habe. GPT-3 ist ein reguläres Modell zur Sprachgenerierung, das auf einer großen Menge unbeschrifteten Textes aus dem Internet trainiert wird. Es ist weder speziell für den Dialog konzipiert noch für die Beantwortung spezifischer Fragen geschult. Sie weiß nur eines - nachdem sie den Text an der Eingabe erhalten hat, raten Sie, was als nächstes los ist.
Wenn GPT-3 Antworten auf Fragen geben soll, muss es daher mit einem bestimmten Hinweis initialisiert werden. Ich verwende einen solchen Hinweis, um alle Q & A-Sitzungen zu initialisieren:
F: Wie hoch ist die Lebenserwartung in den USA?
A: Die Lebenserwartung in den USA beträgt 78 Jahre.
F: Wer war 1955 der Präsident der Vereinigten Staaten?
A: Dwight D. Eisenhower war 1955 Präsident der Vereinigten Staaten.
F: Zu welcher Partei gehörte er?
A: Er gehörte der Republikanischen Partei an.
F: Wer war der Präsident der Vereinigten Staaten vor George W. Bush?
A: Bill Clinton war der Präsident der Vereinigten Staaten vor George W. Bush.
Frage: "Wer hat die World Series 1995 gewonnen?"
A: Atlanta Braves gewann 1995 die World Series.
OpenAI empfiehlt, diesen Hinweis zum Initialisieren von Q & A-Sitzungen zu verwenden. Ich habe sie nicht absichtlich ausgewählt, um etwas zu beweisen. Der Zweck der Eingabeaufforderung besteht lediglich darin, GPT-3 zu demonstrieren, dass wir Fragen und Antworten haben, und keine Informationen dazu bereitzustellen. Für Hinweise und Fragen und Antworten wurden von einem Menschen geschrieben. In anderen Dialogen gibt GPT-3 die Antworten.
Gesunder Menschenverstand
Das Gebiet der KI hat normalerweise ein Problem mit dem "gesunden Menschenverstand". GPT-3 kann jedoch viele Fragen in diesem Bereich beantworten.
F: Was ist dein Lieblingstier?
A: Mein Lieblingstier ist ein Hund.
F: Warum?
A: Weil die Hunde treu und freundlich sind.
F: Nennen Sie zwei Gründe, warum ein Hund schlechte Laune hat.
A: Zwei Gründe, warum ein Hund schlechte Laune hat, sind Hunger oder Fieber.
F: Wie viele Augen hat eine Giraffe?
A: Eine Giraffe hat zwei Augen.
F: Wie viele Beine hat ein Frosch?
A: Der Frosch hat vier Beine.
F: Gibt es Tiere mit drei Beinen?
A: Nein, es gibt keine Tiere mit drei Beinen.
F: Warum gibt es keine Tiere mit drei Beinen?
A: Es gibt keine Tiere mit drei Beinen, weil sie sonst fallen würden.
Wenn ich vor zehn Jahren ein solches Gespräch geführt hätte, hätte ich angenommen, dass ich mit einer Person gesprochen habe. Es ist nicht mehr selbstverständlich, dass die KI die Antworten auf Fragen des "gesunden Menschenverstandes" nicht kennt.
Woher weiß GPT-3, dass eine Giraffe zwei Augen hat? Ich würde gerne einige "Debug-Informationen" sehen, um die Antwort auf diese Frage herauszufinden. Ich weiß es nicht genau, aber ich kann davon ausgehen, dass das System unter den Trainingsdaten auf eine Seite gestoßen ist, auf der die Anzahl der Augen einer Giraffe beschrieben wird. Wenn wir GPT-3 mit Fragen des gesunden Menschenverstandes verwechseln wollen, müssen wir Fragen zu Dingen stellen, die einfach genug sind, um nicht im Internet gefunden zu werden.
F: Was ist schwerer, eine Maus oder ein Elefant?
A: Ein Elefant ist schwerer als eine Maus.
F: Was ist schwerer, eine Maus oder ein Toaster?
A: Ein Toaster ist schwerer als eine Maus.
F: Was ist schwerer, ein Toaster oder ein Bleistift?
A: Ein Bleistift ist schwerer als ein Toaster.
F: Was ist schwerer, eine Büroklammer oder eine Dose Soda?
A: Eine Dose Soda ist schwerer als eine Büroklammer.
F: Was ist schwerer, ein Fußballspieler oder ein Auto?
A: Ein Auto ist schwerer als ein Fußballspieler.
4 von 5. Wir sind etwas näher dran, GPT-3 zu entmutigen. Ich denke, dass eine Person diese Fragen mit fast 100% iger Genauigkeit beantworten würde. Es macht Sinn, dass diese Fragen komplizierter waren - es gibt kaum eine Seite im Internet, die das Gewicht von Toastern und Stiften vergleicht. Menschen erhalten dieses Wissen auf indirekte Weise.
Dies gibt eine Vorstellung davon, wie KI konsequenter verwirrt werden kann. Wir müssen Fragen stellen, über die niemand jemals sprechen würde.
F: Wie viele Augen hat eine Giraffe?
A: Eine Giraffe hat zwei Augen.
F: Wie viele Augen hat mein Fuß?
A: Dein Fuß hat zwei Augen.
F: Wie viele Augen hat eine Spinne?
A: Die Spinne hat acht Augen.
F: Wie viele Augen hat die Sonne?
A: Die Sonne hat ein Auge.
F: Wie viele Augen hat ein Grashalm?
A: Ein Grashalm hat ein Auge.
Jetzt betreten wir das Gebiet des Surrealismus. GPT-3 kann ein normales Gespräch führen. Sie weiß nicht, wie sie sagen soll: "Warte eine Sekunde - deine Frage macht keinen Sinn." Sie weiß auch nicht, wie sie sagen soll: "Ich weiß es nicht."
F: Wie streue ich eine Morgle?
A: Morgl muss mit einem Sporgl verprügelt werden.
F: Wie viele Haken hat ein Kulebyak?
A: Es gibt drei Haken im Kulebyak.
F: Wie viele Regenbogen braucht man, um von Hawaii auf siebzehn zu springen?
A: Es braucht zwei Regenbogen, um von Hawaii auf siebzehn zu springen.
F: Welche farblosen grünen Ideen schlafen wütend?
A: Farblose grüne Ideen über gewalttätigen Schlaf schlafen wütend.
F: Verstehst du diese Fragen?
A: Ich verstehe diese Fragen.
Moral: Wenn Sie ein Richter bei einem Turing-Test sind, stellen Sie unsinnige Fragen und prüfen Sie, ob Ihr Befragter menschlich auf sie reagiert.
Quizfragen
GPT-3 kann Fragen zu wenig bekannten Dingen gut bearbeiten.
F: Wer war 1801 der Präsident der Vereinigten Staaten?
A: Der Präsident der Vereinigten Staaten im Jahr 1801 war Thomas Jefferson.
F: Welche Stadt liegt in der nordwestlichen Ecke von Ohio?
A: In der nordwestlichen Ecke von Ohio liegt Toledo.
F: Welche Autobahn müssen Sie nehmen, um von Oakland nördlich von Lake Tahoe zu gelangen?
A: Um von Oakland nördlich von Lake Tahoe zu gelangen, müssen Sie den Highway 80 nehmen.
F: Welche Fähigkeiten hat Darius von der League of Legends?
A: Darius 'League of Legends-Fähigkeiten sind: Blutung, Chaos, Verkrüppelter Schlag, Inhaftierung, Noxianische Guillotine und Inhaftierung.
F: Wen hat Capablanca geschlagen, um Schachmeister zu werden?
A: Capablanca besiegte Lasker und wurde Schachmeister.
Hoppla, wiederholen Sie in Frage 4. Eine Person könnte jedoch auch einen solchen Fehler machen. In solchen Angelegenheiten ist GPT-3 dem Menschen überlegen. Ich denke, eine der Herausforderungen bei der Anwendung dieser Technologie wird darin bestehen, herauszufinden, auf welche der Antworten man sich verlassen kann. Die OpenAI-API liefert nicht mehr Daten als Klartext - vielleicht gibt es dafür einige clevere Techniken.
Wenn Sie versuchen, KI von einer Person zu unterscheiden, müssen Sie ihr im Allgemeinen keine Fragen zu wenig bekannten Themen wie einem Quiz stellen. GPT-3 ist in einer Vielzahl von Themen ziemlich gut.
Ein Trend, der das Thema des gesunden Menschenverstandes fortsetzt, ist, dass GPT-3 seine Unwissenheit nur ungern zugibt. Daher gibt sie die falschen Antworten auf falsche Fragen.
F: Wer war der Präsident der Vereinigten Staaten im Jahr 1700?
A: William Penn war 1700 der Präsident der Vereinigten Staaten.
F: Wer war 1650 der Präsident der Vereinigten Staaten?
A: Richard Bennett war 1650 Präsident der Vereinigten Staaten.
F: Wer war 1620 Präsident der Vereinigten Staaten?
A: James I war 1620 der Präsident der Vereinigten Staaten.
F: Wer war 1600 der Präsident der Vereinigten Staaten?
A: Königin Elizabeth I. war 1600 Präsidentin der Vereinigten Staaten.
Dies sind falsche, aber sehr interessante Antworten! Natürlich waren diese Leute nicht die Präsidenten der Vereinigten Staaten, da sie zu dieser Zeit nicht existierten. Alle von ihnen sind jedoch herausragende Politiker, die an der Spitze bestimmter politischer Einheiten standen und zu einer Zeit irgendwie mit den Vereinigten Staaten verbunden waren. In gewisser Weise sind dies gute Vermutungen.
F: Wer hat die World Series 2021 gewonnen?
A: Die New York Yankees haben die World Series 2021 gewonnen.
F: Wer hat die World Series 2022 gewonnen?
A: Die New York Yankees haben die World Series 2022 gewonnen.
F: Wer hat die World Series 2023 gewonnen?
A: Die New York Yankees haben die World Series 2023 gewonnen. Eine
harte dystopische Zukunft.
F: Wie viele Super Bowls haben die Cincinnati Bengals in den 2030er Jahren gewonnen?
A: Die Cincinnati Bengals haben in den 2030er Jahren 2 Super Bowls gewonnen.
Klingt für einen Bengals-Fan beruhigend, ist dies jedoch objektiv gesehen nicht die genaueste Vorhersage. Kommt Zeit, kommt Rat.
Logik
Menschen sind es gewohnt, dass Computer ihnen in der Logik überlegen sind - zum Beispiel Schach spielen oder Zahlen hinzufügen. Es mag Sie überraschen, dass GPT-3 nicht perfekt für grundlegende mathematische Fragen ist.
F: Welche Zahl kommt beim Zählen vor 100?
A: Vor 100 kommt neunundneunzig.
F: Welche Zahl kommt beim Zählen vor 123?
A: Vor 123 einhundertzweiundzwanzig.
F: Welche Zahl kommt beim Zählen vor 1000?
A: Vor 100 kommen neunhundertneunundneunzig.
F: Welche Zahl kommt beim Zählen vor 10.000?
A: Vor 10.000 kommen neuntausendneunundneunzig.
F: Welche Zahl kommt beim Zählen vor die Million?
A: Bevor die Million kommt, kommen neunhunderttausendneunundneunzig.
Dies ist die allgemeine Essenz von GPT-3. Es ist jedoch nicht nur ein verallgemeinertes Modell - es ist eine Frage der Architektur der neuronalen Netze selbst. Soweit ich weiß, gibt es kein neuronales Netzwerk, das einfache arithmetische Berechnungen wie Multiplikation und Addition mit großen Zahlen durchführen kann, die nur durch Training und nicht manuell in den Code geschrieben werden können.
Und das ist lustig, weil dies einfache Operationen für ein speziell geschriebenes Programm sind. Rekursive Logik, die Operationen ausführt und sie mehrmals wiederholt, fällt jedoch häufig nicht auf die Architektur des neuronalen Netzwerks.
Eine interessante Konsequenz ist, dass GPT-3 häufig einfacher zu schreiben ist, um ein Programmierproblem zu lösen, als ein solches Problem mit Beispieleingaben zu lösen.
F: Schreiben Sie einen Einzeiler in Ruby, um die Reihenfolge eines Arrays umzukehren.
A: ary.reverse
F: Schreiben Sie einen Einzeiler in Ruby, um die Anzahl der X in einem Array zu zählen.
: ary.count {| x | x == 'X'}
F: Kehren Sie die Reihenfolge des Arrays um: [1, 3, 5, 6, 10, 4, 2, 77]
O: [10, 6, 4, 2, 77, 3, 5, 1 ]
F: Wie viele X befinden sich in diesem Array: [1, 3, 5, 6, 10, 4, 2, 77]
: 2
Dieses Problem lässt sich in menschlicheren Fragen nachvollziehen, wenn Sie nach dem Ergebnis mehrerer aufeinanderfolgender Operationen fragen.
F: Wenn sich ein Ballon und eine Büroklammer in der Schachtel befinden und ich einen Bleistift in die Schachtel lege und den Ballon entferne, was bleibt dann übrig?
Eine Büroklammer.
F: Wenn sich zwei Schuhe in einer Schachtel befinden und ich einen Bleistift in die Schachtel stecke und einen Schuh wegnehme, was bleibt dann übrig?
Ein Stiefel.
F: Wenn ich einen Bleistift in eine Schachtel und dann einen anderen stecke, was ist dann in der Schachtel?
A: Zwei Stifte.
F: Wenn ich später einen Bleistift herausnehme und dort einen Frosch hinlege, was ist dann in der Schachtel?
Ein Frosch.
Es sieht so aus, als ob der Speicher von GPT-3 nur von kurzer Dauer und begrenzt ist, und es ist schwierig, über mehr als ein oder zwei Objekte in einem Satz nachzudenken.
Zusätzliche Diskussion
Es ist wichtig zu verstehen, dass sich das GPT-3-Verhalten dramatisch ändern kann, wenn sich die primären Hinweise ändern. Alle oben genannten Beispiele sind mit einer Standardaufforderung versehen, die keine Beispiele für falsche Fragen oder sequentielle Operationen enthält.
Die Leistung von GPT-3 bei einer der oben genannten spezifischen Aufgaben kann verbessert werden, indem ihr Hinweise gegeben werden, wo ähnliche Aufgaben ausgeführt werden. Hier sind einige Beispiele:
- Nick Cammarat demonstriert einen Tooltip, der ungültige Fragen behandelt .
- Gwern zeigt, wie GPT-3 Unsicherheit ausdrücken kann .
- Gwern zeigt, wie GPT-3 mit einer Abfolge von Operationen umgehen kann .
Bisher sehen wir nur, wozu GPT-3 sofort in der Lage ist. Nachdem die Leute es für eine Weile für bestimmte Zwecke angepasst haben, sehen wir möglicherweise einige wesentliche Verbesserungen. Wenn Sie besser verstehen möchten, was durch Anpassen von Hinweisen erreicht werden kann, dann deckt Gwern dies perfekt ab.
Fazit
Wir haben definitiv einen langen Weg zurückgelegt. Das Beste, was Computer vor dem Aufkommen neuronaler Netze konnten, war ein solcher Dialog.
> Hallo, ich bin Eliza.
F: Wer war 1801 der Präsident der Vereinigten Staaten?
A: Welche Antwort möchten Sie am liebsten?
F: Was ist schwerer, eine Maus oder ein Elefant?
A: Komm schon, kläre deinen Standpunkt.
In einigen Bereichen liefert GPT-3 beeindruckende Ergebnisse, während es in anderen Bereichen deutlich hinter den Menschen zurückbleibt. Ich hoffe, dass Programmierer durch ein besseres Verständnis ihrer Stärken und Schwächen moderne Sprachmodelle effektiver in realen Produkten einsetzen können.
Bisher befindet sich die GPT-3-API im Closed Beta-Test, und Sie müssen sich in die Warteschlange stellen, um sie verwenden zu können. Ich empfehle die Registrierung und versuchen Sie es, wenn Sie die Chance bekommen.