OpenAI, vor einigen Jahren von Elon Musk gegründet, veröffentlichte im Juni einen neuen neuronalen Netzwerkalgorithmus, GPT-3. Heute ist es das fortschrittlichste System, das mit natürlichen Sprachen arbeiten kann.
Seine Fähigkeiten sind einfach kolossal. Mit GPT-3 können Sie jede Art von Textinformationen erstellen, einschließlich komplexer technischer Texte. Als beispielsweise neuronale Netze die Aufgabe erhielten, einen Text über sich selbst zu schreiben, erstellte sie einen Artikel mit dem lauten Titel "GPT-3 von OpenAI kann die größte Entdeckung nach Bitcoin sein . "
Aber kann ein neuronales Netzwerk nicht nur Wörter zusammenstellen, eine Person imitieren, sondern tatsächlich Texte mit Bedeutung erstellen? Gedichte, Geschichten oder sogar Romane, die interessant zu lesen sein werden? Lass es uns herausfinden.
GPT-3: Ein neuronaler Netzwerkalgorithmus, der allen vorhandenen um eine Größenordnung voraus ist
GPT-3 ist das komplexeste Sprachmodell, das jemals vom Menschen erstellt wurde.
Es funktioniert mit der Wahrscheinlichkeit, dass eine bestimmte Folge von Wörtern auftritt. GPT-3 unterscheidet sich von früheren Modellen im Maßstab.
Es verwendet 175 Milliarden Parameter, um Text zu generieren, und wurde mit über 1,5 Billionen Wörtern trainiert. Darüber hinaus wurden die Trainingstexte auf vielfältige Weise verwendet: von Forenbeiträgen bis hin zur klassischen Literatur.
Das System versucht, den Text basierend auf den wahrscheinlichsten Textblöcken vorherzusagen. Der Benutzer muss nur einen Startpunkt festlegen, von dem aus das neuronale Netzwerk gestartet wird.
Je besser das System den Kontext der Anforderung versteht, desto genauer ist die Antwort.
Man hat den Eindruck, dass das neuronale Netz natürliche Sprachen wirklich verstehen kann.
Sharif Shameem, Mitbegründer und CEO des Debuild.co-Projekts, veröffentlichte auf seinem Twitter-Account die Ergebnisse des Testens verschiedener Funktionen des neuronalen Netzwerks. Und sie sind wirklich beeindruckend.
Im Video können Sie sehen, dass Sharif einfachen Text in die Eingabezeile geschrieben hat, als würde er dem Designer oder Entwickler erklären, was er brauchte. Und das System interpretierte es und gab das Ergebnis zurück.
Besonders amüsiert hat mich der "Knopf ähnlich einer Wassermelone".
, , ?
: .
vs. :
Texte aus einem neuronalen Netz unterscheiden sich praktisch nicht von menschlichen Texten. Liam Porr, ein Student in Berkeley, führte ein Experiment durch und veröffentlichte zwei Wochen lang Artikel, die von GPT-3 generiert wurden, in seinem Blog auf Adolos.
Motivationsartikel aus dem neuronalen Netz wurden von 26.000 Menschen gelesen. Und wie Liam sagt, vermutete nur einer von ihnen, dass die Texte tatsächlich nicht von einer Person, sondern von einer Maschine geschrieben wurden. Aber auch dieser Kommentar wurde von anderen Lesern beachtet:
Wenn Sie die Artikel selbst lesen, haben Sie den Eindruck, dass sie tatsächlich von einem Motivationstrainer oder Coach geschrieben wurden. Angemessener Stil und Phrasen, angemessene Textstruktur. Manchmal scheinen Sätze oder einzelne Sätze nicht zu natürlich zu sein, aber dies verrät die Maschine nicht. Schließlich macht eine Person so kleine Fehler.
Dies ist einer der Gründe, warum GPT-3 nicht öffentlich zugänglich ist. Um Zugriff auf die OpenAI-API zu erhalten, müssen Sie eine Anwendung ausfüllen, in der angegeben ist, wofür genau Sie das neuronale Netzwerk verwenden möchten.
Bereits in der Phase der Erstellung von GPT-2, der vorherigen Version des Algorithmus, haben die Entwickler die potenzielle Gefahr erkannt, da das System zu einem Instrument der Informationskriegsführung werden kann. Ein solches neuronales Netzwerk kann gefälschte Nachrichten mit einer ungeheuren Geschwindigkeit erzeugen . Wenn Sie seine Fähigkeiten zum Nachteil nutzen, wird das Internet einfach unter falschen Inhalten begraben.
Aus diesem Grund planen sie, es in Zukunft an ein Abonnementunternehmen zu verkaufen. Aber nicht für alle, sondern nur für diejenigen, die beweisen, dass sie es "für friedliche Zwecke" nutzen wollen.
Neuronales Netz, Belletristik und Gedichte
Ein neuronales Netzwerk kann durchaus mit Autoren von Nachrichten in den Medien oder technischen Artikeln konkurrieren, aber der Prozess der Erstellung von Romanen oder Gedichten ist viel komplizierter. Sogar die Grundprinzipien des Schreibens von Belletristik unterscheiden sich von den technischen. Es ist möglich, einem neuronalen Netzwerk beizubringen, Reime auszuwählen und dem Rhythmus ohne Probleme zu folgen, aber mit mehreren Bedeutungen sind Maschinen immer noch byad.
Es gibt ein russisches neuronales Netzwerk "Porfirevich", das auf dem GTP-2-Algorithmus basiert. Sie "spricht" Russisch und ist nicht nur in Prosa, sondern auch in Poesie ausgebildet. Sie können die Arbeit im Telegramm-Bot "Neuropoet" überprüfen . Sie müssen nur die erste oder mehrere Zeilen schreiben, den Rest erledigt das System. Wir haben nachgesehen, es hat sich als mittelmäßig herausgestellt.
Das neuronale Netz verwandelte die erste Zeile von Puschkin in einen unverständlichen Text, in dem militärische Motive erraten werden. Und wenn einige Bilder als erfolgreich angesehen werden können ("Eiche bittet um Brot aus dem Frühling" oder "Herbstblumen des Frühlings"), verursachen andere eine Gesichtspalme.
Eine Analogie kann mit der Theorie der endlosen Affen gezogen werden, die durch Drücken von zufälligen Tasten auf einer Schreibmaschine auf unbestimmte Zeit früher oder später "Krieg und Frieden" schreiben.
Das neuronale Netzwerk fungiert hier als ein solcher Affe, der anstelle einzelner Buchstaben Wörter und Bilder zusammenstellt, die meisten jedoch zufällig sind.
Tatsächlich haben viele Entwickler GPT-2-basierte Poesiegeneratoren entwickelt. Hier ist zum Beispiel eine Variante eines englischen Textgenerators , der eine leichte Datenbank mit 13.000 Versen verwendet.
Er hat auch etwas nicht sehr Verständliches hervorgebracht:
Bei Belletristikbüchern ist die Situation noch schlimmer. Dies war zu erwarten, da ein neuronales Netzwerk nicht weiß, wie man ein Grundstück erstellt, und nicht weiß, was ein Grundstück oder ein Höhepunkt ist. Aber aus einigen Experimenten wird ein solches ausgewähltes Spiel erhalten, dass man nur überrascht sein kann.
Wie magst du eine Art Bibel-Porno? Ein Aufsatz mit dem Titel "The Orange Erotic Bible" wurde von unbekannten Entwicklern veröffentlicht... Es wurde von einem neuronalen Netzwerk erstellt, das auf demselben GPT-2 basiert, aber sie trainierten es an erotischen Romanen und Geschichten und gaben dann Auszüge aus der Bibel als Ausgangspunkt für die Generierung. Die Geschichte war lang - über 60.000 Wörter. Und das Ergebnis ist, gelinde gesagt, überraschend.
Hier ist ein kleiner Teil der Geschichte. Und nein, wir werden es nicht übersetzen.
Es gibt sogar einen Online-Shop für Bücher, die von AI geschrieben wurden . Es sieht ziemlich gruselig aus. Denn die Buchumschläge sind auch maschinell gefertigt.
Zwar gaben die Macher zu, dass sie nur 19 Exemplare der Bücher verkauft hatten. Wenn ihre Qualität der "Orangenbibel" sogar in etwa ähnelt, sind wir überhaupt nicht überrascht. Schriftsteller können vorerst gut schlafen.
Oder nicht?
Alle vorherigen Beispiele befassten sich nur mit GPT-2, und sie waren mittelmäßig.
Es gibt jedoch bereits einen neuronalen Netzwerk-Poeten, der auf dem GPT-3-Algorithmus basiert. Und es zeigt einige ziemlich interessante Ergebnisse.
Ein neuronales Netzwerk kann Gedichte in einem bestimmten Stil und zu einem bestimmten Thema schreiben. Arram Sabeti, CEO des ZeroCater-Projekts, hat bereits ein Experiment durchgeführt, bei dem er Abfragen zu neuronalen Netzen nach Versen und Stilen generierte. Die Maschine erledigte den Rest.
Hier ist eine der Anfragen:
Hier ist ein Gedicht von Dr. Seuss über Elon Musk, der mit SpaceX Raketen abschießt, in Tesla Elektroautos baut, Flammenwerfer verkauft, Grimes datiert, gegen die SEC kämpft, Leerverkäufer vernichtet, Gehirnchips baut, um KI zu bekämpfen, Mars zu kolonisieren und zu jeder Tages- und Nachtzeit zu twittern ... Musk will den Menschen interplanetar machen, um das Aussterben zu verhindern. Das Gedicht reimt jede zweite Zeile mit einer ABAB-Struktur. Die Reimstruktur ist typisch für Dr. Seuss Kinderreime.
Der Vers erwies sich als amüsant. Wahr. Trotz der offensichtlichen Ungenauigkeiten in Rhythmus und Pfosten mit Reimen macht es Sinn. Es ist lang, daher werden wir hier nur einen Teil aufnehmen.
Elon Musk
By Dr. Seuss
Once there was a man
who really was a Musk.
He liked to build robots
and rocket ships and such.
He said, “I’m building a car
that’s electric and cool.
I’ll bet it outsells those
Gasoline-burning clunkers soon!”
They sell cool cars
that are electric and clean.
And then he wanted to go
even farther, you see.
The first Tesla, Roadster,
Was just the start of a bigger dream.
He said, “I’m building a plane
that’s electric and green”.
Der Fortschritt gegenüber der vorherigen Version des Algorithmus ist erstaunlich. Dies ist keine Sammlung inkohärenter Phrasen, sondern ein recht gutes Gedicht in der Struktur. Ja, das Ideal ist noch weit weg, die Reime sind schwach und der Rhythmus ist lahm, aber schon zu diesem Zeitpunkt sind Sie sehr überrascht, dass die Maschine darauf gekommen ist.
Einige Bilder und Sätze sind einfach wunderschön. Zum Beispiel "Benzin-Clunker" - "Benzin-Clunker". Wenn Sie nicht wissen, dass es von einer Maschine geschrieben wurde, dann denken Sie vielleicht, dass dies die Schöpfung eines Schülers ist, der beschlossen hat, ein Gedicht über sein Idol zu schreiben.
Und verdammt, es ist cool.
Sie können die Vollversion des Verses und andere Kreationen des neuronalen Netzwerks hier lesen .
***.
Es gibt nur sehr wenige Experimente mit GPT-3, um Gedichte oder Fiktionsgeschichten zu schreiben. Sie müssen sich also nur damit zufrieden geben. Wenn das neuronale Netzwerk jedoch bei der Erstellung aussagekräftiger Texte so weit fortgeschritten ist, ist es durchaus möglich, dass es bald gut lesbare Kunstwerke schreiben kann.
Vielleicht wird es nicht GPT-3 sein, sondern einige GPT-4 oder sogar GPT-5, aber die Dynamik der Entwicklung ist klar da. Jetzt kann das neuronale Netzwerk technische Artikel, Nachrichten, Kurzgeschichten oder Gedichte schreiben.
Und mit der Weiterentwicklung von Algorithmen wird die Qualität der generierten Texte nur noch zunehmen. Also ja, KI kann wie ein Mensch schreiben. Bisher auf der Ebene eines Studenten, aber mal sehen, wie es in 10-20 Jahren sein wird. Und was denkst du?
Online-Schule EnglishDom.com - Wir inspirieren dazu, Englisch durch Technologie und menschliche Fürsorge zu lernen
Nur für Habr-Leser ist die erste Lektion mit einem Skype-Lehrer kostenlos ! Und beim Kauf von Kursen erhalten Sie bis zu 3 Lektionen als Geschenk!
Holen Sie sich einen Monat lang ein Premium-Abonnement für ED Words als Geschenk .
Geben Sie den Promo-Code Neurowriter auf dieser Seite oder direkt in der ED Words-App ein . Der Promo-Code ist bis zum 29.09.2021 gültig.
Unsere Produkte:
- Lernen Sie englische Wörter in der mobilen App ED Words
- Lernen Sie Englisch von A bis Z in der mobilen App ED Courses
- Installieren Sie die Erweiterung für Google Chrome, übersetzen Sie englische Wörter im Internet und fügen Sie sie zum Lernen in der Ed Words-App hinzu
- Lerne spielerisch Englisch im Online-Simulator
- Stärken Sie Ihre Sprechfähigkeiten und finden Sie Freunde in Gesprächsclubs
- YouTube- EnglishDom