Vor ein paar Jahren gab es auf meiner Leseliste einen Artikel mit dem Titel GAN Progress and Evolution, um Qualität, Stabilität und Variation zu verbessern . Es beschreibt das allmähliche Wachstum generativer gegnerischer Netzwerke , das mit Bildern mit niedriger Auflösung begann und die Granularität im Verlauf des Lernens erhöhte. Viele Veröffentlichungen haben sich diesem Thema gewidmet, da die Autoren ihre Idee nutzten, um realistische und einzigartige Bilder menschlicher Gesichter zu erstellen.
Von GAN erzeugte Beispielbilder
Wenn man sich diese Bilder ansieht, scheint es, dass andere neuronale Netze viele Beispiele untersuchen müssen, um das zu schaffen, was GANs produzieren. Einige Faktoren scheinen relativ einfach und in der Tat begründet zu sein - zum Beispiel, dass die Farbe beider Augen übereinstimmen muss. Aber die anderen Aspekte sind fantastisch komplex und sehr schwer zu artikulieren. Welche Details werden beispielsweise benötigt, um Augen, Mund und Haut zu einem vollständigen Gesichtsbild zusammenzufügen? Natürlich spreche ich von der statistischen Maschine als Person, und unsere Intuition kann uns täuschen - es kann sich herausstellen, dass es relativ wenige Arbeitsvarianten gibt und der Lösungsraum begrenzter ist, als wir uns vorstellen. Das wahrscheinlich interessanteste sind nicht die Bilder selbst, sondern die schreckliche Wirkung, die sie auf uns haben.
Einige Zeit später erwähnte mein Lieblingspodcast PhyloPic , eine Datenbank mit Silhouettenbildern von Tieren, Pflanzen und anderen Lebensformen. Als ich über diese Zeilen nachdachte, fragte ich mich: Was würde passieren, wenn Sie ein System wie das im Artikel "Progressive GANs" beschriebene auf einem sehr unterschiedlichen Satz ähnlicher Daten trainieren würden? Werden wir am Ende viele Sorten verschiedener bekannter Tierarten haben oder werden wir viele Variationen haben, die zu spekulativer Zoologie führen, die von neuronalen Netzen angetrieben wird? Egal wie es funktionierte, ich war zuversichtlich, dass ich daraus einige gute Zeichnungen für meine Studienwand bekommen konnte, und beschloss, meine Neugier mit einem Experiment zu befriedigen.
Ich habe den Code aus dem Progressive GAN-Artikel angepasst und das Modell durch 12.000 Iterationen mit der Leistung von Google Cloud (8 NVIDA K80-GPUs) und dem gesamten PhyloPic-Datensatz trainiert. Die gesamte Trainingszeit einschließlich einiger Fehler und Experimente betrug 4 Tage. Ich habe das endgültig trainierte Modell verwendet, um 50.000 Einzelbilder zu erstellen, und dann stundenlang die Ergebnisse durchgesehen, die Bilder kategorisiert, gefiltert und abgeglichen. Ich habe auch einige Bilder ein wenig bearbeitet und sie so gedreht, dass alle Kreaturen in die gleiche Richtung zeigen (um visuelle Zufriedenheit zu erreichen). Dieser praktische Ansatz bedeutet, dass das, was Sie unten sehen, eine Art Zusammenarbeit zwischen mir und dem neuronalen Netzwerk ist - es war kreative Arbeit, und ich habe meine eigenen Änderungen daran vorgenommen.
Das erste, was mich überraschte, war, wie ästhetisch die Ergebnisse waren. Vieles davon spiegelt sicherlich den guten Geschmack der Künstler wider, die die Originalbilder geschaffen haben. Es gab jedoch auch angenehme Überraschungen. Zum Beispiel scheint es, dass chromatische Aberrationen im Bild auftreten, wenn ein neuronales Netzwerk in einen Bereich der Unsicherheit eintritt - seien es kleine Stücke, die es noch nicht beherrscht, oder Flüge verschwommener biologischer Fantasie. Dies ist merkwürdig, da der Eingabesatz vollständig schwarzweiß ist, was bedeutet, dass Farbe keine Lösung für ein generatives Problem sein kann, das beim Training des Modells übernommen wurde. Jede Farbe ist ein reines Artefakt des Maschinengeistes. Überraschenderweise sind die Flügel fliegender Insekten einer der Faktoren, die ständig chromatische Aberration verursachen. Dies führt zur Tatsachedass das Modell Hunderte von Variationen von bunten "Schmetterlingen" wie die oben gezeigten erzeugt. Ich frage mich, ob dies eine nützliche Beobachtung sein könnte. Wenn Sie ein Modell nur mit Graustufenbildern trainieren und dennoch die Ausgabe von Vollfarbbildern benötigen, können farbige Punkte eine nützliche Möglichkeit sein, Bereiche anzuzeigen, in denen das Modell den Trainingssatz nicht genau anzeigen kann.
Der Großteil der Produktion besteht aus einer Vielzahl vollständig erkennbarer Silhouetten - Vögeln, verschiedenen Tetrapoden, vielen kleinen anmutigen fleischfressenden Dinosauriern, Eidechsenbeinen, Fischen, Käfern, Arachnoiden und Humanoiden.
Vögel
Vierbeiner
Dinosaurier
Fische
Käfer
Hominiden
Seltsame Dinge
Sobald die Kreaturen, die wir kennen, landen, sind wir mit ungewohnten Dingen konfrontiert. Eine der Fragen, die mir gestellt wurden, war folgende: Wird es plausible Körperpläne von Tieren geben, die in der Natur nicht existieren (möglicherweise Hybriden von Kreaturen, die im Eingabedatensatz enthalten sind)? Durch sorgfältige Suche und ein wenig Pareidolie entdeckte ich Hunderte von vierbeinigen Vögeln, Schlangenhirschen und anderen fantastischen Monstern.
Monster
Das Modell ging noch weiter in die Dunkelheit und führte zu seltsamen abstrakten Mustern und nicht identifizierbaren Entitäten, die ein gewisses Gefühl für ihre "Lebendigkeit" erzeugen.
Abstrakte Kreaturen nicht
identifizierbar
Stichproben
Was in den obigen Bildern nicht sichtbar ist, ist die Fülle an Variationen in den Ergebnissen. Ich habe mehrere dieser Bildersätze gedruckt und gerahmt, und die Wirkung von Hunderten kleiner, detaillierter Bilder nebeneinander im Maßstab ist erstaunlich. Um einen Eindruck von der Größe des gesamten Datensatzes zu bekommen, füge ich eines der folgenden Ausdruckbeispiele hinzu - dies ist eine Zufallsstichprobe aus einem ungefilterten Bildkorpus.
In den kostenpflichtigen Online-Kursen von SkillFactory erfahren Sie, wie Sie einen hochkarätigen Beruf von Grund auf neu aufbauen oder Ihre Fähigkeiten und Ihr Gehalt verbessern können:
- Kurs für maschinelles Lernen (12 Wochen)
- Data Science von Grund auf lernen (12 Monate)
- Analytics-Beruf mit jedem Startlevel (9 Monate)
- «Python -» (9 )