Hallo zusammen! Ich arbeite mit generativen Modellen, eines meiner Projekte ist die DeepFake-Entwicklung. Ich habe vor, mehrere Artikel über dieses Projekt zu erstellen. Dieser Artikel ist der erste, in dem ich die verwendbaren Architekturen, ihre Vor- und Nachteile betrachten werde. Von den bestehenden Ansätzen zum Erstellen von DeepFake kann Folgendes unterschieden werden:
Codec-basierte Architektur
Generative gegnerische Netzwerke (GAN)
Encoder-Decoder-Architektur
Dieser Ansatz umfasst Generierungsmethoden, die auf Autoencodern basieren. Sie werden durch die Verwendung von Pixelverlusten (das Eingabebild wird Pixel für Pixel mit dem Ausgabebild verglichen, MSE, MAE usw. Verlustfunktionen werden optimiert) Verluste vereint, was die Vor- und Nachteile dieses Schemas bestimmt. Der Vorteil ist, dass Autoencoder (im Vergleich zu GANs) relativ einfach zu trainieren sind. Der Nachteil ist, dass die Optimierung durch Pixelmetriken keinen mit anderen Methoden vergleichbaren Fotorealismus ermöglicht (wiederum im GAN-Vergleich). Die erste Option, die ich in Betracht gezogen habe, war eine Dual-Decoder-Schaltung. Weitere Details finden Sie hier. Die Architektur ist in der folgenden Abbildung dargestellt.
: - , , , . , . , . , DeepFake , , .. , . - , ( ) . " - " , .
Condtional Autoencoder
. .
: . latent_dim . , / ( ), , .. .. , . .. , atrributes vectors , , , , .. atrributes vectors , , , . , , .. atrributes vectors . .
, - , - . - "", . , .. .
Conditional GAN
GAN , . .. DeepFake ( - , ), Conditional GAN. GAN Conditional GAN . , .
GAN, . , .. , , . Conditional Gan - Z ( label). . , . Conditional GAN .
( - , - ). attributes vectors , . X GAN . , , GAN . , - DeepFake, , . . DeepFake GAN :
Die Entwicklung des Projekts wird derzeit fortgesetzt. Zuallererst sind viele Verbesserungen geplant - Erhöhung der Auflösung, Ausarbeitung von Szenen mit komplexer Beleuchtung. Bei Interesse, sobald neue Ergebnisse erscheinen, wird es neue Veröffentlichungen geben.