Dies ist eine erweiterte Version meines mittleren Beitrags.
Vor kurzem saß ich mit einem Freund in einer Bar und begann darüber zu sprechen, bei welchen Aufgaben der Ansatz des neuronalen Netzwerks im Prinzip effektiv sein kann und wo sie vollständig überflüssig sind. Eine Klasse von Beispielen, bei denen neuronale Netze häufig den klassischen Algorithmen überlegen sind, ist die Bildverarbeitung. Die Genauigkeit der Lösung des Problems der Erkennung von Objekten in einem Bild kann sogar die menschliche Wahrnehmung übertreffen. Darüber hinaus sind die Aufgaben der Stilübertragung, der Erzeugung realistischer Bilder, der Superauflösung usw. interessant. Neuronale Netze können auch bei Aufgaben wie Pixtopix sehr effizient sein, wenn ein Bild aus einem anderen generiert wird. Dann kam mir die Idee, diese Algorithmen anzuwenden, um 2D-Filme in 3D-Filme umzuwandeln.
Über die Aufgabe
3 100 - . - , . 3. 2 , 6.5 2 . 3 .
- . , . , () , . - . , . , , , - . , ( , ). . , , , . .
, . , , . .
— .
, , , — , . , , , . , , . , . — . . , , .
, , ( transfer learning)
3d google cardboard vr. - .
3D . 200 , . , , 2 - . OverUnder, Side-by-Side. OverUnder , . . . Uf Df:
Uf , Df . . CoordConv - , . CoordConv input - , ( CoordConv keras ). :
end-to-end . , ( , , ):
,
1. ( https://github.com/ialhashim/DenseDepth ). .
2. Skip-connections —
3. ( CoordConv [https://arxiv.org/pdf/1807.03247.pdf ], 2 numpy, )
4. , Residual — , — .
, . mse, structural similarity loss ( , ) loss, , VGG16.
DenseDepth : ( custom_objects kaggle). nyu.h5
( kaggle):
, . , , - 2 , " ". gif :
:
, gif . , 2d. ( side-by-side):
, ( gtx1060 3gb) 1 100 1 . , gpu 3d - .
ffmpeg:
ffmpeg -i output.mp4 -i inputvideo.mp4 -map 0:v -metadata stereo_mode=1 output.mkvGoogleColab
GPU , googleColab, gpu . . run . 1 1 . .
, , 3d . 1 2 3. , , . , , ( , , ).
, youtube . - . ( youtube Sidebyside )
, . googleColab 2D- 3D. ( ). 3d /TV VR- GoogleCardboard