Rezept für das Training neuronaler Netze

Übersetzung des Artikels Ein Rezept für das Training neuronaler Netze im Auftrag des Autors (Andrej Karpathy). Mit einigen zusätzlichen Links.

Eine Version auf Ukrainisch ist auch in einem persönlichen Blog verfügbar: Rezept für navchannya neuronales Netz .

« », . ( ). , « » « ».

, , , . , , , ( ). , , , , . , .

1)

. 30- , () , . :

>>> your_data = #    
>>> model = SuperCrossValidator(SuperDuper.fit, your_data, ResNet50, SGDOptimizer)
#   
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

- API . , requests:

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

! , URL, GET / POST , HTTP .., . , . , . "" , ImageNet. " " ("Yes you should understand backprop"), " ", , , . " " + " » . . "" . , " " , . , , , , . …

2)

. . 3 . . . . , - .

, . , , ( ). " " , ( ) -. , . ( ) , , . , , , , . , , , . , . , , , .. , ; , .

, ( ) " " . , , , , , . , , - .

, , , , . , . , , , , , - . , - "" , , . ( ), , .

1. C c

- , . . ( ), , . , . , . / . . , . - , ? ? ? ( average pool)? ? ?

, / , () , . , , , - .

, - / / (, , , ..) . - .

2. / + ( )

, , ASPP FPN ResNet ? . . - + . - , - - . , , (, ), ( ) .

:

• . , . .

  
  
  
  
  

• . . , . - , , - .

  
  
  
  
  

• . () . , Tensorboard. .

  
  
  
  
  

• . , . , , -log(1 / n_classes)
  
  
  
  softmax . L2, .

  
  
  
  
  

• . . , , 50, 50. 1:10, , 0.1 . " ", .

  
  
  
  
  

• . , , (, ). () . , , .

  
  
  
  
  

• . (, ). , , , . ? ?

  
  
  
  
  

• . (, ). (, ) , (, ). , , , , . , - , .

  
  
  
  
  

• . , , . . ?

  
  
  
  
  

• . y_hat = model (x)
  
  
  
  ( sess.run
  
  
  
  Tensorflow). - , , - . " ". , .

  
  
  
  
  

• . . "" , . , «» , - , . .

  
  
  
  
  

• . , . , , , (, view
  
  
  
  , transpose / permute
  
  
  
  ) . , , , , . ( ) - , i, i- . , , t 1..t-1. , , , .

  
  
  
  
  

• . , , , , , . , , , , , . , , .

  
  
  
  
  

3.

, + . () , . , ( ), ( ). .

, , : , , ( ), ( , ). , , , , - , .

:

• . , . , : . , - , . . , . , , , ResNet-50 . - .

  
  
  
  
  

• Adam ( ) . Adam 3e-4
  
  
  
  . , Adam , . (SGD) Adam, . (. , Adam. , .)

  
  
  
  
  

• . , , , . . - , , ..

  
  
  
  
  

• . - , . , - - , . , ImageNet 10 30- . ImageNet ( ), , , . , , . ( ) .

  
  
  
  
  

4.

, , , . , . :

• . -, . , , . , . - ( ), ~ 5- .

  
  
  
  
  

• . - .

  
  
  
  
  

• . , - . ; , , , , ( ) GAN.

  
  
  
  
  

• . - , , .

  
  
  
  
  

• ( ). ( ). , 2008 [ ], , , ( NLP, , BERT , / ).

  
  
  
  
  

• . , . - ( ), . , , .

  
  
  
  
  

• . , . , ImageNet, (average pooling), .

  
  
  
  
  

• . . , / / , "" .

  
  
  
  
  

• . . dropout2d ( ) . / , , , .

  
  
  
  
  

• . ( ).

  
  
  
  
  

• . , , ( , ).

  
  
  
  
  

• . , , , , , "" , .

  
  
  
  
  

, , , , , . , - . .

5.

"" , , . :

• . , , , . , , . , a , b , a , .

  
  
  
  
  

• . , , , :). .

  
  
  
  
  

6.

, , :

• . - 2% -. , , .

  
  
  
  
  

• . , , , , . , . , , SOTA (state of the art - " ").

  
  
  
  
  

Sobald Sie hier angekommen sind, haben Sie alle Zutaten für den Erfolg: Sie verstehen die Technologie, den Datensatz und das Problem genau, Sie haben die gesamte Schulungs- / Bewertungsinfrastruktur aufgebaut und ein hohes Vertrauen in ihre Genauigkeit erreicht. Sie haben immer komplexere Modelle untersucht und auf verschiedene Weise Leistungsverbesserungen erzielt , die Sie auf Schritt und Tritt vorausgesehen haben. Sie sind jetzt bereit, viele Artikel zu lesen, viele Experimente durchzuführen und Ihre SOTA-Ergebnisse zu erhalten. Viel Glück!