Wie schnell kann ein STT-System hergestellt werden?

( — ) , . , , , state-of-the-art bleeding edge , , , " ". , GPU, , , ( 2 — 2.5 GHz AMD 4+ GHz 64 ). , , !

3 :

• ;
• , ;
• SLA ;
• " " ;

:

• ?
• ?
• ?

. STT , Facebook AI Research , , . , " ".

, 3 , "":

• Throughput ( ) — . "";
• Real Time Factor (RTF) ( ) — , . Real Time Speed (RTS) 1 / RTF, , 1 ;
• Latency () — - ;

FAIR, :

• FAIR Intel Skylake c 18 ( 2 , - );
• end-to-end C++ "" ;
• wav2letter++;
• , - ;

:

• "" (RTS * ) . , ;
• FAIR , .. , TDS-;
• - ;
• , , - state-of-the-art ( , );
• FAIR , "" 40 , 0.26 RTF ( ). , , ;
• 40 * 1 / 0.26 18 . , 1 1 - 8-9 ;

:

• : 750 ( );
• : 8-9 , 40 18 ;
• : 500 1000 , 750 — ;
• C++ -;

— ? , .. . . , - . — , , .

end-to-end , FAIR, , . , , end-2-end ( ).

FAIR, .. , C++ . , .

. , , . , " " "" ( ). ( ):

, , . , CPU . . FAIR , , :

• -;
• , , , ;
• FAIR , ;

, - .

- .

:

• 1 — 7 , "" 4 — 8 — 16 ;
• ;
• -, . 8 latency 500 , , -, , 8 ;
• , . . -;

GPU

3 GPU:

• GPU Nvidia 1070 8+GB RAM ;
• GPU Nvidia Quadro 8+GB RAM (TDP 100 — 150W) ;
• Nvidia Tesla T4, , TDP 75W;

, GPU ( " "). , :

• " (300 ) ". . TDP . TDP 75 150 , - 50-75% ;
• " ". , 2 (+ );
• " ". "" Tesla SLA Nvidia. SLA , .. Tesla 2-3 . "" — ;
• " 2+ ". . Quadro T4 1 ;
• " ". Tesla A100 US$12,500 . Quadro T4 ( ) ;
• " ". "" — 3-4 , . — . , Nvidia 24/7 "" , . 100 Nvidia AMD 3 ;

— . — GPU 2-3 .

CPU

C

• GPU 10 — 15 RTS ( RTS GPU - 500 — 1,000). CPU 1 GPU ( ), , . - ;
• CPU- 5 RTS, , latency throughput;
• . — , - ;
• 50 , 2 GPU (+ ) ;
• GPU - 2-3 , CPU;

FAIR , 50% . — . 20-30 RTS , - 40-50% . :

• GPU , ;
• FAIR;
• , GPU , ;
• - , ;

? MIT.