Habt alle einen guten Tag! Der jährliche internationale KI-Wettbewerb, der von der Sberbank zusammen mit russischen und ausländischen Partnern im Rahmen der Artificial Intelligence Journey- Konferenz organisiert wird, ist gerade zu Ende gegangen . Die diesjährigen Aufgaben: Digital Peter: Anerkennung der Manuskripte von Peter I , NoFloodWithAI: Überschwemmungen auf dem Amur River und AI 4 Humanities: ruGPT-3 . Diesmal nahmen rund 1000 Personen aus 43 Ländern an dem Wettbewerb teil.
Unser Team hat an der Lösung des Problems "Digital Peter: Anerkennung von Manuskripten von Peter I" teilgenommen und den ersten Platz gewonnen. Ich möchte Ihnen erzählen, was wir bei der Lösung des Wettbewerbs getan haben , wer hier Papa ist , welche Tricks und Tricks wir angewendet haben. Es gibt viele Informationen, es wird viele spezielle Wörter für diejenigen geben, die nicht in dem Thema sind. Dies ist kein Tutorial, ich werde es nicht detailliert beschreiben, aber ich werde gerne Fragen in den Kommentaren beantworten.
Sie können sich das Traumteam ansehen
Planen
Beschreibung der Aufgabe
Datenformat, verfügbare Ressourcen und Einschränkungen
, : , I, (. ). , , - .
.
, - , - , , .
500 , , , , .
1.
, ( OOF), . ( ), ( ), , +90, -90 . (Resnet34 ) . , .
, .. . .
2.
, CTCLoss Attention. CTCLoss , Attention . CTCLoss, , Attention . .
Bs - , (w, h, c) - (, , ). . Hidden size - LSTM . Dict Size - , . Dense - Keras, Linear PyTorch.
3.
, . : ToGray, CLAHE, Rotate, CutOut.
CutOut . , HandWrittenBlots, , , . , ( ) . CutOut , HandWrittenBlots . Augmixations. .
P.S. CutOut , .
4. CharMasks
, , CTC Loss. , , , ( , ). ( Action Labeling ).
. , , . , . XVII-XVIII (, ). , , .
, , , , . . , . . (Multi Word Expression) ( ) .
, , .. , . - :
5. Spell correction using XLMRoberta
, .
, ( , ). NLP. XLMRoberta XVII-XVIII .., I. :
1. OCR ( ) ( ) ( + softmax), 3 (//blank ..) ;
2. : 3-4 , - .. //blank, , . zero-shot learning, , . OCR ('': 'p', '': 'o', '': 'e', '': 'c', '': 'a', '': 'x', '': 'u', '': ‘k’);
3. OCR step by step (!), ;
4. : ( 0 12), 50% padding ( ), 10% . ( ). XLMRoberta outputhiddenstates - NER, ;
5. GPU , TPU Colab
6. Ensemble + Spell Correction Thresholds
, , , CTCLoss, . . , . N "" . , , . . , , , ., +- .
Other Backbones. (EfficientNet, [SE, ECA]ResNet[xt], Mobilenet ), Resnet34.
Augmentations. Albumentations (Brightness, Gamma, Blur ), , .
TTA (Test-Time Augmentations). , holdout , public test - . , holdout.
Classic Blending. , , , , , .
(). , ! :)
, , . , .
P.S. ( , public):
| CER: 2.531 | WER: 13.5 | ACC: 62.107 | TIME: 32s |
submission .
P.P.S.
, ? :)
