Wie wir AI beigebracht haben, Nachrichten zu verstehen

Wir alle möchten wissen, was passiert, deshalb verbringen wir einen Teil unserer Zeit damit, die Nachrichten zu lesen, und jetzt kommen immer mehr Nachrichten nicht von Nachrichtenseiten oder Zeitungen, sondern von einer Art Telegrammkanal. Infolgedessen stellt sich nach einiger Zeit heraus, dass Sie ein Dutzend (und möglicherweise Dutzende von Kanälen) abonniert haben, die ständig etwas schreiben. Infolgedessen wird entweder viel Zeit darauf verwendet, "etwas nicht zu verpassen". Aber wenn Sie es sich ansehen, schreiben die meisten von ihnen über eine Sache, nur anders. So kam die Idee, AI beizubringen, die Nachrichten auszuwählen, die wirklich wichtig sind. Natürlich gibt es verschiedene TOPs, wie Yandex.News oder so etwas wie die Ergebnisse des Tages von einem angesehenen Medienunternehmen, aber es gibt überall Nuancen. In diesem Artikel werde ich versuchen, diese Nuancen zu beschreiben und was wir getan haben und was nicht.

Nuancen und Quellen

, –  , , , - –  , " ". , ., , –  , . –  , .

:

• -,

  
  
  
  
  

• , , - (-, , )

  
  
  
  
  

• – , , 100 . 10 . ( ) –  . - . ,

  
  
  
  
  

100 , "" . , –  , , - , GQ, .. - , , - .

, , , , , .. , - . , . –  , ( )... - . , – , "" ( , , - ). , - , , .

:

• " ", – 

  
  
  
  
  

• "", – .. ""

  
  
  
  
  

• "" – .. - ,

  
  
  
  
  

, , :

• ( )

  
  
  
  
  

• –  NLP NER –   ,

  
  
  
  
  

• - ""

  
  
  
  
  

–  3 , : , ( ), – . , , - .

"" NLP

NLP, BERT, . . - . – , MVP :

• . , NLP , –  , .. - , . , , .

  
  
  
  
  

• , BERT – , , , .

  
  
  
  
  

, MVP BERT , 20 – ( ), , BERT - , .. , . , , , –  , ( ).

:

• BERT – , , NER ,

  
  
  
  
  

• Natasha – , NLP : , , API, . .. " " – 

  
  
  
  
  

• Stanza –  NLP , ,

  
  
  
  
  

Spacy, , :

• 
  
  
  
  

• 
  
  
  
  

• NLP , : NER, , ,

  
  
  
  
  

• ( BERT)

  
  
  
  
  

- , , Spacy.

, , : Natasha-spacy, , . , - , , .

, –  , . –  : . – , , . , NER PER, LOC, ORG , "" "" , .. .

- , , .. CONLLU, . :

• GSD

  
  
  
  
  

• SynTagRus

  
  
  
  
  

• Taiga

  
  
  
  
  

-. - NER. . , . , - . – « », , . , ( CONLLU), CONLLU. , , .

"" "" – . , regexp-, .

, "" "". - :

• , ,

  
  
  
  
  

• , .. , "" "" , " "

  
  
  
  
  

• –  - , , , , 3- – 

  
  
  
  
  

. , , .

, " ". Facebook( themeduza, forbesrussia) , , ria.ru. –  - . ! - , , , . ~ .

, "" "" , , , , , .

, –  . " " , - .

–  , , . 4-5 , , , , - "".

4 GB RAM, 2 vCPUs 8% CPU, . , airflow, ( - airflow " " 16 GB RAM, 4 vCPUs 32%). , . , DAG-, –  .

" X", . :

• ( , , , )

  
  
  
  
  

• , –  NER , "" , ( )

  
  
  
  
  

  "source": {
      "id": 1115468824,
      "username": "lentadnya",
      "title": " ",
      "participants": 47148
    },
    "text": "«, ,   »:       .    ,  ",
    "views": 405,
    "link": "https://t.me/lentadnya/16263",
    "interesting": 0.12,
    "reaction": {
      "enjoyment": 0.04400996118783951,
      "sadness": 0.0019097710028290749,
      "disgust": 0.8650462031364441,
      "anger": 0.08112426102161407,
      "fear": 0.00790974497795105
    },
    "entities": [
      "",
      " ",
      "",
      ""
    ],
    "tags": [
      "",
      " ",
      "",
      ""
    ]
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
    

, .

№1: "" , , . , –  3-4 , . .. , .. , . –  .

№2: NER – . , , . . - 100 (, ) NER . 85%. . , BERT "" , - , -.

№3: , , , , , . . - "" . , "", . , ( ), NER " ". , , , . "" , - " " –  . "" . , "" , , . .

Nun, wer bis zu diesem Punkt gelesen hat, ich hoffe, es wird interessant, aber wie sieht unser Top aus: https://t.me/mygenda .

Nun, wie Modeblogger sagen: Abonnieren, Kommentare teilen und Fragen stellen. Ich hoffe das war interessant.