Stimmungsanalyse. Wir definieren emotionale Botschaften auf Habré

Die Stimmungsanalyse (oder Stimmungsanalyse) ist eine der Aufgaben, mit denen Data Science-Spezialisten arbeiten. Mithilfe einer solchen Analyse können Sie die Reihe von Nachrichten und anderen Daten untersuchen und feststellen, wie sie emotional gefärbt sind - positiv, negativ oder neutral.





Mal sehen, wie es funktioniert - analysieren wir eine Reihe von Artikeln basierend auf dem Linis Crowd-Datensatz. Wir schlagen vor zu bestimmen, welche Modelle am vielversprechendsten sind, beispielsweise für die Entwicklung verschiedener Überwachungsdienste. Als Themenbereich werden wir Artikel technischer Art auswählen (zum Beispiel über Habré), die für die Implementierung einer automatischen Sammlung von Meinungen nützlich sein können.





Tonalität ist die Identifizierung von emotional gefärbtem Vokabular in Texten sowie eine emotionale Bewertung der von den Autoren geäußerten Meinungen. 





, , “” . , ( ). , , .





, -. , , . 





: . – 70-80%, , .





:





  • . () . , .





  • , . . , , .





, . – . , IT- , . :





-1





:





0





:





1





:





2 :





  • . , , Linis Crowd.





  • , . python, .





  • -, Flask, - .





  • nltk - . , .





  • Fasttext. Word2Vec , , . . 500 , .





Fasttext ():

























– , .





1)

, , , , . , . .













, :





alpha = 0.3; fitprior = True; classprior = None





2)

, .





:





  • samplesize, . , .





  • max_features ( — ).





  • ( ). , , ( ). , , , . 









, : 





nestimators = 200; maxdepth = 3; random_state = 0





3)  

, . 





Embedding, 64- , LSTM (128 ) Dense (10 ).









Linis Crowd, 29 . .





  .





, . fasttext , 5 - 10 CPU. GPU 0.7 – 1.





  :





  • 60%. 





  • 20% 





  • 20% . 





, 70-80%. 









  • (88,32%)





  • (78,91%)





  • . RNN (83,26%)





, 88,32% . , 80%, .





! , . 





-, : 





  1. http://datareview.info/article/analiz-tonalnosti-teksta-kontseptsiya-metodyi-oblasti-primeneniya/





  2. https://habr.com/ru/company/palitrumlab/blog/262595/





  3. https://compress.ru/article.aspx?id=23115





  4. https://habr.com/ru/company/mailru/blog/417767/





  5. https://habr.com/ru/company/mailru/blog/516214/





  6. https://habr.com/ru/company/mailru/blog/516726/





  7. https://habr.com/ru/company/mailru/blog/516730/












All Articles