Vergleich von Texten
Nehmen wir an, wir haben drei Texte: zwei über Hunde und einen über Katzen. Wie vergleichst du sie miteinander?
Wir können zählen, wie viele jedes Wort im Text vorkommt, in unserem Fall werden wir Katzen und Hunde zählen, und wenn der Text mehr Hunde als Katzen enthält, können wir daraus schließen, dass sie (Texte) ungefähr dasselbe sind.
In der Tat ist dies nicht immer der Fall. Stellen Sie sich eine Situation vor, in der es einen sehr langen Text über Hunde gibt und mehr Wörter darin sind. Glücklicherweise können Sie aus dieser Situation herauskommen, indem Sie die Kosinusabstände vergleichen.
bag-of-words , , , «» «» . , , . , ? . bag-of-words , «» «» .
. , , . , «» «». – . python : pymorphy pymystem. , . .
. , , .
, . , «» — «» — «», , «» «», «».
Word2Vec
, . , Word2Vec. ? , . , , . Word2Vec :
, .. . , , . 10 . .
, , , IT, .. . ? () «». «» «» , , , , .
, pyLDAvis , .
, . , . . udpipe.
, , : « ». , , «».
, udpipe , , .
Trotz der Tatsache, dass alle Tools anhand einfacher Beispiele betrachtet wurden, muss NLP eine Vielzahl von Aufgaben lösen: Klassifizierung von Mitarbeiteranfragen, Auswertung von Kundenbewertungen, Analyse von Nachrichten aus einem Chatbot. So erschienen mehrere weitere Instrumente in unseren Händen.