Stimmungsanalyse in russischsprachigen Texten, Teil 3: Herausforderungen und Perspektiven

Die Stimmungsanalyse wurde erfolgreich für soziale Medien, Rezensionen, Nachrichten und sogar Lehrbücher eingesetzt. Basierend auf den in einem früheren Artikel beschriebenen Schlüsselforschungen für die russische Sprache betrachten wir hier die wichtigsten Herausforderungen, denen sich Forscher gegenübersehen, sowie vielversprechende Richtungen für die Zukunft. Im Gegensatz zu früheren Arbeiten habe ich mich auf angewandte Anwendungen konzentriert und nicht auf die Ansätze selbst und deren Qualität der Klassifizierung.

NB: Der Artikel wurde für eine wissenschaftliche Zeitschrift geschrieben, daher wird es viele Links zu Quellen geben.

1. Laufende Anrufe

Basierend auf der Analyse von Forschungsartikeln wurden zehn häufige Probleme identifiziert. Im Allgemeinen stehen Forscher in der Regel vor zahlreichen Herausforderungen, darunter der Zugriff auf repräsentative historische Daten und Lehrdaten sowie das Kommentieren von Emotionen, die ausführliche Beschreibung von Forschungsgrenzen und das Extrahieren von Themen aus Texten.

1.1. Zugriff auf repräsentative historische Daten in analysierten Quellen

Historische Daten - wie Veröffentlichungen und Rezensionen -, die über Quell-APIs oder Aggregationsplattformen gesammelt wurden, werden häufig in der Stimmungsforschung verwendet und analysiert. Manchmal bieten API-Entwickler nur teilweisen Zugriff auf veröffentlichte Daten. Beispielsweise folgt die Kern-API von Twitter einer Richtlinie, nach der nur die historische Twitter-API Zugriff auf alle offenen Beiträge bietet. Selbst wenn Aggregationsplattformen behaupten, vollen Zugriff auf die Daten einer bestimmten Quelle zu haben, ist es unmöglich, dies zu überprüfen. Daher gibt es nur zwei Möglichkeiten, um sicherzustellen, dass die Daten für die Studie repräsentativ sind:

1. API , . , API .
2. . , OK Data Science Lab [98].

1.2.

Obwohl Russisch eine der am häufigsten gesprochenen im Internet ist, ist die Anzahl der darin enthaltenen Quellen erheblich geringer als in Englisch, insbesondere im Bereich der Stimmungsanalyse. Obwohl sich viele Studien mit der Klassifizierung von Emotionen in russischsprachigen Texten befasst haben, haben nur die Autoren einiger von ihnen ihre Datensätze öffentlich zugänglich gemacht. Wenn keiner der verfügbaren Sätze auf das Forschungsthema angewendet werden kann, markieren die Autoren die Trainingssätze manuell. Nach der Analyse literarischer Quellen und wissenschaftlicher Werke [142] [173] identifizierte und beschrieb ich 14 öffentlich verfügbare Datensätze zur Analyse der Stimmung russischsprachiger Texte (siehe Tabelle 2). Ich habe nur die Kits berücksichtigt, auf die gemäß den Anweisungen in den entsprechenden wissenschaftlichen Veröffentlichungen oder auf den offiziellen Websites zugegriffen werden kann. In dieser Hinsicht wurden sie nicht in die Liste aufgenommen,Zum Beispiel setzt ROMIP [174], [175], weil es nicht möglich war, über ihre offizielle Website auf die Daten zuzugreifen.



Tabelle 2. Datensätze in russischer Sprache für die Stimmungsanalyse.

1.3. .

Mit Analysesystemen von Drittanbietern wie SentiStrength [22], Medialogy-Algorithmen oder POLYARNIK [107] schreiben Autoren normalerweise nicht über die Qualität der Klassifizierung der analysierten Texte, sodass es schwierig wird, die Richtigkeit der Forschungsergebnisse zu überprüfen. Ich gehe davon aus, dass die Verwendung von Lösungen von Drittanbietern auch darauf zurückzuführen ist, dass die Forscher die Testsätze von Texten zur Berechnung der Klassifizierungsmetriken nicht mit Anmerkungen versehen haben. Es scheint jedoch, dass die Einführung dieser Phase den wissenschaftlichen Wert der Arbeit erheblich steigern wird. Daher empfehle ich den Autoren dringend, die Zieldatenstichproben manuell zu kommentieren, um Klassifizierungsmetriken in der Stimmungsanalyse zu messen.

1.4. Themen aus Texten extrahieren

Um Themen zu extrahieren, verwenden die meisten Studien Themenmodellierungstechniken. Wenn jedoch der Anteil der Texte zum betreffenden Thema deutlich unter 1% liegt, lässt die Themenmodellierung die Arbeit mit der Themenextraktion nicht zu [54]. Darüber hinaus zeigt die Themenmodellierung eine geringe Genauigkeit bei der Analyse von Kurztexten, insbesondere wenn sie die Alltagssprache darstellen [54]. Daher müssen genauere und weniger rauschabhängige Ansätze entwickelt werden.

1.5. Sentiment Annotation Guides für manuelles Markup.

Da relevante russischsprachige Trainingskits zu interessanten Themen nicht immer verfügbar sind, kommentieren Forscher Texte normalerweise von Hand. Ohne eine Beschreibung des Handbuchs und andere Details des Anmerkungsprozesses ist es schwierig, die Markup-Qualität für einen Datensatz zu validieren. Klare und einfache Schritt-für-Schritt-Anweisungen sind unerlässlich, um qualitativ hochwertige Anmerkungen sowohl von zertifizierten Linguisten als auch von nicht-sprachlichen Gutachtern zu erhalten [176]. Einige Arten von Texten sind besonders schwer zu kommentieren, z. B. der emotionale Zustand des Sprechers, die neutrale Kommunikation wertvoller Informationen, Sarkasmus, Lächerlichkeit und andere [162].



Als Beispiel für einen Leitfaden zum Kommentieren von Stimmungen für die russische Sprache können weitere Forschungen Richtlinien verwenden, die mit der Annotation von RuSentiment entwickelt wurden [142]. Wenn Sie keine zertifizierten Linguisten zum Kommentieren haben, können Sie die Hilfe von Assessoren von Yandex.Toloka verwenden, einer Crowdsourcing-Plattform zum manuellen Kommentieren von Daten. Es wurde bereits in mehreren akademischen Studien zu russischsprachigen Texten verwendet [177] - [180]. Es wird außerdem dringend empfohlen, Vereinbarungen zwischen Kommentatoren wie Fleiss 'Kappa [181] oder Krippendorffs Alpha [182] und andere Details des Annotationsprozesses zu veröffentlichen.

1.6 Umfassende Beschreibung der Einschränkungen

Die meisten der analysierten Papiere enthalten unvollständige Listen mit Einschränkungen. Zusätzlich zu technischen und methodischen Einschränkungen wird dringend empfohlen, Folgendes zu beschreiben:

• Die Verbreitung des Internets im Land. Eine der kritischen Einschränkungen, da bestimmte Personengruppen von der Studie nicht erfasst werden. Nach den Ergebnissen von Omnibus GFK-Umfragen im Dezember 2018 [9] erreichte die Verbreitung des Internets in Russland 75,4% und wird von 90 Millionen Russen ab 16 Jahren genutzt. Die Internetnutzung durch junge Menschen (16-29 Jahre) und Menschen mittleren Alters (20-54 Jahre) liegt nahe an der Sättigung - 99% bzw. 88%. Trotz eines signifikanten Anstiegs der Prävalenz nutzen nur 36% der über 55-Jährigen das Internet.
• . , [183]. , . , . , , , , .
• . , , . , , . , , , , ; ; ; , , , , ; . , . , .
• . Freedom House 2018- [184], 53 65. 2012- , IP-, URL. 2019- . , , . , , .

1.7. .

Da Menschen ihre Meinung zu einer Vielzahl von Themen äußern können, kann die Analyse all dieser Meinungen ressourcenintensiv sein, da Schulungssätze für jedes Thema mit Anmerkungen versehen werden müssen [186]. Das Fehlen kommentierter Textsammlungen zum Trainieren von Sentiment-Analysemodellen für alle Themen führt zu einer Verringerung der Genauigkeit der Analyse. Laut einer Studie [187] gibt es drei wichtige Probleme bei der themenübergreifenden Analyse. Meinungen, die im Kontext eines Themas geäußert werden, können im Kontext eines anderen Themas umgekehrt werden. Das zweite Problem betrifft die Unterschiede zwischen den Vokabeln der Emotionen für verschiedene Themen, die bei der Analyse berücksichtigt werden müssen. Und schließlich ist es sinnvoll, jedem Token im Wörterbuch der Emotionen einen Marker für die Stärke der Emotionen zuzuweisen.

1.8. Definition von Sarkasmus und Ironie

Online-Kommunikation enthält oft sarkastische und ironische Sätze [188], die selbst für Menschen nicht immer leicht zu erkennen sind, geschweige denn Algorithmen zur Verarbeitung natürlicher Sprache. Bisher wurde der Definition von Ironie und Sarkasmus in der russischen Sprache nur sehr wenig Forschung [189] gewidmet. Für die korrekte Verarbeitung eines breiten Spektrums von Meinungen ist es daher erforderlich, mehr Ansätze mit automatischer Klassifizierung komplexer Sprachtechniken zu entwickeln und anzuwenden.

1.9. Bots definieren

Bots haben einen starken Einfluss auf verschiedene Aspekte von Social Media, insbesondere wenn sie die Mehrheit der Benutzer ausmachen. Sie können für verschiedene böswillige Aufgaben im Zusammenhang mit der öffentlichen Meinung verwendet werden. Zum Beispiel, um die Popularität von Prominenten zu steigern oder falsche Informationen über Politiker zu verbreiten [190]. Infolgedessen müssen Bot-Erkennungsmethoden entwickelt und in Stimmungsstudien angewendet werden.

1.10. Effizienz der Analyseergebnisse

Es gibt immer noch erhebliche Meinungsverschiedenheiten über die Wirksamkeit der Messung von Antworten durch automatische Analyse von Daten im Internet. Mehrere Studien [191] [192] glauben, dass Social-Media-Ansätze weniger genau sind als traditionelle Forschung. Andere behaupten [193], dass diese Ansätze eine bessere Leistung zeigen als herkömmliche Methoden. Daher wird dringend empfohlen, die Ergebnisse der Studie nach Möglichkeit mit den Ergebnissen anderer Methoden zu vergleichen.

2. Vielversprechende Forschungsbereiche

Nach Durchsicht der Literatur identifizierte ich sieben Möglichkeiten für zukünftige Forschung.



Insgesamt sollte die zukünftige Forschung die in diesem Artikel vorgestellten Ansätze zur Überwachung der Stimmung sorgfältig untersuchen, um mögliche Synergien zwischen den einzelnen Ansätzen für eine umfassendere Analyse der Stimmung in verschiedenen Textquellen zu ermitteln.

2.1 Lernen mit Wissenstransfer von Sprachmodellen

Die meisten Arbeiten verwenden regelbasierte oder einfache Ansätze für maschinelles Lernen. Nur zwei Studien [69] [72] verwendeten neuronale Netze. Jüngste Arbeiten haben jedoch gezeigt, dass das Lernen mit dem Wissenstransfer aus vorab trainierten Sprachmodellen die Probleme der Klassifizierung von Emotionen effektiv lösen und sicher gute Ergebnisse erzielen kann [43] [194] - [198].



Somit kann die Verwendung fein abgestimmter Sprachmodelle die Qualität der Stimmungsanalyse erheblich verbessern und somit die Genauigkeit der Stimmungsüberwachungsergebnisse verbessern. Erste Untersuchungen wurden in [199] durchgeführt, deren Autoren ein flaches und breites Faltungs-Neuronales Netzwerk mit ELMo-Einbettungen trainierten [42] und neue Datensatzklassifizierungsmetriken für den RuSentiment-Datensatz [142] erhielten, die alle früheren Ansätze des Neuronalen Netzwerks übertrafen. In einem ersten Schritt in diese Richtung könnten Forscher grundlegende Lerntransferraten für verschiedene russischsprachige Textsätze trainieren und veröffentlichen.

2.2. Stimmungsanalyse mehrsprachiger Texte

Russland ist ein multinationales Land und daher mehrsprachig. Daher können verschiedene Personen und Personengruppen ihre Meinung in verschiedenen Sprachen äußern. Linguisten zählen in Russland mehr als 150 Sprachen, angefangen mit Russisch, das von 96,25% der Bevölkerung gesprochen wird, bis hin zu Negidal, das von mehreren hundert Menschen in der Region Amur gesprochen wird. In mehreren Studien wurden Texte in mehreren Sprachen analysiert, sodass Autoren ein breiteres Spektrum von Quellen abdecken und Meinungsäußerungen zum gleichen Thema in verschiedenen Sprachen vergleichen konnten.



Um Emotionen in verschiedenen Sprachen zu klassifizieren, übersetzten einige Forscher alle Texte in eine Sprache und führten eine einsprachige Stimmungsanalyse durch (z. B. [72]). Andere haben mehrsprachige Klassifizierungsmodelle entwickelt (z. B. [79]). Als Entwicklung des letzteren Ansatzes können Forscher vorab trainierte Sprachmodelle verwenden, beispielsweise bidirektionale Encoder-Darstellungen von Transformatoren [43] und mehrsprachige universelle Satzcodierer [198].

2.3. Auszug aus Texten allgemeiner Themen

In den meisten Fallmodellierungsstudien wählten die Autoren nur wenige Themen für die Extraktion und zukünftige Analyse aus. Dieser Ansatz erlaubt es jedoch nicht, relevante Themen aus großen Textsätzen zu extrahieren, beispielsweise wenn der Anteil von Text in Bezug auf Themen von Interesse viel weniger als 1% beträgt [54]. Darüber hinaus zeigt die Themenmodellierung eine geringe Genauigkeit bei der Analyse von Kurztexten, insbesondere wenn es sich um Alltagssprache handelt [54]. Die Aufgabe des Extrahierens von Themen kann nicht nur auf die Themenmodellierung, sondern auch auf das Problem der Textklassifizierung eingegrenzt werden, wenn ein umfangreicher Satz von Trainingsdaten zum Extrahieren allgemeiner Themen verfügbar ist.



Die Erstellung eines solchen Datensatzes scheint ein zeitaufwändiger und ressourcenintensiver Prozess zu sein, wenn ein grundlegender Ansatz mit Anmerkungen zu einem Linguistenteam oder Crowdsourcing vorliegt. Einige Social-Media-Plattformen bieten Benutzern jedoch die Möglichkeit, ihre Beiträge zu markieren, z. B. Reddit und Pikabu. Dies bedeutet, dass Benutzer solcher sozialer Netzwerke den Anmerkungsprozess übernehmen. Mit einer zusätzlichen Überprüfung können diese Daten daher möglicherweise verwendet werden, um einen Schulungssatz zum Extrahieren allgemeiner Themen aus Nachrichten zu erstellen.

2.4. Vorlieben und andere Arten der Reaktion auf Inhalte als indirekte Ausdrucksform von Emotionen

In den meisten Studien wurden Meinungsäußerungen nur anhand des Inhalts von Veröffentlichungen bewertet. Likes und andere Arten von Reaktionen auf Posts können jedoch eine Quelle von Emotionen sein, die von Lesern ausgedrückt werden. Daher können diese Informationen bei der Überwachung der Stimmung berücksichtigt werden. In einer Studie [200] wurden Vorarbeiten zur Untersuchung der Beziehung zwischen dem Posten von Likes und Emotionen zur Veröffentlichung durchgeführt: Die Forscher untersuchten die Rolle des Inhalts der Veröffentlichungen, die Beziehung zwischen dem Autor der Veröffentlichung und der Persönlichkeit des Benutzers. Basierend auf Online-Recherchen argumentieren die Autoren, dass Posts mit positiven Emotionen normalerweise ohne sorgfältiges Lesen automatisch gemocht werden. Es wurde auch festgestellt, dass die Positivität von Veröffentlichungen mit relativen und wörtlichen Motiven korreliert.Zusätzlich zur einfachen Schaltfläche "Gefällt mir" haben einige Social-Media-Plattformen Reaktionsfunktionen eingeführt, mit denen Benutzer auf einfache Weise ihre emotionale Reaktion auf eine Nachricht zeigen können. Die Reaktionen von Facebook bestehen beispielsweise aus "Gefällt mir", "Liebe", "Wow", "Haha", "Wütend" und "Traurig".



Smolyarova et al. [201] zeigen in ihrer Untersuchung emotionaler Reize im reaktionären Verhalten russischsprachiger Facebook-Nutzer, dass die Liebesreaktion normalerweise auf einfache Weise verwendet wird und eine Alternative zum traditionellen Like darstellt. Umgekehrt wird ein Beitrag, der eine Wow-Reaktion auslöst, wahrscheinlich auch mit anderen Emotionen gekennzeichnet. Reaktionen wie Love, Haha und Wow entmutigen tendenziell den Wunsch, über Kommentare oder den Share-Button weiter mit Posts zu interagieren [202]. Ein potenziell bedeutendes Forschungsgebiet ist daher die Beziehung zwischen der Reaktion, der Stimmung der Menschen und der Stimmung der Veröffentlichung, die in Zukunft zur Überwachung der Stimmung verwendet werden kann.

2.5. Kontextuelle Klassifizierung von Emotionen

Die emotionale Reaktion des Benutzers im Text kann stark vom Kontext abhängen: Der gleiche Text kann in einem Kontext einen positiven und in einem anderen einen negativen Ton ausdrücken [203]. Daher ist es bei der Analyse des Gesprächstons, beispielsweise der Antworten in Kommentaren, sehr wichtig, zusätzlich zu den emotionalen Reaktionen selbst den Kontext des Gesprächs zu erfassen. Forscher sollten bei der Analyse von Gesprächen auf die kontextbezogene Klassifizierung von Emotionen achten.

2.6. Inhaltsanalyse weniger recherchierter Quellen

Ein erheblicher Teil der Forschung arbeitet mit Daten von VKontakte, Twitter, LiveJournal und YouTube, obwohl es andere beliebte soziale Netzwerke gibt, die als Datenquelle verwendet werden können, beispielsweise Odnoklassniki, Moi Mir und RuTube. So können Forscher auf Odnoklassniki achten, da es das zweitgrößte russische soziale Netzwerk ist, das von 42% der Bevölkerung des Landes genutzt wird [98]. Die Plattform ist bei Benutzern über 35 beliebt und kann daher eine nützliche Quelle für Meinungen älterer Generationen sein. Darüber hinaus kann auf die repräsentativen Statistiken von Odnoklassniki über OK Data Science Lab zugegriffen werden, eine Plattform, die von Odnoklassniki für Forschungszwecke entwickelt wurde.

2.7. Automatische Analyse von Social Media-Inhalten als Alternative zu herkömmlichen Umfragen

Derzeit können die Ergebnisse der Analyse von Online-Texten nicht als vollwertige Alternative zu den klassischen Ansätzen zur Bewertung von Meinungen auf der Grundlage von Massenumfragen angesehen werden [204]. Um dieses Hindernis zu überwinden, ist eine theoretische Grundlage erforderlich, um Daten auf das Niveau größerer Bevölkerungsgruppen zu verallgemeinern [205]. Traditionelle Massenumfragen setzen die Assoziation von Meinungen mit soziodemografischen Gruppen voraus, und verlässliche demografische Informationen sind in den sozialen Medien normalerweise nicht verfügbar. Forscher können Geolokalisierungsinformationen, Benutzerprofildaten sowie Geschlechts- und Altersvorhersagesysteme [206] - [211] verwenden, um ihre Ergebnisse mit herkömmlichen Meinungsumfragen zu vergleichen.

2.8. Überwachung des Stimmungsindex des russischsprachigen Segments sozialer Netzwerke

In einem bahnbrechenden Artikel aus dem Jahr 2010 [212] untersuchten Mislov et al. Die Dynamik der Stimmung im Laufe des Tages, indem sie mehr als 300 Millionen ortsbezogene Twitter-Nachrichten aus den USA mithilfe eines wörterbuchbasierten Ansatzes analysierten. Es wurden einige interessante Trends festgestellt, wie zum Beispiel das höchste Maß an Glück am frühen Morgen und am späten Abend. Wochenenden waren viel glücklicher als Wochentage. Diese Muster wurden durch eine Studie über die Stimmung der Brasilianer auf Twitter [213] bestätigt, die eine naive Bayes'sche Klassifikation der Stimmungen verwendete [30]. Dzogang untersuchte auch zirkadiane Muster bei Stimmungsschwankungen [214]. Wenn für viele Sprachen solche Studien bereits durchgeführt wurden, wurden russischsprachige Texte bisher nur wenig untersucht [93] [137]. Sie können in Bezug auf die Menge der analysierten Daten weiter und tiefer untersucht werden.Qualität von Emotionsklassifizierungsmodellen und Methoden zur Berechnung sozialer Indizes.



Einige Studien haben sich auch mit der Entwicklung von Systemen zur Überwachung von Emotionen in russischsprachigen sozialen Netzwerken befasst, aber die Autoren berichten normalerweise nicht über die Überwachungsergebnisse. Zum Beispiel beschrieben Forscher der ITMO-Universität einen Ansatz zur Bewertung der emotionalen Stimmung der öffentlichen Meinung [215], die Autoren von [216] betrachteten das allgemeine Prinzip der Überwachung sozialer Netzwerke mithilfe einer intelligenten Analyse von Textnachrichten und in Artikel [148] beschrieben die Autoren die Entwicklung von Software zur Überwachung der öffentlichen Meinung durch Russischsprachige Twitter-Nachrichten.

3. Fazit

Wie wir sehen können, gibt es bereits eine gute Forschungsbasis für die russische Sprache, die eine breite Palette von Forschungszielen und analysierten Quellen abdeckt. Es gibt jedoch auch eine Reihe von Herausforderungen und vielversprechenden Bereichen, die bei der Durchführung neuer Forschungsarbeiten berücksichtigt werden sollten.

4. Quellen

Eine vollständige Liste der Quellen finden Sie hier .