Clever Geek Handbook

Definition von toxischen Kommentaren in russischer Sprache



Heute sind soziale Netzwerke zu einer der wichtigsten Kommunikationsplattformen sowohl online als auch im realen Leben geworden. Die Freiheit, unterschiedliche Standpunkte zu Ă€ußern, einschließlich toxischer, aggressiver und beleidigender Kommentare, kann langfristig negative Folgen fĂŒr die Meinung und den sozialen Zusammenhalt der Menschen haben. Eine der wichtigsten Aufgaben der modernen Gesellschaft ist daher die Entwicklung von Mitteln zur automatischen Erkennung toxischer Informationen im Internet, um die negativen Folgen zu verringern.



Dieser Artikel beschreibt, wie dieses Problem fĂŒr die russische Sprache gelöst werden kann. Als Datenquelle haben wir einen anonym auf Kaggle veröffentlichten Datensatz verwendet und zusĂ€tzlich die QualitĂ€t der Anmerkung ĂŒberprĂŒft. Um ein Klassifizierungsmodell zu erstellen, haben wir zwei Versionen des mehrsprachigen universellen Satzcodierers, bidirektionale Codiererdarstellungen von Transformers und ruBERT, optimiert. Das kundenspezifische Modell ruBERT zeigte F 1 = 92,20%, es war das beste Klassifizierungsergebnis. Wir haben die geschulten Modelle und Codebeispiele der Öffentlichkeit zugĂ€nglich gemacht.



1. Einleitung



Das Problem der Identifizierung toxischer Kommentare ist heute mit fortschrittlichen Deep-Learning-Techniken gut gelöst [1] [35]. Obwohl einige Arbeiten das Thema der Aufdeckung von Beleidigungen, toxischen und Hassreden auf Russisch direkt untersuchen [2] [8] [17], gibt es nur einen öffentlich verfĂŒgbaren Datensatz mit toxischen russischsprachigen Kommentaren [5]. Es wurde auf Kaggle ohne ErlĂ€uterung des Annotationsprozesses veröffentlicht, sodass es fĂŒr akademische und praktische Zwecke ohne zusĂ€tzliche eingehende Studien möglicherweise nicht zuverlĂ€ssig ist.



Dieser Artikel befasst sich mit der automatischen Erkennung toxischer Kommentare in russischer Sprache. FĂŒr diese Aufgabe haben wir die Annotation des Russian Language Toxic Comments Dataset [5] ĂŒberprĂŒft. Anschließend wurde ein Klassifizierungsmodell erstellt, das auf der Feinabstimmung der vorgefertigten mehrsprachigen Versionen des mehrsprachigen universellen Satzcodierers (M-USE) [48], der bidirektionalen Encoderdarstellungen von Transformatoren (M-BERT) [13] und von ruBERT [22] basiert. Das genaueste Modell ruBERT-Toxic zeigte F 1 = 92,20% im binĂ€ren Klassifizierungsproblem toxischer Kommentare. Die resultierenden M-BERT- und M-USE-Modelle können von github heruntergeladen werden.



Die Struktur des Artikels ist wie folgt. In Abschnitt 2Wir beschreiben kurz andere Arbeiten zu diesem Thema sowie die verfĂŒgbaren russischsprachigen DatensĂ€tze. In Abschnitt 3 geben wir einen allgemeinen Überblick ĂŒber den Datensatz fĂŒr toxische Kommentare in russischer Sprache und beschreiben den Prozess zur ÜberprĂŒfung seiner Anmerkungen. In Abschnitt 4 beschreiben wir die Verfeinerung von Sprachmodellen fĂŒr die Aufgabe der Textklassifizierung. In Abschnitt 5 beschreiben wir das Klassifizierungsexperiment. Lassen Sie uns abschließend ĂŒber die Leistung unseres Systems und die Anweisungen fĂŒr die zukĂŒnftige Forschung sprechen.



2. Andere Arbeiten zum Thema



Es wurden umfangreiche Arbeiten durchgefĂŒhrt, um toxische Kommentare zu verschiedenen Datenquellen zu erkennen. Zum Beispiel haben Prabowo und Kollegen die Klassifikation Naive Bayesian Classification (NB), Support Vector Machines (SVM) und Ensemble Decision Trees (RFDT) verwendet, um Hass und beleidigende Sprache auf indonesischem Twitter zu erkennen [34]. Die experimentellen Ergebnisse zeigten eine Genauigkeit von 68,43% fĂŒr den hierarchischen Ansatz mit den Zeichen von Wörterbuch-Unigrammen und fĂŒr das SVM-Modell. In der Arbeit eines von Founta [15] geleiteten Teams wurde ein auf GRU basierendes Deep-Learning-Neuronales Netzwerk mit vorab trainierten GloVe-Einbettungen zur Klassifizierung toxischer Texte vorgeschlagen. Das Modell zeigte eine hohe Genauigkeit bei fĂŒnf DatensĂ€tzen mit einer AUC zwischen 92% und 98%.



Immer mehr Seminare und Wettbewerbe widmen sich der Aufdeckung giftiger, hasserfĂŒllter und beleidigender Kommentare. Zum Beispiel HatEval und OffensEval bei SemEval-2019; HASOC bei FIRE-2019; Gemeinsame Aufgabe zur Identifizierung beleidigender Sprache bei GermEval-2019 und GermEval-2018; TRAC bei COLING-2018. Modelle, die bei Problemen verwendet werden, reichen vom traditionellen maschinellen Lernen (z. B. SVM und logistische Regression) bis zum Tiefenlernen (RNN, LSTM, GRU, CNN, CapsNet, einschließlich Aufmerksamkeitsmechanismus [45], [49]) sowie fortgeschrittenen Modellen wie ELMo [31], BERT [13] und USE [9], [48]). Eine signifikante Anzahl von Teams, die gute Ergebnisse erzielt haben [18], [24], [27], [28], [30], [36], [38], verwendeten Einbettungen aus den aufgelisteten vorab trainierten Sprachmodellen.Da Ansichten von vorab trainierten Modellen bei der Klassifizierung gut abschnitten, wurden sie in nachfolgenden Studien hĂ€ufig verwendet. Zum Beispiel fĂŒhrten Forscher der UniversitĂ€t Lothringen eine binĂ€re Klassifizierung von Twitter-Nachrichten in mehreren Klassen mit zwei AnsĂ€tzen durch: Training eines DNN-Klassifikators mit vorgebildeten Vokabeln und eines sorgfĂ€ltig abgestimmten vorgebildeten BERT-Modells [14]. Der zweite Ansatz zeigte signifikant bessere Ergebnisse im Vergleich zu CNN- und bidirektionalen LSTM-Neuronalen Netzen, die auf FastText-Einbettungen basieren.durch Training eines DNN-Klassifikators mit vorab trainierten Vokabeln und eines sorgfĂ€ltig abgestimmten vorab trainierten BERT-Modells [14]. Der zweite Ansatz zeigte signifikant bessere Ergebnisse im Vergleich zu CNN- und bidirektionalen LSTM-Neuronalen Netzen, die auf FastText-Einbettungen basieren.durch Training eines DNN-Klassifikators mit vorab trainierten Vokabeln und eines sorgfĂ€ltig abgestimmten vorab trainierten BERT-Modells [14]. Der zweite Ansatz zeigte signifikant bessere Ergebnisse im Vergleich zu CNN- und bidirektionalen LSTM-Neuronalen Netzen, die auf FastText-Einbettungen basieren.



Obwohl sich eine bedeutende Anzahl von Studien [7] [33] [41] mit der Untersuchung toxischen und aggressiven Verhaltens in russischsprachigen sozialen Netzwerken befasst hat, wurde ihrer automatischen Klassifizierung nicht viel Aufmerksamkeit geschenkt. Um die AggressivitĂ€t in englisch- und russischsprachigen Texten zu bestimmen, verwendete Gordeev Faltungs-Neuronale Netze und einen Random Forest Classifier (RFC) [17]. Die als aggressiv kommentierten Nachrichten enthielten ungefĂ€hr 1000 Nachrichten auf Russisch und ungefĂ€hr dieselbe auf Englisch, sind jedoch nicht öffentlich verfĂŒgbar. Das trainierte CNN-Modell zeigte die Genauigkeit der binĂ€ren Klassifizierung russischsprachiger Texte zu 66,68%. Basierend auf diesen Ergebnissen kamen die Autoren zu dem Schluss, dass Faltungs-Neuronale Netze und Deep-Learning-basierte AnsĂ€tze fĂŒr die Identifizierung aggressiver Texte vielversprechender sind.Andruziak et al. Schlugen einen unbeaufsichtigten probabilistischen Ansatz mit einem Quellenvokabular vor, um anstĂ¶ĂŸige YouTube-Kommentare in ukrainischer und russischer Sprache zu klassifizieren [2]. Die Autoren haben einen manuell beschrifteten Datensatz mit 2.000 Kommentaren veröffentlicht, der jedoch sowohl russische als auch ukrainische Texte enthĂ€lt, sodass er nicht direkt fĂŒr die russischsprachige Forschung verwendet werden kann.



Mehrere neuere Studien haben sich auf die automatische Identifizierung von Einstellungen gegenĂŒber Migranten und ethnischen Gruppen in russischsprachigen sozialen Netzwerken konzentriert, einschließlich der Identifizierung von Angriffen auf der Grundlage der IdentitĂ€t. Bodrunova studierte mit Co-Autoren im LiveJournal 363.000 russischsprachige Publikationen zum Thema Einstellungen gegenĂŒber Migranten aus den postsowjetischen Republiken im Vergleich zu anderen Nationen [8]. Es stellte sich heraus, dass Migranten in russischsprachigen Blogs keine nennenswerten Diskussionen fĂŒhrten und nicht der schlechtesten Behandlung unterzogen wurden. Gleichzeitig werden Vertreter der nordkaukasischen und zentralasiatischen NationalitĂ€t völlig unterschiedlich behandelt. Eine Gruppe von Forschern unter der Leitung von Bessudnov fand heraus, dass Russen traditionell feindlicher gegenĂŒber Menschen aus dem Kaukasus und Zentralasien sind. Gleichzeitig werden Ukrainer und Moldauer allgemein als potenzielle Nachbarn akzeptiert [6].Und nach den Schlussfolgerungen des von Koltsova geleiteten Teams ist die Haltung gegenĂŒber Vertretern zentralasiatischer NationalitĂ€ten und Ukrainern am negativsten [19]. Obwohl sich einige akademische Forschungen auf die Definition von toxischer, beleidigender und Hassrede konzentriert haben, hat keiner der Autoren seine DatensĂ€tze in russischer Sprache öffentlich zugĂ€nglich gemacht. Soweit wir wissen, ist der Datensatz fĂŒr toxische Kommentare in russischer Sprache [5] der einzige Satz öffentlich zugĂ€nglicher toxischer Kommentare in russischer Sprache. Es wurde jedoch auf Kaggle veröffentlicht, ohne den Erstellungs- und Anmerkungsprozess zu beschreiben. Ohne detaillierte Studien wird es daher nicht fĂŒr die Verwendung in akademischen und praktischen Projekten empfohlen.Obwohl sich einige akademische Forschungen auf die Identifizierung toxischer, beleidigender und Hassreden konzentriert haben, hat keiner der Autoren seine DatensĂ€tze in russischer Sprache öffentlich zugĂ€nglich gemacht. Soweit wir wissen, ist der Datensatz fĂŒr toxische Kommentare in russischer Sprache [5] der einzige Satz öffentlich zugĂ€nglicher toxischer Kommentare in russischer Sprache. Es wurde jedoch auf Kaggle veröffentlicht, ohne den Erstellungs- und Anmerkungsprozess zu beschreiben. Ohne detaillierte Studien wird es daher nicht fĂŒr die Verwendung in akademischen und praktischen Projekten empfohlen.Obwohl sich einige akademische Forschungen auf die Identifizierung toxischer, beleidigender und Hassreden konzentriert haben, hat keiner der Autoren seine DatensĂ€tze in russischer Sprache öffentlich zugĂ€nglich gemacht. Soweit wir wissen, ist der Datensatz fĂŒr toxische Kommentare in russischer Sprache [5] der einzige Satz öffentlich zugĂ€nglicher toxischer Kommentare in russischer Sprache. Es wurde jedoch auf Kaggle veröffentlicht, ohne den Erstellungs- und Anmerkungsprozess zu beschreiben. Ohne detaillierte Studien wird es daher nicht fĂŒr die Verwendung in akademischen und praktischen Projekten empfohlen.Der Datensatz fĂŒr toxische Kommentare in russischer Sprache [5] ist der einzige öffentlich zugĂ€ngliche Satz toxischer Kommentare in russischer Sprache. Es wurde jedoch auf Kaggle veröffentlicht, ohne den Erstellungs- und Anmerkungsprozess zu beschreiben. Ohne detaillierte Studien wird es daher nicht fĂŒr die Verwendung in akademischen und praktischen Projekten empfohlen.Der Datensatz fĂŒr toxische Kommentare in russischer Sprache [5] ist der einzige öffentlich zugĂ€ngliche Satz toxischer Kommentare in russischer Sprache. Es wurde jedoch auf Kaggle veröffentlicht, ohne den Erstellungs- und Anmerkungsprozess zu beschreiben. Ohne detaillierte Studien wird es daher nicht fĂŒr die Verwendung in akademischen und praktischen Projekten empfohlen.



Da der Definition toxischer russischsprachiger Kommentare nur wenig Forschung gewidmet ist, haben wir uns entschlossen, die Arbeit von Deep-Learning-Modellen am Datensatz fĂŒr toxische Kommentare in russischer Sprache zu bewerten [5]. Auf der Grundlage dieser Datenquelle sind uns keine Klassifizierungsstudien bekannt. Die Modelle Multilingual BERT und Multilingual USE gehören zu den am weitesten verbreiteten und erfolgreichsten in jĂŒngsten Forschungsprojekten. Und nur sie unterstĂŒtzen offiziell die russische Sprache. Wir haben uns fĂŒr die Feinabstimmung als Lerntransfer-Ansatz entschieden, da sie in jĂŒngsten Studien die besten Klassifizierungsergebnisse lieferte [13] [22] [43] [48].



3. Datensatz mit toxischen Kommentaren



Set Russian the Language Toxic Comments Der Datensatz [5] ist eine Sammlung kommentierter Kommentare von den Websites Dvach und Peekaboo . Es wurde 2019 auf Kaggle veröffentlicht und enthÀlt 14.412 Kommentare, von denen 4.826 als giftig und 9.586 als ungiftig gekennzeichnet sind. Die durchschnittliche KommentarlÀnge betrÀgt 175 Zeichen, das Minimum 21 und das Maximum 7 403.



Um die QualitĂ€t der Anmerkungen zu ĂŒberprĂŒfen, haben wir einige Kommentare manuell mit Anmerkungen versehen und sie mit den ursprĂŒnglichen Tags unter Verwendung der Inter-Annotator-Vereinbarung verglichen. Wir haben uns entschlossen, die vorhandenen Anmerkungen als korrekt zu betrachten, wenn ein signifikantes oder hohes Niveau der Inter-Annotator-Vereinbarung erreicht wird.



Zuerst haben wir 3000 Kommentare manuell markiert und die resultierenden Klassenbezeichnungen mit den ursprĂŒnglichen verglichen. Die Anmerkungen wurden von russischsprachigen Mitgliedern der Crowdsourcing-Plattform Yandex.Toloka verfasst, die bereits in mehreren akademischen Studien zu russischsprachigen Texten verwendet wurde [10] [29] [32] [44]. Als Leitfaden fĂŒr das Markup haben wir die Anweisungen zur ToxizitĂ€tserkennung mit zusĂ€tzlichen Attributen verwendet, die in der Jigsaw Toxic Comment Classification Challenge verwendet wurden. Die Kommentatoren wurden gebeten, die ToxizitĂ€t in den Texten zu bestimmen, deren Höhe fĂŒr jeden Kommentar angegeben werden musste. Um die Genauigkeit des Markups zu verbessern und die Möglichkeit der TĂ€uschung zu begrenzen, haben wir die folgende Technik verwendet:



  • Wir haben Annotatoren eine Ebene zugewiesen, die auf ihren Antworten auf Kontrollaufgaben basiert, und diejenigen verboten, die falsche Antworten gegeben haben.
  • EingeschrĂ€nkter Zugriff auf Aufgaben fĂŒr diejenigen, die zu schnell reagieren.
  • EingeschrĂ€nkter Zugriff auf die Aufgaben der Themen, gibt nicht mehrmals hintereinander das richtige Captcha ein.


Jeder Kommentar wurde von 3-8 Annotatoren unter Verwendung der dynamischen Überlappungstechnik kommentiert . Die Ergebnisse wurden unter Verwendung der Dawid-Skene-Methode [12] basierend auf den Empfehlungen von Yandex.Toloka aggregiert. Die Annotatoren zeigten ein hohes Maß an Inter-Annotator-Übereinstimmung mit einem Kripppendorf-Alpha von 0,81. Der Cohen-Kappa-Koeffizient zwischen dem Original und unseren aggregierten Markierungen betrug 0,68, was einer signifikanten Übereinstimmung zwischen den Annotatoren entspricht [11]. Aus diesem Grund haben wir uns entschlossen, das Markup des Datensatzes als korrekt zu betrachten, insbesondere angesichts der möglichen Unterschiede in den Anmerkungsanweisungen.



4. Modelle fĂŒr maschinelles Lernen



4.1. BasisansÀtze



FĂŒr die BasisansĂ€tze haben wir einen grundlegenden Ansatz fĂŒr maschinelles Lernen und einen modernen Ansatz fĂŒr neuronale Netze gewĂ€hlt. In beiden FĂ€llen haben wir einige vorbereitende Vorbereitungen getroffen: Wir haben URLs und Spitznamen durch SchlĂŒsselwörter ersetzt, Satzzeichen entfernt und Großbuchstaben durch Kleinbuchstaben ersetzt.



ZunĂ€chst verwendeten wir das MNB-Modell (Multinomial Naive Bayes), das bei Textklassifizierungsproblemen gute Ergebnisse erzielte [16] [40]. Um das Modell zu erstellen, haben wir Bag-of-Words- und TF-IDF-Vektorisierung verwendet. Das zweite Modell war das neuronale Netzwerk Bidirectional Long Short-Term Memory (BiLSTM). FĂŒr die Einbettungsebene haben wir die Word2Vec-Einbettungen vorab trainiert ( dim= 300) [25] basierend auf der Sammlung russischsprachiger Twitter-Nachrichten von RuTweetCorp [37]. ZusĂ€tzlich zu den Word2Vec-Einbettungen haben wir zwei bidirektionale LSTM-Ebenen hinzugefĂŒgt. Dann haben wir eine versteckte, vollstĂ€ndig verbundene Schicht und eine Sigmoid-Ausgangsschicht hinzugefĂŒgt. Um die Überanpassung zu verringern, haben wir dem neuronalen Netzwerk Regularisierungsebenen mit Gaußschen Rausch- und Ausschlussschichten (Dropout) hinzugefĂŒgt. Wir haben Adams Optimierer mit einer anfĂ€nglichen Lernrate von 0,001 und einer kategorialen binĂ€ren Kreuzentropie als Verlustfunktion verwendet. Das Modell wurde mit festen Einbettungen fĂŒr 10 Epochen trainiert. Wir haben versucht, Einbettungen in verschiedenen Epochen freizuschalten und gleichzeitig die Lernrate zu verringern, aber die Ergebnisse waren schlechter. Wahrscheinlich war der Grund die GrĂ¶ĂŸe des Trainingssatzes [4].



4.2. BERT-Modell



Zwei Versionen des mehrsprachigen BERT BASE- Modells sind jetzt offiziell verfĂŒgbar , aber nur die Cased-Version wird offiziell empfohlen. BERT BASE nimmt eine Sequenz von nicht mehr als 512 Token und gibt ihre Darstellung zurĂŒck. Die Tokenisierung wird mit WordPiece [46] mit vorlĂ€ufiger Textnormalisierung und Interpunktionstrennung durchgefĂŒhrt. Forscher von MIPT trainierten BERT BASE Cased und veröffentlichten ruBERT - ein Modell fĂŒr die russische Sprache [22]. Wir haben beide Modelle verwendet - Mehrsprachige BERT BASECased und ruBERT, die 12 sequentielle Transformationsblöcke enthalten, haben eine versteckte GrĂ¶ĂŸe von 768, enthalten 12 Selbstaufmerksamkeitsköpfe und 110 Millionen Parameter. Die Feinabstimmung wurde mit den empfohlenen Parametern aus [43] und dem offiziellen Repository durchgefĂŒhrt : drei Lernepochen, 10% AufwĂ€rmphase, maximale SequenzlĂ€nge 128, PaketgrĂ¶ĂŸe 32, Lernrate 5e-5.



4.3. MUSE-Modell



Multilingual USE Trans verwendet eine Folge von nicht mehr als 100 Token als Eingabe , und Multilingual USE CNN verwendet eine Folge von nicht mehr als 256 Token. Die Tokenisierung von SatzPiece [20] wird fĂŒr alle unterstĂŒtzten Sprachen verwendet. Wir haben ein vorab trainiertes mehrsprachiges USE Trans verwendet , das 16 Sprachen unterstĂŒtzt, einschließlich Russisch, einen Encoder-Konverter mit 6 Transformationsebenen, 8 Aufmerksamkeitskopfblöcken, eine FiltergrĂ¶ĂŸe von 2048 und eine versteckte GrĂ¶ĂŸe von 512 verwendet. Wir haben auch ein vorab trainiertes mehrsprachiges USE CNN verwendet , das unterstĂŒtzt 16 Sprachen, einschließlich Russisch, enthalten einen CNN-Encoder mit zwei CNN-Schichten, eine Filterbreite (1, 2, 3, 5) und eine FiltergrĂ¶ĂŸe. FĂŒr beide Modelle haben wir die empfohlenen Parameter mit verwendetTensorFlow Hub-Seiten : 100 Lernepochen, 32 StapelgrĂ¶ĂŸen, 3e-4-Lernrate.



5. Experimentieren



Wir haben Basis- und LerntransferansÀtze verglichen:



  • Multinomial Naive Bayes Klassifikator;
  • Bidirektionales Langzeit-KurzzeitgedĂ€chtnis (BiLSTM) des neuronalen Netzes;
  • mehrsprachige Version von bidirektionalen Encoder-Darstellungen von Transformatoren (M-BERT);
  • ruBERT;
  • zwei Versionen des mehrsprachigen universellen Satzcodierers (M-USE).


Die QualitĂ€t der Klassifizierung trainierter Modelle auf dem Testset (20%) ist in der Tabelle angegeben. Alle abgestimmten Sprachmodelle ĂŒbertrafen die Grundwerte in Bezug auf Genauigkeit, RĂŒckruf und Messung von F 1 . ruBERT zeigte F 1 = 92,20%, dies ist das beste Ergebnis.



BinÀre Klassifizierung toxischer russischsprachiger Kommentare:



System P. R. F 1
MNB 87,01 % 81,22 % 83,21 %
BiLSTM 86,56 % 86,65 % 86,59 %
M − BERTBASE − Toxic 91,19 % 91,10 % 91,15 %
ruBert − Toxic 91,91 % 92,51 % 92,20 %
M − USECNN − Toxic 89,69 % 90,14% 89,91 %
M − USETrans − Toxic 90,85 % 91,92 % 91,35 %


6.



In diesem Artikel haben wir zwei fein abgestimmte Versionen des mehrsprachigen universellen Satzcodierers [48] verwendet, die mehrsprachigen bidirektionalen Encoderdarstellungen von Transformatoren [13] und ruBERT [22], um toxische russischsprachige Kommentare zu identifizieren. Tuned rubert Toxic zeigte F 1 = 92,20%, ist das beste Klassifizierungsergebnis.



Die resultierenden M-BERT- und M-USE-Modelle sind auf Github verfĂŒgbar .



Literarische Quellen



AuffĂŒhren
  1. Aken, B. van et al.: Challenges for toxic comment classification: An in-depth error analysis. In: Proceedings of the 2nd workshop on abusive language online (ALW2). pp. 33–42. Association for Computational Linguistics, Brussels, Belgium (2018).
  2. Andrusyak, B. et al.: Detection of abusive speech for mixed sociolects of russian and ukrainian languages. In: The 12th workshop on recent advances in slavonic natural languages processing, RASLAN 2018, karlova studanka, czech republic, december 7–9, 2018. pp. 77–84 (2018).
  3. Basile, V. et al.: SemEval-2019 task 5: Multilingual detection of hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 54–63. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  4. Baziotis, C. et al.: DataStories at SemEval-2017 task 4: Deep LSTM with attention for message-level and topic-based sentiment analysis. In: Proceedings of the 11th international workshop on semantic evaluation (SemEval-2017). pp. 747–754. Association for Computational Linguistics, Vancouver, Canada (2017).
  5. Belchikov, A.: Russian language toxic comments, https://www.kaggle.com/ blackmoon/russian-language-toxic-comments.
  6. Bessudnov, A., Shcherbak, A.: Ethnic discrimination in multi-ethnic societies: Evidence from russia. European Sociological Review. (2019).
  7. Biryukova, E. V. et al.: READER’S comment in on-line magazine as a genre of internet discourse (by the material of the german and russian languages). Philological Sciences. Issues of Theory and Practice. 12, 1, 79–82 (2018).
  8. Bodrunova, S. S. et al.: Who’s bad? Attitudes toward resettlers from the post-soviet south versus other nations in the russian blogosphere. International Journal of Communication. 11, 23 (2017).
  9. Cer, D. M. et al.: Universal sentence encoder. ArXiv. abs/1803.11175, (2018).
  10. Chernyak, E. et al.: Char-rnn for word stress detection in east slavic languages. CoRR. abs/1906.04082, (2019).
  11. Cohen, J.: A coefficient of agreement for nominal scales. Educational and psychological measurement. 20, 1, 37–46 (1960).
  12. Dawid, A. P., Skene, A. M.: Maximum likelihood estimation of observer errorrates using the em algorithm. Journal of the Royal Statistical Society: Series C (Applied Statistics). 28, 1, 20–28 (1979).
  13. Devlin, J. et al.: BERT: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the 2019 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 4171–4186. Association for Computational Linguistics, Minneapolis, Minnesota (2019).
  14. d’Sa, A. G. et al.: BERT and fastText embeddings for automatic detection of toxic speech. In: SIIE 2020-information systems and economic intelligence. (2020).
  15. Founta, A. M. et al.: A unified deep learning architecture for abuse detection. In: Proceedings of the 10th acm conference on web science. pp. 105–114. Association for Computing Machinery, New York, NY, USA (2019).
  16. Frank, E., Bouckaert, R.: Naive bayes for text classification with unbalanced classes. In: FĂŒrnkranz, J. et al. (eds.) Knowledge discovery in databases: PKDD 2006. pp. 503–510. Springer Berlin Heidelberg, Berlin, Heidelberg (2006).
  17. Gordeev, D.: Detecting state of aggression in sentences using cnn. In: International conference on speech and computer. pp. 240–245. Springer (2016).
  18. Indurthi, V. et al.: FERMI at SemEval-2019 task 5: Using sentence embeddings to identify hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 70–74. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  19. Koltsova, O. et al.: FINDING and analyzing judgements on ethnicity in the russian-language social media. AoIR Selected Papers of Internet Research. (2017).
  20. Kudo, T., Richardson, J.: SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In: Proceedings of the 2018 conference on empirical methods in natural language processing: System demonstrations. pp. 66–71. Association for Computational Linguistics, Brussels, Belgium (2018).
  21. Kumar, R. et al. eds: Proceedings of the first workshop on trolling, aggression and cyberbullying (TRAC-2018). Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018).
  22. Kuratov, Y., Arkhipov, M.: Adaptation of deep bidirectional multilingual transformers for Russian language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 333–340. RSUH, Moscow, Russia (2019).
  23. Lenhart, A. et al.: Online harassment, digital abuse, and cyberstalking in america. Data; Society Research Institute (2016).
  24. Liu, P. et al.: NULI at SemEval-2019 task 6: Transfer learning for offensive language detection using bidirectional transformers. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 87–91. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  25. Mikolov, T. et al.: Distributed representations of words and phrases and their compositionality. In: Proceedings of the 26th international conference on neural information processing systems—volume 2. pp. 3111–3119. Curran Associates Inc., Red Hook, NY, USA (2013).
  26. Mishra, P. et al.: Abusive language detection with graph convolutional networks. In: Proceedings of the 2019 conference of the north american chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 2145–2150 (2019).
  27. Mishra, S., Mishra, S.: 3Idiots at HASOC 2019: Fine-tuning transformer neural networks for hate speech identification in indo-european languages. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 208–213 (2019).
  28. Nikolov, A., Radivchev, V.: Nikolov-radivchev at SemEval-2019 task 6: Offensive tweet classification with BERT and ensembles. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 691–695. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  29. Panchenko, A. et al.: RUSSE’2018: A Shared Task on Word Sense Induction for the Russian Language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 547–564. RSUH, Moscow, Russia (2018).
  30. Paraschiv, A., Cercel, D.-C.: UPB at germeval-2019 task 2: BERT-based offensive language classification of german tweets. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 396–402 (2019).
  31. Peters, M. et al.: Deep contextualized word representations. In: Proceedings of the 2018 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long papers). pp. 2227–2237. Association for Computational Linguistics, New Orleans, Louisiana (2018).
  32. Ponomareva, M. et al.: Automated word stress detection in Russian. In: Proceedings of the first workshop on subword and character level models in NLP. pp. 31–35. Association for Computational Linguistics, Copenhagen, Denmark (2017).
  33. Potapova, R., Komalova, L.: Lexico-semantical indices of «deprivation–aggression» modality correlation in social network discourse. In: International conference on speech and computer. pp. 493–502. Springer (2017).
  34. Prabowo, F. A. et al.: Hierarchical multi-label classification to identify hate speech and abusive language on indonesian twitter. In: 2019 6th international conference on information technology, computer and electrical engineering (icitacee). pp. 1–5 (2019).
  35. Risch, J., Krestel, R.: Toxic comment detection in online discussions. In: Deep learning-based approaches for sentiment analysis. pp. 85–109. Springer (2020).
  36. Risch, J. et al.: HpiDEDIS at germeval 2019: Offensive language identification using a german bert model. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 403–408 (2019).
  37. Rubtsova, Y.: A method for development and analysis of short text corpus for the review classification task. Proceedings of conferences Digital Libraries: Advanced Methods and Technologies, Digital Collections (RCDL’2013). Pp. 269–275 (2013).
  38. Ruiter, D. et al.: LSV-uds at HASOC 2019: The problem of defining hate. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 263–270 (2019).
  39. Sambasivan, N. et al.: «They don’t leave us alone anywhere we go»: Gender and digital abuse in south asia. In: Proceedings of the 2019 chi conference on human factors in computing systems. Association for Computing Machinery, New York, NY, USA (2019).
  40. Sang-Bum Kim et al.: Some effective techniques for naive bayes text classification. IEEE Transactions on Knowledge and Data Engineering. 18, 11, 1457–1466 (2006).
  41. Shkapenko, T., Vertelova, I.: Hate speech markers in internet comments to translated articles from polish media. Political Linguistics. 70, 4, Pages 104–111 (2018).
  42. Strus, J. M. et al.: Overview of germeval task 2, 2019 shared task on the identification of offensive language. Presented at the (2019).
  43. Sun, C. et al.: How to fine-tune bert for text classification? In: Sun, M. et al. (eds.) Chinese computational linguistics. pp. 194–206. Springer International Publishing, Cham (2019).
  44. Ustalov, D., Igushkin, S.: Sense inventory alignment using lexical substitutions and crowdsourcing. In: 2016 international fruct conference on intelligence, social media and web (ismw fruct). (2016).
  45. Vaswani, A. et al.: Attention is all you need. In: Proceedings of the 31st international conference on neural information processing systems. pp. 6000–6010. Curran Associates Inc., Red Hook, NY, USA (2017).
  46. Wu, Y. et al.: Google’s neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144. (2016).
  47. Yang, F. et al.: Exploring deep multimodal fusion of text and photo for hate speech classification. In: Proceedings of the third workshop on abusive language online. pp. 11–18. Association for Computational Linguistics, Florence, Italy (2019).
  48. Yang, Y. et al.: Multilingual universal sentence encoder for semantic retrieval. CoRR. abs/1907.04307, (2019).
  49. Yang, Z. et al.: Hierarchical attention networks for document classification. In: Proceedings of the 2016 conference of the north American chapter of the association for computational linguistics: Human language technologies. pp. 1480–1489. pp. Association for Computational Linguistics, San Diego, California (2016).


More articles:


All Articles