Golos - der größte von Hand markierte russischsprachige Sprachdatensatz, der jetzt gemeinfrei ist

Mein Name ist Sasha, bei SberDevices arbeite ich an der Spracherkennung und wie Daten sie verbessern können. In diesem Artikel werde ich über den neuen Golos-Sprachdatensatz sprechen, der aus Audiodateien und entsprechenden Transkriptionen besteht. Die Gesamtdauer der Aufnahmen beträgt ca. 1240 Stunden, die Abtastrate beträgt 16 kHz. Im Moment ist dies das größte Korpus von Audioaufnahmen in russischer Sprache, die von Hand markiert wurden. Wir haben den Korpus unter einer Lizenz in der Nähe von CC Attribution ShareAlike veröffentlicht , die es ermöglicht, ihn sowohl für wissenschaftliche Forschung als auch für kommerzielle Zwecke zu verwenden. Ich werde darüber sprechen, woraus der Datensatz besteht, wie er zusammengestellt wurde und welche Ergebnisse er erzielen kann.

Golos-Datensatzstruktur

Bei der Erstellung des Datensatzes wurden wir von dem Wunsch geleitet, das Kaltstartproblem zu lösen, wenn Daten von echten Benutzern noch nicht verfügbar waren. Dies hat es letztendlich möglich gemacht, es öffentlich zugänglich zu machen, da die Sprache der echten Benutzer nicht da ist.



Die Audioaufnahmen im Datensatz stammen aus zwei Quellen. Die erste Quelle ist eine Crowdsourcing-Plattform, weshalb wir sie Crowd Domain nennen. Die zweite Quelle sind Aufnahmen, die im Studio mit dem SberPortal-Zielgerät erstellt wurden. Es verfügt über ein spezielles Mikrofonsystem, und dies ist eines der Geräte, auf denen unsere Spracherkennung funktionieren sollte.



Wir nennen diese Quelle Farfield-Domain, da die Entfernung vom Benutzer zum Gerät normalerweise recht groß ist. Für die Aufnahme über SberPortal im Studio haben wir drei Entfernungen verwendet: 1, 3 und 5 Meter vom Benutzer zum Gerät. Jede Domäne hat einen Trainings- und Testteil, die resultierende Struktur ist in der Tabelle gezeigt:



Der Datensatz enthält keine persönlichen Informationen wie Alter, Geschlecht oder Benutzer-ID - alles ist unpersönlich. Die Trainings- und Testteile können die Sprache desselben Benutzers enthalten.



Die obige Tabelle enthält einige statistische Informationen zu den Einträgen: Mittelwert, Standardabweichung und Perzentile. Zur Verdeutlichung zeigt die Abbildung zwei Histogramme der Verteilung der Datensatzlängen:



Für Experimente mit einer begrenzten Anzahl von Datensätzen haben wir Teilmengen mit kürzerer Länge identifiziert: 100 Stunden, 10 Stunden, 1 Stunde, 10 Minuten.

Datensammlung

Bei SberDevices entwickeln wir die Salute-Familie virtueller Assistenten, sodass wir eine Sprache generieren, die den Benutzeranfragen für einen Assistenten ähnelt. Wir haben ein Vorlagensystem erstellt, um Anfragen in verschiedenen Bereichen zu beschreiben - Musik, Filme, Bestellung von Produkten und andere. Sie sind Ausdrücke, die die Struktur einer Anforderung beschreiben und in Komponenten zerlegen. Mithilfe von Vorlagen können wir sinnvolle Abfragen generieren, das akustische Modell neu trainieren, ein Sprachmodell erstellen, das auf diesen Abfragen basiert, und vieles mehr.



Beispielvorlagen:



In eckigen Klammern - die Bezeichnung der entsprechenden Entität. Weiter in der Tabelle für zwei Entitäten "film_title_ip" und "film_title_vp" gibt es mögliche Optionen zum Ausfüllen:



Das Erstellen eines mit Tags versehenen Audiodatensatzes besteht aus mehreren Schritten:

• Schritt 1. Zuerst erstellen wir Vorlagen für eine bestimmte Domain.
• 2. - . , : 
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
• 3. «» :
  
  
  
  
  
  
  
  
  
  
• 4. – , , . – . 80% Golos. , “”, , . , , .
  
  
• 4*. - , , , , , , . , . , , , , , . , .
  
  
  
  
• 5*. , . , . , , , . , , , . , , , . , . :
  
  
  
  
  
  :
  
  
  
  
  
  , . .
  
  
  
  
  
  
  
  , ,  , . 
  
  
  
  - 5 . 3 ,  .
  
  . -, , . -, . , .
  
  
  
  , , “” – , “” - . , , , ( ) . bias , , . , . , .

Der beschriebene Prozess zum Erstellen eines Datasets ermöglicht es Ihnen, Markups so hochwertig wie möglich zu gestalten, wodurch sie sich von anderen unterscheiden, die automatisch oder halbautomatisch erstellt wurden. Wir verwenden diese Daten, um ein Spracherkennungssystem in unseren Geräten zu erstellen. Aufgrund der hohen Qualität der Markierungen ist die Genauigkeit des resultierenden Systems mit der eines Menschen vergleichbar. Alle Daten sowie trainierte Akustik- und Sprachmodelle für die Spracherkennung sind auf der GitHub- Seite des Projekts sowie in ML Space von Sbercloud verfügbar , einem Dienst zum Trainieren von Modellen für maschinelles Lernen, bei dem unser Datensatz nahtlos direkt in die Benutzeroberfläche heruntergeladen werden kann . Im nächsten Artikel erfahren Sie mehr über die Verwendung von ML Space und wie wir damit Spracherkennungsmodelle vermittelt haben. 



Derzeit gibt es viele offene Daten auf Englisch, aber es gab keinen so hochwertigen russischsprachigen Datensatz. Jetzt ist auch ein Korpus in russischer Sprache erhältlich, der zur Spracherkennung und -synthese verwendet werden kann, und das darauf trainierte Modell weist eine sehr hohe Qualität auf. Wir glauben, dass der Golos-Datensatz es der russischen Wissenschaft ermöglichen wird, die russischsprachigen Sprachtechnologien noch schneller zu verbessern.