In diesem Artikel werden wir Sie ausführlich über unser neues Produkt informieren. Der Plan ist folgender:
- warum Sie einen medizinischen Sprachassistenten benötigen;
- Hauptanwendungsfälle;
- Aus welchen Komponenten besteht die Lösung?
- wie Aufgaben verarbeitet und zugewiesen werden.
Wie IHL funktioniert
Warum Sie einen Medical Voice Assistant (IHP) benötigen
IHL hat zwei Hauptziele.
- . , : , ( ) , , .
- . , , . / , .
Hier werden grundlegende Szenarien für die Verwendung eines Sprachassistenten betrachtet, die für fast jedes Krankenhaus geeignet sind. Natürlich kann es noch viel mehr Möglichkeiten geben - alles hängt von den Bedürfnissen einer bestimmten Klinik ab.
Arzt / Krankenschwester anrufen . Geeignet für Fälle, in denen der Patient die Hilfe des medizinischen Personals benötigt. Sobald der Patient ein Schlüsselwort ausspricht - zum Beispiel "Schmerzmittel", "schmerzhaft", "Injektion benötigen" - ordnet das System die Aufgabe der erforderlichen Gruppe von Spezialisten zu und legt die Frist für die Entscheidung fest.
Automatische Abfrageausführung... Der Patient bittet um Hilfeinformationen, die sich bereits in der Wissensdatenbank befinden - beispielsweise nach dem Zeitplan der Cafeteria. IHL findet den relevanten Artikel anhand von Stichwörtern und teilt ihn dem Patienten mit. Der Patient ist glücklich, ebenso wie die Krankenschwestern: Sie können wichtigere Aufgaben erledigen.
Zweiwege-Kommunikation . Es wird verwendet, wenn der Patient eine fachliche Beratung benötigt - zum Beispiel, wenn Sie Ihren Arzt nach Einzelheiten zur Dosierung und zum Zeitplan für die Einnahme eines neuen Arzneimittels fragen müssen.
Komponenten von IHL
Der medizinische Sprachassistent kann eine Vielzahl von Aufgaben lösen, von den einfachsten bis zu den komplexesten. Die Vielseitigkeit ist jedoch mit einer einfachen Implementierung verbunden. Auf Komponentenebene handelt es sich um eine eher minimalistische Software- und Hardwarelösung - darauf haben wir bewusst abgezielt.
IHL enthält 4 Grundmodule.
- Patiententerminal. Es besteht aus einem Mikrofon zum Empfangen von Ton, Lautsprechern zum Wiedergeben von Nachrichten vom System (und von Ärzten) und einem Mikrocomputer, der Patienteninformationen verarbeitet und mit anderen Komponenten interagiert.
- Spracherkennungs- und Synthesesystem. Das System kann in der Cloud verwendet oder lokal installiert werden.
- System der Abrechnung und Bearbeitung von Anfragen. Die Webanwendung, in der das medizinische Personal arbeitet. Implementiert auf Basis der ESM-Plattform zur Automatisierung von Geschäftsprozessen SimpleOne .
- Terminals für Ärzte und Krankenschwestern. Tablets oder PCs, die über WLAN oder LAN mit dem Buchhaltungs- und Verarbeitungssystem verbunden sind.
Sprachanfragen verarbeiten
Das Terminal in der Station fungiert als Kommunikationszentrum zwischen dem Patienten, dem Spracherkennungs- und Synthesesystem (SRS) und dem Buchhaltungs- und Anforderungsverarbeitungssystem (CPS).
Im Allgemeinen sieht der Anforderungsverarbeitungsprozess folgendermaßen aus:
- Das Terminal wartet ständig auf ein Schlüsselwort.
- Wenn ein Schlüsselwort gesprochen wird, zeichnet das Terminal ein kurzes Audio auf (4–5 s).
- Audio wird an den CPC gesendet;
- Das Terminal sendet eine Antwort vom CPC an das Steuerungssystem.
- Das Terminal teilt dem Patienten die Informationen in Abhängigkeit von der voreingestellten CPS-Logik (Vorlage) mit.
Der Screenshot zeigt ein Beispiel für die Verarbeitung einer Anfrage mit einer Röntgenaufnahme.
Für eine bequemere Interaktion gibt IHL zusätzlich zu den Standardantworten „Ihre Anfrage wurde angenommen, warten Sie auf Hilfe“ spezielle Signale wieder - zum Beispiel zu Beginn und Ende der Nachrichtenaufzeichnung des Patienten.
Zuweisen von Aufgaben basierend auf Vorlagen
Im System können Sie eindeutige Abfragevorlagen konfigurieren, denen jeweils Aktivierungsbedingungen zugewiesen werden können - die erforderlichen Schlüsselwörter. Sobald der Client das in der Vorlage vorgeschriebene Schlüsselwort ausspricht, aktiviert das System die Anforderung und weist die Aufgabe einer bestimmten Gruppe von Spezialisten zu oder kündigt beispielsweise die erforderlichen Informationen aus der Wissensdatenbank an.
Das System verfügt über eine Tabelle "Nachrichten", in der alle vom Patienten ausgesprochenen Sätze gespeichert sind. Das System überwacht die Tabelle der eingehenden Nachrichten und erstellt eine Abfrage, wenn die Nachricht der Vorlagenbedingung entspricht.
Beispiel
Wählen Sie für die Anforderungsvorlage "Schmerzmittel für einen Patienten" das Schlüsselwort "schmerzhaft" aus. Wir weisen der Anfrage eine hohe Priorität zu, wählen die Methode „Pflegepersonal“ und verbinden die erforderliche Gruppe von Darstellern - Krankenschwestern. Wenn der Patient nun sagt, dass es weh tut, weist IHL die Aufgabe automatisch der Gruppe Krankenschwestern zu. Gruppenmitglieder erhalten eine Benachrichtigung, dass die Aufgabe zugewiesen wurde. Die Nachricht des Patienten wird im Feld "Beschreibung" der Anfrage angezeigt.
Ansicht der Anforderungsvorlage
Parallel dazu wird die Aufgabe im SLA-Zähler (Response Time Control) festgelegt. In unserem Beispiel haben wir 10 Minuten Zeit, um das Problem zu lösen. Wenn der Spezialist die Frist nicht einhält, wird das Problem an den übergeordneten Arzt oder die Gruppe weitergeleitet (Eskalationsszenarien können ebenfalls konfiguriert werden).
SLA-Zähler
Im System kann eine unbegrenzte Anzahl von Anforderungsvorlagen erstellt werden. Dies kann von Mitarbeitern mit Administratorrechten durchgeführt werden.
Abfragevorlagen
Warum wir uns für Pocketsphinx, Python und SQLite3 entschieden haben
In der Prototyplösung verwendeten wir einen Mikrocomputer der Raspberry Pi-Familie und das Raspbian GNU / Linux-Basisbetriebssystem. Terminal ist eine einfache Anwendung, die in Python unter Verwendung von REST-Anforderungen an Hilfssysteme und die Pocketsphinx-Bibliothek (LiveSpeech) geschrieben wurde.
Die Pocketsphinx-Bibliothek ist gut, da sie dazu beiträgt, die Leistung der ersten Antwort zu verbessern - die Suche nach einem Schlüsselwort. Das Spracherkennungs- und -synthesesystem verwendet komplexe Mechanismen und Wörterbücher zur Erkennung. Grob gesagt beschleunigt Pocketsphinx den Keyword-Erkennungsprozess, um negative Kundenerlebnisse zu vermeiden. Pocketsphinx ist auch einfach zu konfigurieren und kann in verschiedenen Modi arbeiten.
Die Verwendung von Python und Pocketsphinx erweitert die Funktionalität des Terminals erheblich. Um zu verhindern, dass sich Patienten langweilen, können Spiele zu IHL hinzugefügt werden. Im Prototyp haben wir zum Beispiel ein einfaches Spiel "Städte" implementiert.
Die Standard-REST-API wird zur Integration von CDS und KMS verwendet.
Unten finden Sie ein Beispiel für eine CPS-Adresse (wir senden eine POST-Nachricht an das CPS, analysieren die Antwort usw. in einem Kreis):
url = 'https://user:pass@mva.simpleone.ru/rest/v1/table/mva_itguild_inquiry'
payload = {«description»: text, «subject»: «mva_inquiry»}
header = {'Accept': 'application/json;charset=UTF-8','Content-Type': 'application/json;charset=UTF-8'}
response = requests.post(url,data=json.dumps(payload), headers=header)
i_json = response.json()
Die kontinuierliche Sprachsynthese mit CPC ist kein schneller Prozess, da sie sehr umfangreich ist: Autorisierung, Anforderung, Verarbeitung. Um dies zu beschleunigen, wird eine lokale SQLite3-Datenbank verwendet, um zuvor generierte Patientenantworten zu speichern. Diese Lösung eignet sich gut für die Bearbeitung von Anfragen mit einem konstanten Szenario - zum Beispiel, wenn Informationen über den Standort von Arztpraxen und Behandlungsräumen, den Zeitplan der Kantine, abgegeben werden.
Ein weiterer wichtiger Punkt ist die Protokollierung. Ohne sie ist es unmöglich, an Verbesserungen und Fehlerkorrekturen zu arbeiten. Daher implementiert das Terminal die Protokollierung sowohl des allgemeinen Betriebsprozesses aller benachbarten Systeme als auch einzelner Komponenten.
Was ist das Ergebnis
Bei der Zuweisung von Aufgaben an medizinisches Personal mithilfe der Sprachsteuerung geht es nicht nur um Komfort (für Ärzte und Patienten), sondern auch um die Möglichkeit einer ernsthaften Optimierung der Arbeitsprozesse in Krankenhäusern. Je mehr Möglichkeiten Krankenhäuser haben, ihre Pflegekräfte komfortabler und produktiver zu gestalten, desto besser wird letztendlich die Qualität der Patientenversorgung sein.
Wir wollten eine wirklich nützliche, multifunktionale Lösung für Krankenhäuser schaffen und dabei ein Minimum an vorgefertigten Diensten nutzen. Aber vielleicht ist der Hauptvorteil von IHL seine Vielseitigkeit. Der Sprachassistent kann schnell in einem Krankenhaus jeder Größe und jedes Profils eingesetzt werden. Sie können die Software "on the fly" optimieren, indem Sie die Aufgaben einer bestimmten medizinischen Einrichtung und sich schnell ändernde Bedingungen berücksichtigen.