Ein Beispiel für die Blickverfolgung für einen Teilnehmer ohne Müdigkeit (links) und mit geistiger Müdigkeit (rechts), wenn er ein Objekt auf einer Kreisbahn verfolgt.
Augenbewegungen werden von Fachleuten für Vision , Sprache und Benutzerfreundlichkeit umfassend untersuchtseit den 1970er Jahren. Über die Grundlagenforschung hinaus kann ein besseres Verständnis der Augenbewegung in einer Vielzahl von Anwendungen hilfreich sein, einschließlich Usability- und User Experience-Forschung, Spielen, Fahren und blickbasierten Interaktionen für die Zugänglichkeit der Gesundheit. Die Fortschritte waren jedoch begrenzt, da sich die meisten früheren Untersuchungen auf spezialisierte Hardware-Eye-Tracker konzentrierten, die teuer und schwer skalierbar waren.
In «Die beschleunigte Augenbewegungsforschung über ein erschwingliches und genaues Eye-Tracking eines Smartphones» , veröffentlicht in Nature Communications , und « The Digital, ein Biomarker für geistige Nichtermüdung », veröffentlicht in npj Digital Medicine führen wir präzises Smartphone-Eye-Tracking und maschinelles Lernen ein, das das Potenzial hat, neue App-Forschung in den Bereichen Vision, Zugänglichkeit, Gesundheit und Wellness freizuschalten und gleichzeitig die Skalierbarkeit für verschiedene Bevölkerungsgruppen auf der ganzen Welt zu ermöglichen Frontkamera auf Ihrem Smartphone. Wir diskutieren auch die mögliche Verwendung dieser Technologie als digitaler Biomarker für geistige Müdigkeit, die zur Verbesserung des Wohlbefindens nützlich sein kann.
Modellübersicht
Der Kern unseres Blickmodells war ein Feed-Forward- Multilayer- Faltungsnetzwerk (ConvNet), das auf dem MIT GazeCapture-Datensatz trainiert wurde . Der Gesichtserkennungsalgorithmus wählte einen Bereich des Gesichts mit entsprechenden Orientierungspunkten an den Augenwinkeln aus, die verwendet wurden, um Bilder nur auf den Bereich der Augen zuzuschneiden. Diese beschnittenen Rahmen wurden durch zwei identische ConvNet-Türme mit demselben Gewicht geführt. Auf jede Faltungsschicht folgte eine mittlere Verschmelzungsschicht . Die Landmarken an den Augenwinkeln wurden mit dem Ausgang der beiden Türme durch vollständig verbundene Schichten zusammengeführt. Gerade Lineareinheiten (ReLU) wurde für alle Schichten verwendet, mit Ausnahme des letzten vollständig verbundenen Ausgangspegels (FC6), der nicht aktiviert wurde.
Die Architektur des nicht personalisierten Blickmodells. Die aus dem Frontkamerabild extrahierten Augenbereiche dienen als Eingabe für das Faltungs-Neuronale Netzwerk. Vollständig verknüpfte (FC) Ebenen kombinieren die Ausgabe mit Orientierungspunkten an den Augenwinkeln, um die X- und Y-Koordinaten auf dem Bildschirm über die Ausgabeebene mit mehreren Regressionen auszugeben.
Die Genauigkeit des nicht personalisierten Blickmodells wurde durch Feinabstimmung und Personalisierung für jeden Teilnehmer verbessert. Für letztere wurde ein leichtes Regressionsmodell an die vorletzte Schicht des ReLU-Modells und Daten für einen bestimmten Teilnehmer angepasst.
Modellbewertung
Um das Modell zu bewerten, haben wir Daten von übereinstimmenden Studienteilnehmern gesammelt, als sie Punkte betrachteten, die an zufälligen Stellen auf einem leeren Bildschirm erschienen. Der Modellfehler wurde als Abstand (in cm) zwischen dem Ort des Stimulus und der Vorhersage des Modells berechnet. Die Ergebnisse zeigen, dass die Personalisierung mit ~ 30 Sekunden Kalibrierungsdaten zu einer mehr als vierfachen Fehlerreduzierung führte (von 1,92 cm auf 0,46 cm), obwohl das nicht personalisierte Modell eine hohe Fehlerquote aufweist. Bei einem Betrachtungsabstand von 25–40 cm entspricht dies einer Genauigkeit von 0,6–1 °, was eine signifikante Verbesserung gegenüber den in früheren Arbeiten angegebenen 2,4–3 ° darstellt [1, 2].
Zusätzliche Experimente zeigen, dass die Genauigkeit des Eye-Tracker-Modells des Smartphones mit der Genauigkeit moderner tragbarer Eye-Tracker vergleichbar ist, sowohl wenn das Telefon auf dem Geräteständer platziert wird als auch wenn Benutzer das Telefon fast vor sich frei in der Hand halten ihr Kopf. Im Gegensatz zu speziellen Eye-Tracking-Geräten mit mehreren Infrarotkameras in der Nähe jedes Auges ist die Einführung unseres Modells mit einer einzigen nach vorne gerichteten RGB-Kamera auf einem Smartphone wesentlich wirtschaftlicher (etwa 100-mal billiger) und skalierbarer.
Mithilfe dieser Smartphone-Technologie konnten wir wichtige Erkenntnisse aus früheren Augenbewegungsforschungen in den Neurowissenschaften und der Psychologie replizieren, einschließlich Standardaufgaben für den Augenmotor (zum Verständnis grundlegender visueller Gehirnfunktionen) und des natürlichen Verständnisses von Bildern. Beispielsweise haben wir bei einem einfachen Prosaccadenproblem , bei dem die Fähigkeit einer Person getestet wird, ihre Augen schnell in Richtung eines auf dem Bildschirm angezeigten Stimulus zu bewegen, festgestellt, dass die durchschnittliche Sakkadenverzögerung (Zeit zum Bewegen der Augen) mit früheren Arbeiten übereinstimmt .für die grundlegende Augengesundheit (210 ms gegenüber 200-250 ms). Bei geführten visuellen Suchaufgaben konnten wir wichtige Ergebnisse wie die Auswirkungen der Zielsichtbarkeit und der Unordnung auf die Augenbewegungen reproduzieren.
Beispiele für Blick-Scan-Trajektorien zeigen die Auswirkung der Zielsichtbarkeit (dh des Farbkontrasts) auf die Effektivität der visuellen Suche. Es sind weniger Fixierungen erforderlich, um ein Ziel mit hoher Signatur (links) (außer Distraktoren) zu finden, während mehr Fixierungen erforderlich sind, um ein Ziel mit niedriger Signatur (rechts) zu finden (ähnlich wie bei Distraktoren).
Bei komplexen Reizen wie natürlichen Bildern stellten wir fest, dass die Blickverteilung (berechnet durch Aggregation der Blickpositionen über alle Teilnehmer) unseres Smartphone-Eye-Trackers ähnlich der von sperrigen, teuren Eye-Trackern war, die streng kontrollierte Einstellungen wie Laborfokussysteme verwendeten für das Kinn. Obwohl Blick-Heatmaps auf einem Smartphone weiter verbreitet sind (dh "verschwommener" erscheinen) als Hardware-Eye-Tracker, sind sie sowohl auf Pixelebene (r = 0,74) als auch auf Objektebene (r = 0, 90) stark korreliert. . Diese Ergebnisse legen nahe, dass diese Technologie verwendet werden kann, um die Blickanalyse für komplexe Stimuli wie natürliche und medizinische Bildgebung zu skalieren (z. B. Radiologen überprüfen MRT / PET-Scans).
Thermische Blickkarte bei Verwendung unseres Smartphones im Vergleich zum teureren (100x) Eyetracker ( OSIE-Datensatz )
Wir haben festgestellt, dass ein Smartphone auch dazu beitragen kann, Leseverständnisschwierigkeiten zu erkennen. Teilnehmer, die Passagen lesen, haben wesentlich mehr Zeit damit verbracht, nach relevanten Passagen zu suchen, wenn sie richtig geantwortet haben. Mit zunehmender Schwierigkeit des Verstehens verbrachten sie jedoch mehr Zeit damit, irrelevante Passagen im Text zu studieren, bevor sie eine geeignete Passage mit der Antwort fanden. Der Anteil der Blickzeit, der an der betreffenden Passage verbracht wurde, war ein guter Indikator für das Verständnis und korrelierte stark negativ mit der Schwierigkeit des Verstehens (r = -0,72).
Digitaler Biomarker für geistige Müdigkeit
Die Blickerkennung ist ein wichtiges Instrument zur Bestimmung der Wachsamkeit und des Gesundheitszustands und wird in der Medizin, in der Schlafforschung und bei kritischen Zuständen wie medizinischen Operationen, Flugsicherheit usw. umfassend untersucht. Bestehende Ermüdungstests sind jedoch subjektiv und erfordern oft Zeit. In unserem kürzlich in npj Digital Medicine veröffentlichten Artikel haben wir gezeigt, dass der Blick auf Smartphones aufgrund von geistiger Müdigkeit erheblich beeinträchtigt ist und verwendet werden kann, um den Beginn und das Fortschreiten von Müdigkeit zu verfolgen.
Ein einfaches Modell sagt die geistige Erschöpfung zuverlässig voraus, indem Blickdaten von Teilnehmern einer Aufgabe in nur wenigen Minuten verwendet werden. Wir haben diese Ergebnisse in zwei verschiedenen Experimenten validiert, einer sprachunabhängigen Objektverfolgungsaufgabe und einer sprachabhängigen Validierungsaufgabe. Wie unten gezeigt, folgt der Blick der Teilnehmer bei der Verfolgung eines Objekts zunächst der Kreisbahn des Objekts. Wenn sie jedoch müde sind, zeigt ihr Blick große Fehler und Abweichungen. Angesichts der Allgegenwart von Telefonen deuten diese Ergebnisse darauf hin, dass das Betrachten eines Smartphones als skalierbarer digitaler Biomarker für geistige Müdigkeit dienen kann.
Ein Beispiel für die Blickverfolgung für einen Teilnehmer ohne Müdigkeit (links) und mit geistiger Müdigkeit (rechts), wenn er ein Objekt auf einer Kreisbahn verfolgt.
Entsprechender Verlauf von Ermüdungsschätzungen (Vertrauen) und Modellvorhersage als Funktion der Aufgabenausführungszeit.
Das Betrachten eines Smartphones kann nicht nur ein gutes Gefühl vermitteln, sondern auch einen digitalen Phänotyp für das Screening oder die Überwachung von Gesundheitszuständen wie Autismus-Spektrum-Störungen , Legasthenie , Gehirnerschütterungen usw. liefern . Dies könnte eine rechtzeitige und frühzeitige Intervention ermöglichen, insbesondere für Länder mit eingeschränktem Zugang zu Gesundheitsdiensten.
Ein weiterer Bereich, der von großem Nutzen sein kann, ist die Zugänglichkeit. Bei Menschen mit Erkrankungen wie ALS , Locked-In-Person-Syndromund Schlaganfall, Sprache und motorische Fähigkeiten sind beeinträchtigt. Das Betrachten eines Smartphones kann eine leistungsstarke Möglichkeit bieten, alltägliche Aufgaben zu vereinfachen, indem der Blick zur Interaktion verwendet wird, wie kürzlich mit Look to Speak demonstriert wurde .
Ethische Überlegungen
Augenforschung erfordert sorgfältige Überlegungen, einschließlich des korrekten Einsatzes dieser Technologie. Anwendungen müssen die vollständige Genehmigung und die vollständig informierte Zustimmung der Benutzer erhalten, um eine bestimmte Aufgabe ausführen zu können. In unserer Arbeit wurden alle Daten zu Forschungszwecken mit der vollständigen Zustimmung und Zustimmung der Benutzer gesammelt. Darüber hinaus konnten sich Benutzer jederzeit abmelden und die Löschung ihrer Daten beantragen. Wir suchen weiterhin nach weiteren Möglichkeiten, um maschinelles Lernen fair zu gestalten und die Genauigkeit und Zuverlässigkeit der Blicktechnologie in demografischer Hinsicht auf verantwortungsvolle und vertrauliche Weise zu verbessern.
Fazit
Unsere Ergebnisse für eine genaue und kostengünstige, auf maschinellem Lernen basierende Augenverfolgung auf Smartphones eröffnen das Potenzial für groß angelegte Studien der Augenbewegung in verschiedenen Bereichen (z. B. Neurowissenschaften, Psychologie und Mensch-Computer-Interaktion). Sie eröffnen potenzielle neue Anwendungen für das Gemeinwohl, wie die Interaktion von Auge zu Auge für die Barrierefreiheit und auf Smartphones basierende Screening- und Überwachungstools für Wohlbefinden und Gesundheit.
Danksagung
-, . , : , , , ; , , ; , ; UXR: , . , .