Erinnern wir uns, wer ich bin?
Hallo habr. Ich bin Ivan Bakaidov . Vor vielen Jahren schrieb ich über mein Schulprojekt ein Programm, mit dem Menschen mit schweren körperlichen Behinderungen mit einem Knopfdruck tippen können. Hier ist dieser Artikel .
Seit diesem Moment hat sich viel geändert, das Mädchen, für das ich dieses Programm geschrieben habe, ist gestorben , das Projekt wurde als LINKa bekannt. Ich habe viele Programme für andere Formen der motorischen Beeinträchtigung durchgeführt. Mir wurde klar, dass ich die Welle der Freiwilligen verloren habe, die während des letzten Habrohyps entstanden ist, da Open Source-Projekte gepflegt werden müssen.
Aber ich habe das Thema der Entwicklung von Kommunikationsprogrammen nicht verlassen. Und mit dem Geld aus dem "Dudya-Stipendium" entwickelte er einen neuen Kommunikator, mit dem Sie Karten mit einem Blick auswählen können. Und ich brauche Hilfe beim Hinzufügen einiger Funktionen. Stapel: C #, WPF.
Mit einem Blick? o_O! Wie ist es? Zuckt dein Kopf?
Eigentlich haben sie mir lange Zeit in den Kommentaren von Habr über die Technologie der Augenverfolgung geschrieben, und ich habe diese Kommentare übersprungen, weil ich dachte, dass es teuer ist und mit einem Kopfschütteln nicht funktionieren könnte. Ich habe mich geirrt!
Seit 2016 entwickelt Tobii (auch bekannt als Apple aus der Welt des Eye-Tracking) kostengünstige Geräte für den Spielermarkt. Diese Geräte sind zehnmal billiger als Geräte für „behinderte Menschen“ (Gesetz über spezielle Geräteaufkleber). In ein paar Jahren kamen sie zu dem hervorragenden Tobii 4c- Modell , das in einem normalen Elektronik-Hypermarkt gekauft und an USB 2.0 angeschlossen werden kann.
Einer der Fonds warf mir dieses Gerät mit den Worten "Try it, guy". Ich stellte es mit den Worten "Eytracking und Zerebralparese - es wird nicht funktionieren, dann werde ich es irgendwie sehen." Es funktioniert immer noch nur mit Windows, aber ich habe einen Mac. Aber Stiftungen sind so großartige Organisationen, dass sie Berichte verlangen.
Bootcamp, einrichten, einrichten und erkennen, dass diese Generation von Eye-Trackern gelernt hat, die Position des Kopfes und daraus die Position der Augen zu verfolgen. Bei einer sehr hohen Frequenz. Und alles funktioniert, schütteln Sie den Kopf so oft Sie möchten.
Die Hauptsoftware für diesen Tracker ist das Spielen. Im Dock können Sie 2 Feinde mit Ihren Augen markieren. Alle integrierten Demos zeigen Spielerfunktionen. Es gibt jedoch eine offene API für die Arbeit in Programmen von Drittanbietern.
Es besteht die Möglichkeit, augengeführte Schnittstellen zu erstellen. Diese Schnittstellen sind äußerst einfach: Sie bestehen aus einem Raster von Schaltflächen. Wenn Sie den Blick auf die Schaltfläche richten, tritt ein Klick auf. Und hier haben sich schon viele ausgezeichnet. Windows 10 selbst verfügt über einen integrierten Tastatur- und Mausemulator für den Eye-Tracker (Richtig, die Lokalisierung enthält keine Buchstaben „X“ und „B“. Fragen Sie nicht einmal nach Brot!).
Auf keinen Fall!
Es gibt eine ziemlich vernünftige Tastatur BB2K , darüber habe ich im Entwickler Habré geschrieben. Ich persönlich mag Optikey sehr , es ist eine gut lokalisierte Tastatur eines britischen Entwicklers. Hat mehrere Optionen, einschließlich Piktogramme für nicht schreibende Kinder.
Wenn Sie bereits einen Optiker haben, warum schreiben Sie dann Ihren eigenen?
Dies ist eine natürliche Frage. Wie Sie sich aus früheren Artikeln erinnern, ist es für Spezialisten, die mit Personen aus der Sprache arbeiten, sehr wichtig, den von der Gemeinde ausgewählten Inhalt selbst erstellen zu können und nicht mit einem vorgefertigten Stein zu arbeiten, in den selbst sehr gute Karten eingenäht sind. Dies liegt an der Tatsache, dass Menschen ohne Sprache oft nur das Schreiben beigebracht werden müssen oder einfach verstehen müssen, dass die Zeichnung eines Bechers genau die Tasse in der Küche bezeichnet, aus der er getrunken wird. Im selben Optiker müssen Sie über PowerPoint einen Kartensatz erstellen .
Deshalb basierte Link auf der Idee, dass ich während des Studiums an einer Schule für Kinder mit Behinderungen gut gelernt habe - „Alles sollte anpassbar sein“. Basierend auf der Idee ergab sich eine sehr einfache Aufgabe: Erstellen Sie ein Kartenraster, aus dem Karten mit den Augen ausgewählt werden können. Gleichzeitig sollten die Auswahlmethode, die Karten und das Raster leicht anzupassen sein. Ich habe das alles im TOR formalisiert und einen C # -Programmierer gefunden, der WPF versteht (besser als ich). Zu dieser Zeit überwies Yura Dud auch Geld und im Allgemeinen funktionierte alles.
Was ist am Ende passiert?
Das Ergebnis ist ein Programm, das einen Kartensatz aus einer .linka-Datei in einem Raster anzeigt und es Ihnen ermöglicht, diese auszuwählen mit: Tobii Eye Tracker, Maus, Tastatur und Spiel-Joystick. Es gibt auch einen Modus, in dem die Auswahl einer Karte mit einem Blick und die Bestätigung mit einem Knopf erfolgt.
Das Programm enthält einen Editor für .linka-Dateien.
→ Sie können es hier kostenlos herunterladen: linka.su/looks
Was muss also getan werden?
Trotz der Einfachheit und Kürze des Programms hoffe ich, dass seine Flexibilität dazu beitragen wird, die Kommunikation in einer Vielzahl von Fällen herzustellen.
Ich habe ein paar kleine Ideen, die ich gerne umsetzen würde, und ich würde mich sehr freuen, wenn Sie mir dabei helfen könnten. Diese Aufgaben werden in dieser Ausgabe beschrieben , aber ich werde einige davon hierher bringen und erklären, was ich meine.
- , .
API Yandex TTS. , . . . , , , . , . . - Erstellen Sie ein System zur Auswahl von Karten mit einer Taste.
Trotz der Magie des Eyetrackers traf ich Kameraden, mit denen es nicht funktionierte. Und ich möchte hinzufügen, um für sie den Algorithmus zum Auswählen einer Karte mit einer Schaltfläche aus dem guten alten Link zu übertragen, klicken Sie (und hören Sie auf, letzteren zu unterstützen). - Ermöglichen Sie das Drucken in Programmen von Drittanbietern.
- Lokalisierung in die Sprachen der GUS-Staaten.
Ich würde mich auch freuen, wenn Sie einfach das Programm testen und Ihre Ideen schreiben.
→ GitHub
→ Patreon
Danke!