Dies ist eine der vielen Verwendungsmöglichkeiten für ausdrucksstarke Pixel . Die Windows 10-Entwicklungsplattform, mit der Sie animierte Renderings erstellen können, ist jetzt kostenlos im Microsoft Store verfügbar. Zusätzlich zur Anwendung verfügt es über eine Reihe von Software, mit der Sie LED-Anzeigen für die Kommunikation mit visuellen Effekten oder Emoji verwenden können.
All dies erweitert die Möglichkeiten für nonverbale Kommunikation, eröffnet Entwicklern neue Möglichkeiten zur kreativen Nutzung über die Open-Source-API und senkt die Eintrittsbarriere für angehende Programmierer, Designer und Forscher.
Expressive Pixel dienen auch als Sprungbrett für Hobbyisten oder erfahrene Programmierer, sodass sie neue Kreationen erstellen können, ohne herausfinden zu müssen, wie Animationen und Bilder auf kleinen Geräten programmiert werden müssen - dafür gibt es eine spezielle Bibliothek.
Unabhängig davon, wo Sie arbeiten, studieren oder Kontakte knüpfen, bietet Expressive Pixels eine animierte Möglichkeit, Ihren Raum zu personalisieren und Ihre Präsenz zu verstärken, genau wie Bilder, Souvenirs und verschiedene Schnickschnack.
„Wir achten sehr auf grundlegende Alltagsfunktionen, aber wenn Sie darüber nachdenken, was uns menschlich macht, sind es Emotionen. Wir möchten unsere Emotionen ausdrücken und miteinander in Kontakt bleiben “, sagte Bernice Yu, General Manager, Strategie und Projekte bei Microsoft Small, Medium & Corporate Business. Sie ist Teil des Expressive Pixels-Projektteams und hat viel zur Veröffentlichung von Eyes First im Jahr 2019 beigetragen , das Windows 10 Eye Control verwendet , eine wichtige Barrierefreiheitsfunktion für Menschen mit Seh- und Mobilitätsstörungen. „Es ist großartig, produktiv zu sein, aber wir alle wollen menschlich sein. Dies ist ein unantastbares Bedürfnis. "
Expressive Pixels baut auf jahrelanger intensiver und fruchtbarer Zusammenarbeit zwischen Microsoft und der Enable Group auf und Menschen mit schwerer Sehbehinderung und Mobilität. Der Zweck dieser Arbeit ist es, zu versuchen, die Vorlieben solcher Menschen, ihre Bedürfnisse und Probleme, die sich aus der Kommunikation und Interaktion mit anderen Menschen ergeben, in der kreativen Selbstdarstellung und Selbstidentifikation zu verstehen und die Fähigkeiten traditioneller Augmentative and Alternate Communication (AAC) -Geräte mit neuen zu erweitern Funktionen für nonverbale Kommunikation, Selbstdarstellung, Ausstrahlung sozialer Signale und Gerätestatus.
Beispiele für ausdrucksstarke Pixel
Kommunikation ist nicht nur das, was Sie schreiben und sagen. Vieles davon ist ein nonverbaler Prozess, bei dem Sie wissen, wann Sie an der Reihe sind, zu sprechen.
Harish Kulkarni
„Die Lösung kann für schwerwiegende Fälle oder als unterhaltsame kreative Möglichkeit verwendet werden, etwas über sich selbst zu erzählen“, sagt Harish Kulkarni, technischer Manager des AI-Frameworks-Teams in der Cloud sowie der Microsoft Cloud- und AI-Gruppe. Er ist seit mehreren Jahren Mitglied des Enable-Teams und hat viel getan, um Eye Control in Windows 10 zu integrieren. Dabei
hat das Team die unerwartetsten Innovationen angenommen und Hindernisse mit neuen Ideen überwunden, die von den Vorteilen inspiriert sind, die Technologie für Menschen bringen kann.
Als die Entwickler erkannten, dass sie einen Formfaktor benötigten, der von überall im Raum und bei jeder Beleuchtung leicht zu erkennen war, wandten sie sich an benutzerfreundliche LED-Anzeigen von Drittherstellern wie Sparkfun, Adafruit und Silicon Squared Displays. sind kundenspezifische All-in-One-Geräte zur Lösung von Auflösungs-, Kommunikations-, Speicher- und Animationsproblemen (alleiniger Ingenieur des Expressive Pixels-Teams, Gavin Jahnke). Expressive Pixel können jedoch ohne LED-Anzeige oder anderes Gerät verwendet werden, indem einfach animierte GIFs in E-Mails eingefügt werden.
Dann trat ein weiteres Problem auf: die Entwicklung einer Software, die es einfacher macht, Animationen auf Displays anzuzeigen. Wieder einmal nahm Jahnke die Herausforderung an und erstellte eine Firmware, die zusammen mit einer Entwicklungsanwendung eine Plattform bildet, die auf mehreren Geräten ausgeführt werden kann. Mit dieser Firmware können Hersteller bestimmte Aspekte nutzen oder erweitern. Ersteller können ihre Originalanimationen in der Cloud-Galerie der App freigeben.
Jahnke war maßgeblich an der Entwicklung dieser Schlüsselelemente von Expressive Pixels beteiligt - alles in seiner Freizeit außerhalb des Hauptberufs.
Silicon Squared Display: Prototypen und Display Evolution
Die erste Version des Geräts war eine einfache Anzeige von 16 Pixeln, die in einem Kreis angeordnet waren. Für diesen Prototyp wurde ein Cutter verwendet - kreisförmige Stücke aus durchscheinendem Material wurden ausgeschnitten, die die Displays bedeckten, um das helle Licht von den LEDs zu streuen.
"Wenn ich etwas mache, mache ich normalerweise ein königliches Gericht daraus", scherzt Jahnke, General Manager für Entwicklung bei Microsoft Research. Aber er wird ernst und fügt hinzu: "Meine Berufung ist es, den Bevölkerungsgruppen und Gemeinden zu helfen, die nicht den richtigen Service erhalten, ihnen das zu geben, was ihnen aufgrund ihrer technischen Fähigkeiten nicht zur Verfügung steht, was aber innerhalb meiner technischen Fähigkeiten liegt."
Jahnke ist ein Alleskönner, der in den drei Jahren, die er dem Projekt gewidmet hat, neue Fähigkeiten erworben hat, unter anderem auf dem Gebiet der Elektrotechnik. Unterwegs schuf er eine neue Kategorie von Geräten mit einer höher auflösenden RGB-LED-Anzeige als bisher verfügbar. Er fand auch heraus, wie Benutzer mithilfe der Bluetooth-Technologie und verschiedener Mechanismen zum Auslösen von Animationen wie Schaltern oder MIDI-Musiksignalen maximale Mobilität erhalten können.
"Was wirklich interessant ist, sind die unbeabsichtigten Folgen, wenn Sie Ihre Komfortzone verlassen und etwas Neues lernen", sagt er. "Sie erhalten erstaunliche Ideen und Fähigkeiten."
Das Teamtreffen von Expressive Pixels in Microsoft-Teams im gemeinsamen Modus. Hintere Reihe (von links nach rechts): Anne Paradiso, Bernice Y. Zweite Reihe von oben (von links nach rechts): Noel Sophie, Gavin Yanke, Jarnael Chaj. Dritte Reihe von oben: Duane Lamb, Stacey Stutz. Untere Reihe: Christopher O'Dowd.
Die Reise zu Expressive Pixels begann vor mehr als fünf Jahren mit dem Interesse der Enable Group an der Verbesserung von AAC-Geräten (Augmentative and Alternate Communication), die normalerweise zu teuer sind, weil sie Teil des medizinischen Marktes sind.
Ausdrucksstarke Pixel auf allen Geräten.
Anne Paradiso, Chief Development Officer, übernahm die Führung bei diesen Bemühungen und wollte ihre Energie darauf verwenden, anderen zu dienen. Sie arbeitete mit Jahnkes Team bei Microsoft Research zusammen, bevor sie zur Enable Group kam, und Jahnke lehnte ihre Hilfe nicht ab, zumal das Projekt an Dynamik gewann.
Sie arbeiteten zuerst mit dem ehemaligen NFL-Spieler Steve Gleason zusammen, der die Forschung inspirierte und anregte, nachdem bei ihm ALS (Amyotrophe Lateralsklerose) diagnostiziert worden war. Während Gleason mit Eye-Tracking-Technologie vertraut war, fiel es ihm immer noch schwer, zu kommunizieren, wenn technische Probleme auftraten, und er musste auf den Bildschirm schauen und nicht auf die Person, die versuchte, mit ihm zu kommunizieren.
„Wenn Sie mit einer Person sprechen, die ein Sprachgerät nur mit ihren Augen steuert, werden Sie feststellen, dass das Gesprächstempo im Vergleich zu normaler Sprache viel langsamer ist. Laut Paradiso sind Gespräche über AAC häufig 12- bis 25-mal langsamer, selbst bei besserer Vorhersagegenauigkeit und Erkennung von Augenbewegungen. "So beobachten wir oft, wie der Gesprächspartner entweder die anhaltende Stille nicht ertragen kann oder nicht verstehen kann, dass er eine Antwort für ihn vorbereitet und weiter spricht, und die Person mit Sprachbehinderungen keine Gelegenheit zum Sprechen hat."
Dies führte zu einer benutzerzentrierten Forschung, an der Menschen mit ALS und ihre Familien beteiligt waren. Paradiso und ihre Mitarbeiter trafen sich regelmäßig mit ihnen, begleiteten sie zu Arztterminen, beobachteten ihre Interaktionen mit Neurologen, Logopäden, Physiotherapeuten und vielen anderen. Die Treffen fanden sowohl zu Hause als auch in Microsoft-Labors statt. Das daraus resultierende Vertrauen hat es Forschern ermöglicht, das Ökosystem um Menschen mit Behinderungen wirklich kennenzulernen, Unterstützungssysteme und die Einstellungen von Familienmitgliedern kennenzulernen, Geräte zu untersuchen und herauszufinden, was funktioniert und was nicht.
Wir haben schnell erkannt, dass die Optimierung von LED-Anzeigen für die Emoji-basierte Kommunikation eine großartige Gelegenheit ist.
Anne Paradiso
„Emoji sind in digitalen Kommunikationsplattformen wie Textnachrichten, E-Mail und sozialen Medien bereits allgegenwärtig. Sie ergreifen weniger Maßnahmen, um Absicht, Kontext oder Stimmung zu vermitteln. Ein einzelnes Emoji-Symbol kann die Wahrnehmung einer Nachricht drastisch verändern oder verbessern. Wir glauben, dass sie als zusätzliche Ausdrucksmediatoren für Menschen verwendet werden können, die nicht in der Lage sind, die für Gesichtsausdrücke verantwortlichen Muskeln zu sprechen oder zu kontrollieren, sagt Paradiso. - Die Menschen mit ALS, die mit uns zusammenarbeiten, sind einige der lustigsten, nachdenklichsten und kreativsten Menschen, die ich kenne, aber die Möglichkeiten, ihre Gedanken auszudrücken, sind aufgrund der Behinderungen und Unvollkommenheiten der verfügbaren Sprachgeräte und der ihnen zugrunde liegenden Technologien begrenzt. Wir wissen,dass Menschen mit ihren AAC-Geräten viel mehr ausdrücken wollen, nicht nur in einfachen Sätzen kommunizieren. Wir wollten etwas schaffen, das den Menschen hilft, aktiver an Gesprächen teilzunehmen, bei schlechten Lichtverhältnissen und aus der Ferne sichtbar zu sein und eine weitere Gelegenheit für einen einzigartigen Ausdruck, eine Kommunikation und die Übertragung von Emotionen bietet. "
Die Entwickler haben verschiedene zusätzliche Bildschirme ausprobiert, sind jedoch aus mehreren Gründen zu LED-Anzeigen zurückgekehrt: Sie sind kostengünstig, funktionieren recht gut und sind „cool“. Die Personen mit ALS in der Studie machten auch deutlich, dass sie nichts verwenden möchten, was unbeabsichtigte negative soziale Konsequenzen für die Benutzer haben könnte.
"Menschen zu beobachten und zu befähigen, die mit ALS leben, damit sie das tun können, was sie sich nie erhofft haben, ist Motivation genug, um hart zu arbeiten", sagte Duane Lamb, ein Entwickler, der Anfang 2017 zur Enable Group kam und kreiert Benutzeroberfläche und Benutzeroberfläche. - Wenn Sie mit jemandem sprechen, der nur mit seinen Augen kommunizieren kann, gibt diese Person meistens Text ein, während Sie auf die Tastatur des Geräts vor sich schauen. Und Sie, obwohl dies eine schlechte Form ist, schauen aus Sicht der sozialen Etikette normalerweise über die Schulter des Gesprächspartners, um zu sehen, was er tippt. "
Die Entstehung von ausdrucksstarken Pixeln ist teilweise auf den Wunsch zurückzuführen, dieses Problem zu lösen.
Emoji in der Expressive Pixels App
Ausdrucksstarke Pixel können verwendet werden, um Anzeigen in verschiedenen Größen (bis zu 64 × 64 Pixel) zu animieren, sagte Christopher O'Dowd, der dazu beigetragen hat, die Hardwarelücken im Projekt zu schließen. O'Dowd bemerkte, dass LED-Anzeigen auf der Maker Faire, in Privathaushalten während der Ferien und mehr allgegenwärtig sind. LED-Anzeigen sind so vielseitig, dass sie häufig sogar auf Stoffen (wie Masken, Mützen und Rucksäcken) oder Bannern zu finden sind.
Eine der ersten Anwendungen von LED-Displays durch das Expressive Pixels-Team war das preisgekrönte Projekt SXSW Music without Hands .
Dieses Projekt verwendet eine maßgeschneiderte LED-Matrix mit MIDI-Unterstützung und Musiksynchronisation. Es war ein optionales Visualisierungstool für ein augengesteuertes physisches Schlagzeug, das für eines der Expressive Pixels-Mitglieder, einen mit ALS lebenden Musiker aus Seattle, entwickelt wurde. Das Projekt wurde mit dem SXSW Interactive Innovation Award 2018: Musik- und Audio-Innovation ausgezeichnet und umfasst eine Reihe neuer augengesteuerter Anwendungen zum Komponieren und Aufführen von Musik sowie zur Zusammenarbeit.
„Wie kann eine Person, die nicht sprechen und sich nicht bewegen kann, um Musik zu komponieren oder aufzuführen, steuern, was auf der Bühne passiert, oder ein Live-Publikum kontaktieren? Was ist mit zusammen mit anderen Musikern, geprobt oder improvisiert? Wie können wir Hindernisse für eine umfassendere Gestaltung von Schulmusikprogrammen abbauen, ohne die Teilnahme von Kindern mit Behinderungen zu trennen oder zu minimieren? Wir waren getrieben von dem Wunsch, Antworten auf diese grundlegenden Fragen zu finden - erinnert sich Paradiso. "Wir wollten unsere Technologie und unser Design so anpassen, dass sie den kreativen Zielen und realen Situationen der Person entsprechen und nicht umgekehrt."
Lamb hatte die Idee, die Unterstützung für MIDI (Musical Instrument Digital Interface) hinzuzufügen, um verschiedene Signale an verschiedene Instrumente zu senden, und diese Idee wurde später auf Expressive Pixel übertragen.
„Jedes Mal, wenn wir an einem neuen Ziel gearbeitet haben, haben wir die Plattform weiter vorangetrieben“, sagt Paradiso.
Die Expressive Pixels-Plattform steht einer Vielzahl kreativer Menschen offen. Dies ist nicht nur eine Entwickler-Community, sondern auch Studenten, die Projekte entwickeln können, um anderen Menschen zu helfen und JavaScript mit Microsoft MakeCode zu lernen . Laut Jahnke verfügen MakeCodes in der Regel über eine sehr kleine Anzahl von LEDs. Daher bieten die vollständigen Anzeigefunktionen den Schülern einen weiten Spielraum zum Erstellen, Experimentieren und Programmieren mit Silicon Squared-Anzeigen, die an ein MakeCode-Gadget angeschlossen sind.
„Mit Expressive Pixels können Schüler auf einfache Weise In-App-Animationen mit minimalem Aufwand in ihre MakeCode-Programme und Hardware-Kreationen integrieren“, sagt Jahnke.
Die Anwendung selbst weiß, welche Animationen auf dem Gerät gespeichert sind, sodass unterschiedliche Befehle dazu führen, dass es entsprechend reagiert.
Dieses und andere Enable-Projekte in Paradiso haben ihre Leidenschaft für das Unternehmen wiederbelebt, mit dem sie seit fast 20 Jahren zusammenarbeitet.
„So viele Menschen kommen zusammen und viele verbringen ihre persönliche Zeit damit, für etwas Größeres als jeden von uns alleine zu arbeiten. Es inspiriert und stimmt mit den Werten und der Mission unseres Unternehmens überein und macht mich glücklich und gibt hoffe auf eine integrativere und kreativere Zukunft für alle “, sagte Paradiso.
Expressive Pixels.