Hallo Habr! Zusammen mit Harmony OS haben wir die fünfte Version von HMS Core eingeführt, einer Reihe von Tools, mit denen Sie Anwendungen für das Huawei-Ökosystem entwickeln können. Wir haben neue Möglichkeiten für die Arbeit mit Inhalten hinzugefügt, uns auf Datensicherheit, Interaktion zwischen Geräten konzentriert und die Möglichkeiten für KI-Tools erweitert. Wir haben auf unserer HDC.Together- Konferenz ausführlich darüber gesprochen und in diesem Artikel einen Überblick über neue HMS-Funktionen gegeben.
Tools für die Arbeit mit ML und AI
Die wichtigsten Dienste für die Arbeit mit KI sind im ML-Kit enthalten und ermöglichen Ihnen die Arbeit mit Text, Sprache, Bildern und AR / VR-Technologien. In HMS Core 5.0 haben wir die Anzahl der unterstützten Sprachen auf 50 erhöht und können zwischen 20 Sprachen übersetzen, während sowohl Text- als auch Sprachaufzeichnungen als Eingabe akzeptiert werden. Mit dem ML Kit können auch Spam und obszöne Bilder herausgefiltert werden.
Mit ML Kit ist es möglich, Sprachaufzeichnungen in das Textformat und umgekehrt zu konvertieren, und wir haben diese Funktionalität mit Video Course Creator erweitert, das automatisch Lernkurse erstellt: Als Eingabe werden das Bildungsprogramm, die Kommentare des Lehrers sowie voreingestellte Audio- und Videoparameter verwendet. Während der Sendung kann der Lehrer auf die erforderlichen Materialien verweisen und alle aufgezeichneten Materialien werden zu einem einzigen Kurs zusammengefasst.
Wir haben besonderen Wert auf Gesichtserkennung, Gesten und Posen gelegt. Dank dieser Funktion können Sie mit ML Kit eine Gesichtsauthentifizierung durchführen. Das System ist über eine API verbunden und kann für den schnellen Zugriff auf Anwendungen ohne zusätzliche Aktionen verwendet werden.
Sie können mit AI- und ML-Tools auf verschiedenen Ebenen arbeiten:
- HiAI , , NPU-.
- Ability Gallery AI .
AR/VR
Unsere AR-Engine analysiert Informationen zu Beleuchtung, Ebene, Objektform und Oberflächentyp und kann nach bestimmten Objekten im Raum suchen. Separat kann das System ein 3D-Schema unter Verwendung von Ankerpunkten erstellen und menschliche Bewegungen, Gesten und Gesichtsausdrücke verfolgen. Beispielsweise werden 21 Punkte zugewiesen, um die Position der Hand zu bestimmen, und 23 Punkte werden der Position des Körpers zugewiesen. Jetzt kann das System 6 Posen erkennen und 2 Personen gleichzeitig analysieren.
Mit der fünften Version bietet HMS Core CameraKit verschiedene Aufnahmemodi: große Blende, Porträtmodus, HDR, Hintergrundunschärfe, Supernight-Modus und ähnliche. Es wurde auch möglich, KI bei Foto- und Videoaufnahmen zur Vorauswahl von Filtern und zur Farbkorrektur zu verwenden.
Zusammenarbeit von Geräten
Die neue Version von HMS Core verfügt über mehrere neue Engines für die Zusammenarbeit zwischen verschiedenen Geräten. Wir haben die Interaktion zwischen Geräten und intelligenten Dingen mithilfe der DeviceVirtualization- Engine vereinfacht . Es konvertiert Peripheriegeräte in virtuelle Objekte und ermöglicht es dem Telefon, mit ihnen auf die gleiche Weise wie mit normalen Funktionen zu arbeiten.
In der gleichen Richtung haben wir die Cast Engine entwickelt , mit der das Telefon im Mehrbildmodus arbeiten und Bilder in High Definition an das Fernsehgerät übertragen kann. Wir planen auch, die Möglichkeit hinzuzufügen, mit Cast Engine über andere Anwendungen zu arbeiten.
Ein weiterer neuer OneHop Kit Motorfunktioniert mit NFC und ermöglicht Ihnen die sichere Übertragung von Daten zwischen Geräten mit einem Tastendruck. Mit ihm können Sie Huawei-Geräte miteinander synchronisieren, Dateien übertragen und Anwendungen auf anderen Geräten mit denselben Einstellungen wie auf dem Hauptgerät öffnen. Bisher funktioniert es nur zwischen Huawei-Telefonen und -Tablets. Daher bieten wir eine Share-Engine für die Kommunikation mit anderen Geräten an , die über Bluetooth Geschwindigkeiten von bis zu 80 Mbit / s ermöglicht.
Video und Audio
In der neuen Version haben wir mehrere neue SDK-Tools für die Arbeit mit Audio und Video entwickelt. Audio Kit und Video Kit unterstützen die wichtigsten Dateiformate und Codecs und können problemlos in die Anwendung integriert werden. Sie können Listen lesen, speichern und löschen, Sequenzen abspielen und die Wiedergabegeschwindigkeit anpassen. Alle Audio- und Videodaten sind durch Verschlüsselungsalgorithmen geschützt.
Das Audio Kit verfügt jetzt über eine Audio-Engine zur Aufnahme von Ton in hoher Qualität mit Optimierung der Verzögerung und anderer Funktionen des Instruments. Die Video-Engine unterstützt wiederum die Hauptprotokolle HTTP, HTTPS, HLS, DASH. Mit dem Video Kit WisePlayer SDK können Sie auch das Streaming von Diensten von Drittanbietern organisieren.
Basierend auf unserem ServiceHuawei Meetime hat das Caas Kit für Videoanrufe auf den Markt gebracht , das die Wiedergabe und Übertragung von HD-Bildern auch bei instabilen Verbindungen ermöglicht. Mit der Engine können Sie auch den Bildschirm freigeben, Kritzeleien zeichnen und mithilfe von Virtualisierungstechnologien Bilder auf andere Geräte übertragen, die für Geschäftskonferenzen verwendet werden können.
Bilder und 3D-Rendering
Image Kit wurde für die Bildverarbeitung veröffentlicht - es bietet mehr als 20 Filter und visuelle Effekte, einschließlich Animation mit Rendering. Es enthält 2 SDKs: Image Vision SDK für die Arbeit mit Farbfiltern und Image Render SDK für die Verwendung von Animationseffekten.
Das Scene Kit wurde für die Arbeit mit 3D-Objekten entwickelt: Es verwendet die Methode des physikalisch korrekten Renderns (PBR) und ermöglicht es Anwendungen, über eine API eine Verbindung herzustellen und 3D-Modelle komplexer Objekte zu empfangen. Die Engine bietet drei Szenarien: SceneView für gemeinsam genutzte Szenen (ohne AR), ARView für gemeinsam genutzte AR-Szenen und FaceView für die Arbeit mit Gesichtern in AR-Szenen.
Analytik und Sicherheit
In Huawei Core 5.0 haben wir das Dynamic Tag Manager (DTM) -Tagging-System eingeführt , um die Marketingaktivitäten der Benutzer zu verfolgen: Es lässt sich sowohl in Huawei-Dienste selbst als auch in Plattformen von Drittanbietern zum Senden und Verarbeiten von Daten integrieren. Mit dem DTM können Sie Tags in der Webbenutzeroberfläche dynamisch aktualisieren, bestimmte Ereignisse verfolgen und Daten an Analyseplattformen von Drittanbietern senden. Unsere Systeme konzentrieren sich auf Sicherheit, weshalb die DTM-Engine auch als Betrugsbekämpfungssystem zur Verfolgung verdächtiger Aktivitäten verwendet wird.
Eine der Funktionen der neuen Version von HMS ist die Gesichtsauthentifizierung mit LocalAuthentication Engine... Es funktioniert mit einer Infrarotkamera, die das Modell aus den Referenzpunkten erstellt und mit dem ML-Kit authentifiziert.
Schließlich haben wir auf den Schutz von Inhalten geachtet: Für Audiodateien wird die Cache-Verschlüsselung verwendet, für Video - ein Anti-Lytic-System und die Authentifizierung während der Wiedergabe - und für die Arbeit mit einer Kamera - End-to-End-Verschlüsselung. Alle Daten, die HMS in einer vertrauenswürdigen TEE- Umgebung speichert , in der die Verschlüsselung durchgeführt wird.
Wo kann ich mehr erfahren?
Alle Aufzeichnungen der HDC.Together-Konferenz finden Sie hier . Hier können Sie Berichte über Plattformaktualisierungen, die wichtigsten Szenarien für die Arbeit mit HMS-Tools, anhören und technische Fragen im Huawei Developer Forum oder Stackoverflow mit dem Tag huawei-mobile-services stellen .