Das Startup, das Microsoft beim Aufbau der Flight Simulator-Welt geholfen hat

Der neue Flugsimulator von Microsoft ist ein technologisches Wunderwerk , das neue Maßstäbe im Genre setzt. Microsoft und Asobo Studios haben die Arbeit vieler Partner genutzt, um eine Welt zu schaffen, die real und lebendig erscheint und Milliarden von Gebäuden an den richtigen Stellen enthält.



Eines davon ist das kleine österreichische Startup Blackshark.ai aus Graz, das mit nur rund 50 Mitarbeitern jede Stadt der Welt mit künstlicher Intelligenz und riesigen Cloud-Computing-Ressourcen neu erschaffen konnte.



Vor der Veröffentlichung des neuen Flugsimulators haben wir uns mit Blackshark-Mitbegründer und CEO Michael Patz getroffen, um die Partnerschaft mit Microsoft und die Zukunft seines Unternehmens zu besprechen .





Blackshark ist ein Ableger des Spielestudios Bongfish , das World of Tanks entwickelt hat: Frontline, Motocross Madness und die Stoked-Snowboard-Serie. Dank Stoked hat das Unternehmen Blackshark gegründet, sagt Patz.



„Eines der ersten Spiele, das wir 2007 entwickelt haben, war ein Snowboard-Spiel namens Stoked und S Stoked Bigger Edition. Es war eines der ersten Spiele mit simulierten 360-Grad-Bergen: Der Spieler konnte mit einem Hubschrauber um den Berg fliegen, überall landen und rollen. Der Berg selbst wurde prozedural angelegt und beschrieben, und Hindernisse in Form von Vegetation, anderen Snowboardern und Kleintieren wurden platziert. Dann gingen wir zu den Genres Rennsport, Schützen und Autokontrolle über, vergaßen aber nicht die Idee der prozeduralen Platzierung und Beschreibung von Objekten.



Bongfish kam bei der Arbeit an World of Tanks auf diese Idee zurück, da das Erstellen riesiger Karten mit jedem von Hand platzierten Stein sehr langsam wäre.



Bongfish nutzte seine Erfahrung und begann mit dem Aufbau einer eigenen KI-Entwicklungsabteilung. Diese Abteilung verwendete eine Reihe von Techniken des maschinellen Lernens, um ein System zu erstellen, das lernen kann, wie Designer Karten erstellen und diese im Laufe der Zeit selbst erstellen können. Das Unternehmen hat dieses System bereits in mehreren seiner Projekte eingesetzt, woraufhin Microsoft Kontakt mit ihm aufnahm.





„Ganz zufällig habe ich Leute bei Microsoft getroffen, die nach einem Studio suchten, um ihnen mit dem neuen Flugsimulator zu helfen. Die Hauptidee hinter Flight Simulator war es, Bing Maps als Spielfeld, Karte und Hintergrund zu verwenden “, sagt Patz.



Mit den Photogrammetriedaten von Bing Maps konnten jedoch genaue Nachbildungen von nur 400 Städten erstellt werden, und für den größten Teil des Planetengebiets existierten solche Daten nicht. Microsoft und Asobo Studios brauchten ein System, um alles andere zu erstellen.



Zu diesem Zeitpunkt übernahm Blackshark. Für Flight Simulator hat das Studio 1,5 Milliarden Gebäude aus 2D-Satellitenbildern nachgebildet.



Während Patz sagte, er habe die Microsoft-Leute zufällig getroffen, ist es erwähnenswert, dass Graz einst eine Bing Maps-Abteilung hatte, die die ersten Kameras und 3D-Versionen von Bing Maps entwickelte. Und während Google Maps den Markt übernahm , übertraf Bing Maps Google in 3D tatsächlich. Dann eröffnete Microsoft ein Forschungszentrum in Graz und nach dessen Schließung wurden lokale Talente von Amazon und anderen Unternehmen abgeworben.



„Daher war es für uns sehr einfach, Mitarbeiter in Positionen mit Anforderungen wie‚ PhD in Dachrekonstruktion 'zu finden “, sagt Patz. "Ich wusste nicht einmal, dass so etwas existiert, aber es war genau das, was wir brauchten, und wir haben zwei solche Leute gefunden."



„Es ist leicht zu verstehen, warum die Neuerstellung eines 3D-Gebäudes aus einer 2D-Karte eine Herausforderung darstellt. Es ist nicht einmal einfach, den genauen Umriss eines Gebäudes zu definieren. "





„Grundsätzlich haben wir in Flight Simulator die folgende Aufgabe erledigt: Wir haben 2D-Regionen untersucht und nach Anzeichen von Gebäuden darauf gesucht, was die Aufgabe der Computer Vision ist“, sagt Patz. „Aber wenn ein Gebäude durch den Schatten eines Baumes verdeckt wird, brauchen wir maschinelles Lernen, weil die Schattenüberlagerung unklar macht, was Teil des Gebäudes ist ... Maschinelles Lernen kann den Rest des Gebäudes wiederherstellen. Und dies ist ein weiteres sehr einfaches Beispiel. "



Während Blackshark möglicherweise einige andere Daten verwendet hat, darunter Fotos, Sensordaten und bereits vorhandene Kartendaten, musste Blackshark Gebäudehöhen und andere Merkmale anhand sehr begrenzter Informationen bestimmen.



Das nächste offensichtliche Problem ist die Bestimmung der Höhe des Gebäudes. Wenn GIS-Daten verfügbar sind, ist diese Aufgabe leicht zu lösen, aber für die meisten Regionen der Welt existierten solche Daten einfach nicht oder es war nicht einfach, sie abzurufen. In solchen Fällen nahm das Team ein 2D-Bild auf und untersuchte verschiedene Hinweise, z. B. Schatten, darauf. Um jedoch die Höhe eines Gebäudes aus dem Schatten zu bestimmen, müssen Sie die Tageszeit kennen und die Bilder in Bing Maps wurden nicht mit einem Zeitstempel versehen. In anderen Fällen hatte Blackshark sie, was die Arbeit erheblich vereinfachte. Hier kommt maschinelles Lernen wieder zum Einsatz.





„Maschinelles Lernen geht einen etwas anderen Weg“, erklärt Patz. „Es berücksichtigt auch Schatten, aber da es sich nur um eine dunkle Figur handelt, wissen wir nicht, wie sie sich verhält. Wenn Sie jedoch ein Flachdach betrachten und beispielsweise einen Wolkenkratzer mit einem Einkaufszentrum vergleichen, unterscheidet sich die Ausrüstung auf dem Dach eines Wolkenkratzers von der Ausrüstung in einem Einkaufszentrum. Indem wir Gebäude markieren, helfen wir der KI beim Lernen. “



Wenn das System weiß, dass die durchschnittliche Höhe eines Einkaufszentrums in diesem Bereich normalerweise drei Etaea beträgt, kann es damit arbeiten.



Blackshark verbirgt nicht, dass sein System Fehler macht, und wenn Sie Flight Simulator kaufen, werden Sie feststellen, dass es Fehler bei der Platzierung von Gebäuden im Spiel gibt. Patz teilte mir mit, dass eine der größten Herausforderungen für dieses Projekt darin bestand, die Entwicklungspartner und Microsoft davon zu überzeugen, diesen Ansatz zuzulassen.



„Wir sprechen von 1,5 Milliarden Gebäuden. In dieser Größenordnung können Sie sich nicht mehr auf die traditionelle Qualitätskontrolle verlassen. Der traditionelle Ansatz von Spielen auf Halo-Ebene besteht darin, dass Sie mit dem Finger zeigen und sagen, "dieses Pixel ist schlecht, beheben Sie es", aber es funktioniert nicht, wenn Sie mit KI entwickeln, die auf Statistiken basiert. Es kann sich herausstellen, dass 20% der Gebäude irrtümlich erstellt wurden, und dies ist wahrscheinlich im Fall von Flight Simulator der Fall. Aber wir hätten dieses Problem sonst nicht lösen können, da eine Auslagerung der Modellierung von 1,5 Milliarden Gebäuden weder logistisch noch finanziell möglich ist. "



Mit der Zeit wird sich dieses System verbessern, und da Microsoft große Datenmengen von Azure streamt, werden Benutzer die Änderungen mit Sicherheit sehen.





Markup ist jedoch genau die Art und Weise, wie das Studioteam das Modell trainiert, und Blackshark hat in diesem Bereich große Fortschritte erzielt. Patz geht nicht auf Details ein, da dies Teil des geheimen Know-hows des Unternehmens ist, dank dessen es möglich war, ein solches Arbeitsvolumen mit nur 50 Mitarbeitern durchzuführen.



„Datenetiketten hatten für unsere Partner keine Priorität“, sagt er. „Deshalb haben wir unser lebendes Markierungssystem verwendet und im Wesentlichen den gesamten Planeten mit den Kräften von zwei oder drei Menschen markiert. Dies bietet Datenanalysten ein sehr leistungsfähiges Tool und eine Benutzeroberfläche. Wenn ein Analytiker beispielsweise ein Schiff erkennen möchte, teilt er dem Lernalgorithmus mit, was ein Schiff ist, und empfängt dann sofort die Schiffe, die im abgetasteten Bild am Ausgang gefunden wurden. "



Basierend auf der Ausgabe kann der Analyst den Algorithmus trainieren, um bestimmte Objekte, in unserem Beispiel Schiffe oder Einkaufszentren in Flight Simulator, besser zu erkennen. Laut Patz konzentrieren sich andere Unternehmen für Geodatenanalysen in der Regel auf bestimmte Nischen, und die Tools von Blackshark sind unabhängig von der Art des zu analysierenden Inhalts.





Hier kommt Blacksharks umfassendere Vision ins Spiel. Da das Unternehmen jetzt Auszeichnungen für seine Arbeit mit Microsoft erhält, arbeitet es auch mit anderen Unternehmen zusammen, die Stadtmodelle umbauen, um beispielsweise autonomes Fahren zu simulieren.



„Unser größeres Ziel ist es, einen nahezu zeitnahen digitalen Zwilling unseres Planeten und insbesondere der Oberfläche des Planeten zu schaffen. Auf diese Weise können die Daten in Fällen, in denen herkömmliche Fotogrammetrie wie Google Earth oder Apple Maps nicht hilfreich ist, auf viele verschiedene Arten verwendet werden, da sie auf die Ebene von Fotos vereinfacht werden, die einfachen geometrischen Formen überlagert sind. Dazu haben wir eine Verarbeitungsschleife: Wir extrahieren Erkundungsinformationen aus Luftbildern, die 2D-Bilder oder sogar Sätze von 3D-Punkten sein können. Und danach visualisieren wir die Semantik. "



Diese Semantik, die das Gebäude sehr detailliert beschreibt, hat einen großen Vorteil gegenüber der Photogrammetrie: Tatsächlich werden Informationen über Schatten und Beleuchtung in das Foto eingebrannt, was es schwierig macht, unterschiedliche Beleuchtungen realistisch zu überlagern. Da Blackshark alles über das Gebäude weiß, das sie erstellt, kann sie Fenster und Beleuchtung auf diese Gebäude anwenden, wodurch in Flight Simulator überraschend realistische Nachtszenen entstehen.



Punktwolken, die im Flugsimulator nicht verwendet werden, sind ein weiterer Bereich, den Blackshark derzeit aktiv verfolgt. Punktwolken sind für Menschen sehr schwer zu lesen, besonders wenn Sie sich ihnen nähern. Blackshark verwendet seine KI-Systeme zur Analyse von Punktwolken, um die Anzahl der Stockwerke in einem Gebäude zu bestimmen.



„Im Zentrum unseres gesamten Unternehmens steht das Verständnis, dass wir einen enormen technologischen Vorteil benötigen, um eine Aufgabe zu erfüllen. Dies gilt insbesondere für die Videospielbranche, in der Projekte wie Assassin's Creed und GTA an die Grenzen des Möglichen gestoßen sind: Tausende von Menschen arbeiten daran, diese Arbeit ist sehr schwierig zu skalieren und zwischen Kontinenten zu koordinieren, während sie zu einem fertigen Produkt wird. Für uns war klar, dass ein stärker automatisierter oder teilweise automatisierter Prozess erforderlich ist, um eine solche Aufgabe zu lösen. “



Obwohl Blackshark als Gaming-Unternehmen gegründet wurde und jetzt mit Microsoft und Asobo Studios zusammenarbeitet, liegt sein Hauptaugenmerk nicht auf Gaming, sondern auf Bereichen wie autonomes Fahren und Analyse geografischer Daten. Patz merkt an, dass ein weiteres gutes Beispiel für diese Entwicklung die Unreal Engine ist, die ursprünglich nur eine Game Engine war und jetzt überall verwendet wird.



„In der Spielebranche war diese Situation lange Zeit sehr inspirierend, denn bei der Entwicklung von Spielen erkennt man, wie revolutionär die Technologie mit anderen Branchen verglichen werden kann“, sagt Patz. „Und wenn man sich die Simulatoren ansieht, vom Militär bis zur Industrie, sahen sie im Vergleich zu den Rennspielen immer lahm aus. Jetzt ist es an der Zeit, dass die Gaming-Technologie aus der Gaming-Branche herauskommt und allen anderen Branchen hilft. Ich denke, Blackshark ist ein Beispiel dafür geworden. "