Der Testwagen von Cruise, der von der GM-Produktionslinie rollte, ist mit Sensoren ausgestattet (rot markiert).
Die Automobilindustrie sucht immer noch nach zuverlässiger Erkennungstechnologie, die unter allen Bedingungen funktioniert - Nacht, Nebel, Regen, Schnee, Eis usw.
Die Erkenntnis von AutoSens 2019 hier letzte Woche war, dass es keinen Mangel an technologischer Innovation gibt. Technologieentwickler, Tier-1-Unternehmen und OEMs verfolgen weiterhin das Ziel, eine „zuverlässige“ Erkennungstechnologie zu schaffen, die unter allen Straßenbedingungen funktioniert - auch nachts, im Nebel, im Regen, im Schnee, auf Eis, auf der Straße mit verschüttetem Öl. usw.
Trotz der Tatsache, dass es auf dem Automobilmarkt immer noch keine Silberkugel gibt, die alle Probleme gleichzeitig lösen kann, präsentierten einige Unternehmen ihre Erkennungstechnologien und neuen Produktkonzepte.
Die diesjährige AutoSens in Brüssel konzentrierte sich mehr auf Fahrerassistenzsysteme (ADAS) als auf selbstfahrende Autos.
Die Ingenieurgemeinschaft hat einen gewissen Konsens erreicht. Viele erkennen an, dass es eine große Lücke zwischen dem, was heute möglich ist, und der Aussicht auf kommerzielle, autonome Fahrzeuge mit künstlicher Intelligenz gibt, für die kein menschlicher Fahrer erforderlich ist.
Um klar zu sein, niemand sagt, dass unbemannte Fahrzeuge unmöglich sind. Phil Magney, Gründer und Direktor von VSI Labs, glaubt jedoch, dass „selbstfahrende Autos der Stufe 4 in Bereichen mit extrem begrenztem Betriebsdesign (ODD) funktionieren werden. Die Konstruktionen dieser Maschinen werden auf der Grundlage umfassender und detaillierter Sicherheitsanforderungen entwickelt. "
Magny stellte klar, dass er unter" Sperrgebieten "Einschränkungen in Bezug auf Straßen- und Fahrspurauswahl, Betriebszeit, Wetterbedingungen, Tageszeit, Ausgangs- und Haltepunkte usw. versteht. Des Weiteren.
Bart Selman, ein Informatikprofessor an der Cornell University, der sich auf KI spezialisiert hat, wurde gefragt, ob ein KI-angetriebenes Auto jemals mit „gesundem Menschenverstand“ argumentieren könne (sich des Fahrprozesses bewusst sein und den Kontext verstehen). Selman antwortete zum Abschluss der Konferenz: "Wir werden mindestens in 10 Jahren dazu kommen ... und vielleicht in 20-30 Jahren."
In der Zwischenzeit konkurrieren Entwickler von ADAS-Systemen und hochautomatisierten Fahrzeugen um die Entwicklung von Bildverarbeitungssystemen für Fahrzeuge.
Fung Kupopman, CTO bei Edge Case Research und Professor an der Carnegie Mellon University, glaubt, dass die Basis eines hochautomatisierten Fahrzeugs ein „Erfassungssystem“ ist, das die Position verschiedener Objekte um das Fahrzeug herum bestimmen kann. Er stellte klar, dass die Schwäche unbemannter Fahrzeuge in der Unfähigkeit liegt, vorherzusagen - den Kontext zu verstehen und vorherzusagen, wohin sich dieses oder jenes erfasste Objekt bewegen könnte.
Förderung intelligenter Systeme
Ein neuer Trend auf der Konferenz war die Entstehung einer Reihe intelligenter Systeme. Viele Hersteller fügen ihren Produkten KI-Systeme hinzu, indem sie sie in ihre Sensorkombinationen integrieren (RGB-Kamera + NIR; RGB + SWIR; RGB + Lidar; RGB + Radar).
Unter den Akteuren der Branche besteht jedoch kein Konsens darüber, ob die Ziele der Branche erreicht werden sollen. Einige glauben, dass der Weg zum Erfolg durch Sensorkombinationen führt, während andere (wie Waymo) dazu neigen, Sensordaten auf dem Zentralprozessor zu verarbeiten.
AutoSens verfügt außerdem über eine Reihe neuer Überwachungssysteme, die entwickelt werden müssen, um Euro NCAP, die Anforderungen an Fahrerüberwachungssysteme und einen wichtigen Sicherheitsstandard im Jahr 2020 zu erfüllen. Insbesondere handelt es sich um Systeme, die nicht nur den Fahrer, sondern auch die Passagiere und andere Objekte im Auto überwachen.
Ein Beispiel ist der neue RGB-IR-Sensor von On Semiconductor, der mit Ambarellas RGB-IR-Videoverarbeitungs-Chip und der Eyeris-Szenenerkennungssoftware ausgestattet ist.
NIR gegen SWIR
Die Notwendigkeit, im Dunkeln (sowohl innerhalb als auch außerhalb des Fahrzeugs) zu sehen, weist auf die Notwendigkeit von IR hin.
Während der RGB-IR-Bildsensor von On Semiconductor mit Strahlung im nahen Infrarot (NIR) arbeitet, ging Trieye, die ebenfalls an der Messe teilnahm, mit der Einführung der SWIR-Kamera (kurzwelliges Infrarot) weiter. ).
Zu den Vorteilen von SWIR-Kameras gehört die Möglichkeit, Objekte bei jedem Wetter und bei allen Lichtverhältnissen zu sehen. Noch wichtiger ist, dass SWIR Straßengefahren (wie Eis) proaktiv identifizieren kann, indem eine eindeutige spektrale Reaktion basierend auf den chemischen und physikalischen Eigenschaften jedes Materials erfasst wird.
Die Verwendung von SWIR-Kameras ist jedoch aufgrund der extrem hohen Kosten für Indiumgalliumarsenid (InGaAs), die in dieser Technologie verwendet werden, auf militärische, wissenschaftliche und Luft- und Raumfahrtanwendungen beschränkt. Trieye behauptet, einen Weg gefunden zu haben, SWIR-Kameras mithilfe der CMOS-Technologie zu erstellen. „Wir haben einen Durchbruch geschafft. Wie Halbleiter verwenden wir CMOS seit den Anfängen für die Massenproduktion von SWIR-Kameras “, sagt Avi Bakal, CEO und Mitbegründer von Trieye. Laut Bacal wird die Trieye-Kamera im Gegensatz zum 8.000-Dollar-Galliumarsenid-Sensor "für zehn Dollar" angeboten.
Fehlen beschrifteter Daten
Eine der größten Herausforderungen bei der KI ist der Mangel an Daten für Trainingsmuster. Genauer gesagt, "beschriftete Trainingsdaten", sagte Magny. „Ein Modell ist nur so gut wie die Daten und die Art und Weise, wie sie gesammelt werden. Natürlich müssen Trainingsdaten mit Metadaten versehen werden, und der Markierungsprozess dauert sehr lange. "
Bei AutoSens gab es eine lebhafte Diskussion über generative kontradiktorische neuronale Netze (GANs). In der GAN konkurrieren zwei neuronale Netze um die Erstellung neuer Daten, sagte Magny. Nachdem solche Modelle ein Trainingsmuster als Eingabe erhalten haben, werden sie trainiert, um neue Daten zu generieren, deren statistische Indikatoren mit den ursprünglichen übereinstimmen.
Drive.ai verwendet beispielsweise Deep Learning, um die Automatisierung des Datenmarkups zu verbessern und so den langwierigen Markup-Prozess zu beschleunigen.
In einem Vortrag bei AutoSens ging Koopman auch auf das Problem der genauen Annotation von Daten ein. Er vermutet, dass ein Großteil der Daten nicht markiert ist, da es sich nur große Unternehmen leisten können, sie richtig zu machen.
In der Tat gaben die KI-Startups auf der Messe zu, dass bezahlte Anmerkungen für Daten von Dritten sie sehr verletzten.
Eine Möglichkeit, dieses Problem zu lösen, ist GAN. Edge Case Research bietet eine weitere Möglichkeit, die Entwicklung sicherer Erkennungssoftware zu beschleunigen, ohne Daten zu markieren. Das Unternehmen hat kürzlich das Hologramm angekündigt, ein Tool für Stresstest-Wahrnehmungssysteme und Risikoanalysen. Laut Koopman können Sie Petabytes an Daten nicht zweimal markieren, sondern einfach zweimal ausführen. Das Hologramm liefert Informationen zu verdächtigen Teilen des Datensatzes und zeigt Ihnen, was am besten zu tun ist. Erweitern Sie den Trainingssatz oder trainieren Sie Ihr Modell neu.
Auf der Konferenz wurde auch das Thema getaggte Datensätze erörtert - was ist, wenn der Autohersteller die Kamera und die Sensoren ersetzt, die für das Training und die Datenmanipulation verwendet werden?
David Tokich, Vizepräsident für Marketing und strategische Partnerschaften bei Algolux, sagte der EE Times, dass die Ingenieure, die an ADAS und unbemannten Fahrzeugen arbeiten, über zwei Dinge besorgt sind: 1) die Zuverlässigkeit der Erkennungssysteme unter verschiedenen Bedingungen und 2) die Entwicklung genauer und skalierbarer Lösungen für Computer Vision-Aufgaben Die
in ADAS und unbemannten Fahrzeugen verwendeten Kamerasysteme können sich erheblich voneinander unterscheiden. Sie haben alle unterschiedliche Parameter, abhängig von Objektiven (unterschiedliche Objektive bieten unterschiedliche Betrachtungswinkel), Sensoren und Signalverarbeitungstechnologien. Ein Technologieunternehmen wählt eines der Kamerasysteme aus, sammelt einen großen Datensatz, markiert ihn und trainiert sein Modell für die Verwendung mit einem bestimmten System.
Aber was passiert, wenn ein OEM eine Kamera ersetzt, die mit einem bestimmten Datensatz verwendet wurde? Diese Änderung könnte die Wahrnehmungsgenauigkeit beeinträchtigen, da ein auf eine bestimmte Kamera abgestimmtes maschinelles Lernmodell jetzt mit einem neuen Satz von Rohdaten umgehen muss.
Muss der OEM seine Modelle immer wieder auf neue Datensätze trainieren?
Tesla, Waymo, GM / Cruise verwenden eine Vielzahl von Kameras in ihren selbstfahrenden Fahrzeugen.
Auf die Frage nach der Möglichkeit, die Bildsensoren auszutauschen, sagte Magny von VSI Labs: "Ich denke nicht, dass dies funktionieren wird - es sei denn, die Spezifikationen bleiben gleich." Er fügte hinzu: „Bei VSI haben wir ein neuronales Netzwerk für die Arbeit mit einer FLIR-Wärmebildkamera trainiert, und die Eigenschaften der Bilder im Trainingssatz stimmten mit den Eigenschaften der Kamera überein, für die das neuronale Netzwerk trainiert wurde. Später haben wir die Sensoren ausgetauscht, aber die technischen Spezifikationen sind gleich geblieben. "
Algolux behauptet jedoch, dass die neue Technologie zur Übersetzung zuvor erstellter Datensätze "innerhalb weniger Tage" verfügbar sein sollte. Laut Tokić löst die Atlas Camera Optimization Suite dieses Problem, indem sie „Basisdaten“ (Kamera- und Sensoreigenschaften) erfasst und auf die Erkennungsebenen anwendet. "Unsere Herausforderung besteht darin, die Auswahl der Kameras zu demokratisieren", sagte Tokić für OEMs.
KI-Hardware
In den letzten Jahren sind viele Startups im Bereich der Prozessoren für KI entstanden. Dies schuf eine Dynamik, die einige dazu veranlasste, eine Wiederbelebung des Hardwaremarktes anzukündigen. Viele Startups, die Chips für KI entwickeln, nennen die Märkte für autonome Fahrzeuge und ADAS als Zielmärkte.
Insbesondere Ceva stellte auf der AutoSens-Konferenz einen neuen Kern für KI und "Invite API" vor - Produkte für den Beschleunigermarkt für intelligente Systeme.
Seltsamerweise hat die neue Generation multifunktionaler Autos noch keine fortschrittlichen KI-Chips eingeführt - mit Ausnahme der Chips von Nvidia und Intel / Mobileye sowie der vollständigen Autopilot-Chips von Tesla für den internen Gebrauch.
Andererseits kündigte On Semiconductor auf der AutoSens-Konferenz an, dass sein Team (und das Eyeris-Team) Ambarellas Systems-on-a-Chip als KI-Prozessoren verwenden werden, um verschiedene Metriken in Fahrzeugen zu überwachen.
Modar Alawi, CEO von Eyeris, sagte: „Wir konnten keinen einzigen KI-Chip finden, der 10 neuronale Netze verarbeiten, weniger als 5 Watt verbrauchen und Videos mit 30 Bildern pro Sekunde mit bis zu sechs Kameras aufnehmen kann Wagen ".
Allawi gab zu, dass Ambarella kein bekannter Hersteller von AI-Chips ist (sie sind besser dafür bekannt, Chips für die Videokomprimierung und Computer Vision herzustellen). Das CV2AQ-System von Ambarella erfüllt jedoch alle Anforderungen und übertrifft alle anderen Beschleuniger.
Allawi hofft, dass die KI-Software seines Unternehmens für die Consumer Electronics Show im Januar 2020 in Las Vegas auf drei andere Hardwareplattformen portiert wird.
Auf Semi demonstrieren Ambarella und Eyeris ein neues Überwachungssystem in der Kabine mit drei RGB-IR-Kameras.
Gleichzeitig betonte On Semi, dass Fahrer- und Beifahrerüberwachungssysteme "die Fähigkeit erfordern, Bilder unter einer Vielzahl von Lichtbedingungen aufzunehmen, von direktem Sonnenlicht bis Dunkelheit". Das Unternehmen behauptet, dass dank seiner guten Reaktionszeit im nahen Infrarot "die RGB-IR-Technologie im CMOS-Bildsensor eine Full HD 1080p-Bildausgabe mit 3-Belichtungs-HDR und Hintergrundbeleuchtung (BSI) bei 3,0 μm liefert". Sensoren, die für RGB- und IR-Beleuchtung empfindlich sind, können Farbbilder bei Tageslicht und monochrome IR-Bilder mit beleuchteten Nah-IR-Spektren erfassen.
Über Fahrerüberwachungssysteme hinausgehen
Alawi ist stolz darauf, dass die KI-Software von Eyeris umfassende Körper- und Gesichtsanalysen, Überwachung der Passagieraktivität und Objekterkennung durchführen kann. Neben der Beobachtung des Fahrers „überwachen wir alles im Auto, einschließlich der Oberflächen der Sitze und des Lenkrads“, und betonte, dass das Startup bereits mehr als „nach Autos im Videostream sucht“.
Laurent Emmerich, Direktor für europäische Kundenlösungen bei Seeing Machines, plädierte jedoch dafür, hier nicht aufzuhören. "Es ist eine natürliche Entwicklung, nicht nur den Fahrer zu beobachten und viele Objekte im Auge zu behalten", sagte er. "Wir wollen auch expandieren."
Im Vergleich zu Start-ups liegt der Vorteil von Seeing Machines in „einer soliden Grundlage für Computer Vision und KI-Erfahrung, die in den letzten 20 Jahren gesammelt wurden“, fügte er hinzu. Das Fahrerüberwachungssystem des Unternehmens wird derzeit von „sechs Automobilherstellern“ verwendet und ist in neun unterteilt Programme "
Darüber hinaus stellte Seeing Machines fest, dass es auch einen eigenen Chip zur Überwachung von Fahrern entwickelt hat. Fovio fragte, ob der Chip auch Arbeit für zukünftige Autoüberwachungssysteme bieten könne. Emmerich erklärte, dass sein Chip in der konfigurierbaren Hardwareplattform verwendet werde ...
Reservierung
Das Kombinieren und Installieren verschiedener Sensoren in einem Auto ist nicht nur erforderlich, um die Wahrnehmung zu verbessern, sondern auch um die dringend benötigte Redundanz für die Sicherheit hinzuzufügen.
Outsight-Box in AutoSens.
Outsight, ein Startup, das vom ehemaligen CEO von Whitings, Cedric Hutchings, mitbegründet wurde, präsentiert auf der AutoSens ein neues hochintegriertes Multisensorsystem. Er erklärte, dass die Outsight-Sensoreinheit "eine aussagekräftige Erkennung und Lokalisierung von Objekten mit einem Verständnis des Kontextes der Umgebung - einschließlich Schnee, Eis und Öl auf der Straße" ermöglichen soll. Er fügte hinzu: "Wir können sogar Materialien auf der Straße mithilfe der aktiven hyperspektralen Erfassung klassifizieren."
Auf die Frage, wessen Sensoren in der Outsight Box verwendet werden, verzichtete er auf einen Kommentar. "Wir geben unsere wichtigsten Partner derzeit nicht bekannt, da wir noch an Spezifikationen und Anwendungen arbeiten."
Die EE Times sprach mit Trieye, dass Outsight eine Trieye SWIR-Kamera verwenden wird. Outsight bewirbt seinen Sensorblock, der im ersten Quartal 2020 zum Testen freigegeben werden soll. Die Outsight Box soll ein komplementäres autonomes System sein, das Daten "unabhängig von anderen Sensoren" für Sicherheit und "echte Redundanz" bereitstellt, erklärte Hutchings.
Outsight Box verwendet keine Technologien für maschinelles Lernen. Daher sind die Ergebnisse seiner Arbeit vorhersehbar und das System selbst kann "zertifiziert" werden.
Für den UAV- und ADAS-Markt entwickelte Aeye außerdem iDAR, ein Festkörper-MEMS-Lidar in Verbindung mit einer hochauflösenden Kamera. Durch die Kombination von zwei Sensoren und eingebetteter KI kann das Echtzeitsystem „eine Reihe von Randproblemen lösen“, sagt Aravind Ratnam, Vice President für Produktmanagement bei AEye.
Das iDAR-System kombiniert 2D-Kamera-Pixel (RGB) und 3D-Lidar-Daten-Voxel (XYZ), um in Echtzeit einen neuen Datentyp zu generieren. Das Unternehmen erklärte, dass dieser neue Datentyp eine größere Genauigkeit und Reichweite bieten und die Daten selbst für Routing-Systeme in unbemannten Fahrzeugen verständlicher sein sollten.
Produktmerkmale von AEye AE110 im Vergleich zu branchenüblichen Benchmarks und Funktionen.
In seinem Vortrag sagte Ratnam, dass AEye eine Vielzahl von Anwendungen untersucht. „Wir haben 300 Szenarien betrachtet, 56 ausgewählt, die übereinstimmten, und sie auf 20 eingegrenzt“, in denen die Verschmelzung von Kamera, Lidar und künstlicher Intelligenz Sinn macht.
Ratnam zeigte eine Szene, in der ein kleines Kind aus dem Nichts einen Ball auf die Straße treibt - direkt vor dem Auto. Das Lidar-Kamerasystem arbeitet viel schneller und verkürzt die Reaktionszeiten des Fahrzeugs. Ratnam kommentierte: "Unsere iDAR-Plattform bietet sehr schnelles Computing."
Auf die Vorteile der Kombination von Sensoren angesprochen, sagte ein Waymo-Ingenieur der EE Times auf der Konferenz, er sei sich nicht sicher, ob dies einen großen Unterschied machen würde. Er fragte: „Der Unterschied wird Mikrosekunden betragen? Ich bin mir nicht sicher".
AEye ist zuversichtlich, welche Vorteile ihr iDAR bieten kann. Ratnam von AEye bemerkte die enge Zusammenarbeit mit Hella und LG und betonte: „Wir konnten die Kosten für iDAR senken. Wir bieten jetzt 3D-Lidar zum ADAS-Preis an. “
In den nächsten 3 bis 6 Monaten wird AEye die Arbeiten an einem Automobilsystem abschließen, das RGB-, Lidar- und AI-Algorithmen kombiniert. Ratnam behauptet, dass ihre Lösung weniger als 1.000 US-Dollar kosten wird.
Verkauf von Lidar-Systemen für die Automobilindustrie (Quelle: IHS Markit)
Dexin Chen, Senior Analyst für Automobilhalbleiter und -sensoren bei IHS Markit, sagte den Konferenzteilnehmern, dass Lidar-Anbieter "dem Markt voraus und zu vielversprechend" seien. Er merkte an, dass in Zukunft die physikalischen Eigenschaften von Lidars (die ihr Vorteil sind) den Markt beeinflussen könnten, aber ihre Kommerzialisierung alles entscheiden wird. Der Markt braucht dringend "Standardisierung, Allianzen und Partnerschaften sowie Supply Chain Management und KI-Partnerschaften".
Abonnieren Sie die Kanäle:
@TeslaHackers - eine Community russischer Tesla-Hacker, Miet- und
Drifttraining auf Tesla @AutomotiveRu - Nachrichten aus der Autoindustrie, Hardware und Fahrpsychologie
Über ITELMA
Lesen Sie weitere hilfreiche Artikel: