Heute werden wir diskutieren, warum 3D-Sensoren in Smartphones benötigt werden, wie es funktioniert, und natürlich werden wir mehrere Tests durchführen und die Aussagen der Hersteller überprüfen.
Was ist ein 3D-Sensor (Tiefensensor)
Lassen Sie uns zunächst herausfinden, was ein 3D-Sensor ist. Kameras erfassen eine Projektion der umgebenden Welt auf ein Flugzeug. Allein auf dem Foto kann man die tatsächliche Größe des Objekts nicht verstehen - sei es die Größe einer Flasche oder die Größe des Schiefen Turms von Pisa. Und die Entfernung dazu ist auch schwer zu verstehen.
Um die tatsächliche Größe der Objekte auf dem Foto und den Maßstab der Aufnahme zu verstehen und zu unterscheiden, was näher an der Kamera liegt und was als nächstes kommt, werden 3D-Sensoren benötigt. Sie werden seit langem aktiv in der Robotik, im autonomen Verkehr, in Spielen, in der Medizin und an vielen anderen Orten eingesetzt. Darüber hinaus sind unsere Augen auch ein 3D-Sensor. Gleichzeitig sind die Augen im Gegensatz zu LiDAR- und ToF-Sensoren in Smartphones ein passiver 3D-Sensor. Das heißt, es sendet kein Licht aus, sondern arbeitet nur auf der Grundlage des einfallenden Lichts. Nur so können wir uns irgendwie im Raum bewegen und mit umgebenden Objekten interagieren. Jetzt sind 3D-Sensoren in Smartphones erschienen.
Wie funktioniert ToF?
LiDAR im iPad sowie alle 3D-Sensoren in Android-Smartphones sind Flugzeit- oder kurz ToF-Sensoren. Sie bestimmen die Entfernung zu Objekten in der Umgebung und messen direkt, wie lange es dauert, bis das Licht von der Kamera zum Objekt und zurück gelangt. Dies ist einem Echo in einer Höhle sehr ähnlich, es kehrt auch mit einer Verzögerung zu uns zurück, nachdem es von den Wänden reflektiert wurde. Es dauert 3 Nanosekunden, um 1 Meter Licht zu fliegen, und 30 Pikosekunden für 1 cm. Alles scheint klar zu sein. Aber es gibt ein Problem.
Dies sind sehr kleine Intervalle. Wie kann eine Kamera dies messen? Sie wird nicht eine Milliarde Bilder pro Sekunde aufnehmen und sie dann vergleichen? Es gibt zwei Hauptansätze zur Lösung dieses Problems: dToF (direktes ToF) und iToF (indirektes ToF). Und um Sie noch mehr zu faszinieren: Die überwiegende Mehrheit der Android-Smartphones verwendet nur iToF-Sensoren, während LiDAR in Apple iPad und höchstwahrscheinlich in kommenden iPhones ein seltener Vertreter der dToF-Sensorfamilie ist. Wie unterscheiden sie sich?
iToF - indirekter ToF
Beginnen wir mit iToF. Bei solchen Sensoren sendet der Emitter hochfrequenzmoduliertes Licht, dh dieses Licht wird ständig mit einer Frequenz von mehreren zehn Millionen Mal pro Sekunde ein- und ausgeschaltet. Aufgrund der Tatsache, dass das Licht Zeit benötigt, um zum Objekt und zurück zu fliegen, unterscheidet sich die Phase, dh dieser Zustand, irgendwo zwischen Ein und Aus. Das zur Kamera zurückgekehrte Licht unterscheidet sich geringfügig von der Phase des Lichts zum Zeitpunkt des Sendens. Auf dem Sensor werden die ursprünglichen und die vom Objekt zurückreflektierten Signale überlagert, und aufgrund dessen wird die Phasenverschiebung bestimmt, wodurch wir den Abstand zu jedem Punkt des Objekts verstehen können.
dToF - direktes ToF
dToF funktioniert etwas anders. Diese Sensoren messen direkt den Zeitunterschied zwischen dem Senden von Licht und dem Erfassen seiner Reflexion am Sensor. Hierzu werden die sogenannten SPAD: Single Photon Avalanche Dioden eingesetzt. Sie können extrem kleine Lichtimpulse erfassen und sogar einzelne Photonen einfangen. Diese SPADs befinden sich in jedem Pixel des Sensors. Und als Emitter in solchen Sensoren werden in der Regel die sogenannten VCSEL - Vertical Cavity, Surface Emitting Laser verwendet. Dies ist ein Laseremitter, ähnlich wie bei Lasermäusen und vielen anderen Orten. Der dToF-Sensor in LiDAR wurde in Zusammenarbeit mit Sony entwickelt und ist der erste kommerzielle dToF-Sensor in Massenproduktion.
Warum das iPad einen dToF-Sensor verwendet, ist unklar, aber lassen Sie uns die Vorteile eines solchen Sensors hervorheben. Erstens sendet der Emitter im Gegensatz zum iToF-Sensor keine feste Lichtwand aus, sondern leuchtet nur in verschiedene Richtungen, was die Batterielebensdauer spart. Zweitens ist der dToF-Sensor weniger anfällig für Fehler bei der Tiefenmessung aufgrund sogenannter Mehrwegestörungen. Dies ist ein typisches Problem bei iToF-Sensoren. Es tritt aufgrund der Reflexion von Licht zwischen Objekten auf, bevor es in den Sensor eintritt, und verzerrt die Messungen des Sensors.
Wie es funktioniert, haben wir herausgefunden. Lassen Sie uns nun sehen, warum 3D-Sensoren überhaupt in Smartphones verwendet werden.
Warum wird es in Smartphones benötigt?
1. Sicherheit
Wir verdanken die erste massive Einführung von 3D-Sensoren in Smartphones der Apple- und Face ID-Technologie. Die Gesichtserkennung mit dreidimensionalen Daten ist viel genauer und zuverlässiger als die klassische Gesichtserkennung auf einem Foto. Für Face ID verwendet Apple eine strukturierte Beleuchtungstechnologie, auf die wir beim nächsten Mal näher eingehen werden.
2. AR
Die meisten Hersteller behaupten, dass ein besserer und genauerer Augmented Reality-Modus die Hauptaufgabe von 3D-Sensoren ist. Darüber hinaus wird es auch direkt von Google unterstützt. Erst kürzlich haben sie ein bevorstehendes Update ihrer ARCore Augmented Reality-Bibliothek vorgestellt, das eine realistischere Platzierung virtueller Objekte in der Realität und die Interaktion mit realen Objekten ermöglicht.
Für die gleiche Aufgabe hat Apple LiDAR in das iPad Pro integriert. Dies kann ohne einen 3D-Sensor erfolgen, aber alles funktioniert genauer und zuverlässiger damit, und die Aufgabe wird rechnerisch viel einfacher und entlastet den Prozessor. Der 3D-Sensor bringt AR auf eine andere Ebene.
3. Fotoverbesserung
Mehrere Hersteller wie Samsung und HUAWEI sagen, dass der 3D-Sensor hauptsächlich für eine bessere Hintergrundunschärfe und einen genaueren Autofokus bei Videoaufnahmen verwendet wird. Mit anderen Worten, Sie können die Qualität normaler Fotos und Videos verbessern.
4. Andere
Einige Smartphones haben offenen Zugriff auf Sensordaten, sodass immer mehr Anwendungen neue Anwendungen anbieten. So kann beispielsweise mit Hilfe externer Anwendungen ein 3D-Sensor zur Objektmessung, 3D-Abtastung und Bewegungsverfolgung eingesetzt werden. Es gibt sogar eine Anwendung, mit der Sie aus Ihrem Smartphone ein Nachtsichtgerät machen können.
Tests
Wir haben herausgefunden, wie es theoretisch funktioniert. Lassen Sie uns nun sehen, wie es in der Praxis funktioniert und ob diese teuren 3D-Sensoren in Flaggschiffen einen Sinn haben. Für Tests haben wir das Redmi Note 9S genommen, es hat einen ToF-Sensor und wir haben ein paar Bilder im Hochformat aufgenommen, aber im zweiten Fall haben wir die 3D-Kamera einfach mit dem Finger bedeckt. Und hier ist was passiert. Es ist einfach - die Unschärfe ist wirklich größer und besser, wenn ToF funktioniert. Und für die Häufigkeit des Experiments haben wir das Samsung Galaxy S20 Ultra genommen, das auch eine ToF-Kamera erhielt. Und mindestens einen Unterschied finden? Was geschieht? Tatsache ist, dass die ToF-Kamera je nach Hersteller unterschiedlich und in unterschiedlichem Maße eingesetzt wird.
Wir können sagen, dass einige Smartphone-Hersteller ToF-Sensoren nicht für Marketingzwecke in ihre Smartphones einbauen, um eine weitere Kamera hinzuzufügen, sondern nur für den Fall. Und dann entscheiden die Algorithmen, ob sie diese Kamera verwenden oder nicht? Gleichzeitig sind derzeit keine LiDAR- oder ToF-Kameras erforderlich. Das ist also wahrscheinlich etwas mehr Marketing.
