Kamera zerstört Lidar, behauptet Startup

Jul 08, 2023

Wenn Sie ein Auto selbst fahren lassen, sollte es ein äußerst detailliertes Bild seiner Umgebung haben. Bisher hat die Branche die lasergestützte Präzision von Lidar bevorzugt. Aber das Startup Nodar mit Sitz in Somerville, Massachusetts, meint, dass kamerabasierte Systeme eine bessere Leistung erbringen könnten.

Lidar, kurz für Light Detection and Ranging, scannt die Umgebung mit Laserstrahlen und erfasst dann die Reflexionen. Wenn man misst, wie lange es dauert, bis das Licht zurückkommt, kann man die Entfernung abschätzen und diese Informationen nutzen, um ein 3D-Bild zu erstellen. Die meisten heutigen autonomen Fahrzeuge, darunter auch die von Waymo und Cruise, sind stark auf Lidar angewiesen, was für nur eine einzige Einheit Zehntausende von Dollar kosten kann. Nodar sagt, dass seine Alternative weitaus weniger kosten würde.

Kamerabasierte 3D-Vision-Systeme sind bei der Beurteilung von Entfernungen deutlich schlechter als Lidar und haben bei schlechten Lichtverhältnissen oder schlechtem Wetter oft Probleme. Aber dank der Fortschritte in der Automobilkameratechnologie und der proprietären Software von Nodar ist dies laut CEO Leaf Jiang nicht mehr der Fall.

Nodar nimmt Bilder von zwei weit voneinander entfernten Kameras auf und vergleicht dann ihre Ansichten, um ein Dreieck zu konstruieren, mit dem Objekt an der entfernten Spitze. Anschließend wird berechnet, wie weit ein Objekt entfernt ist.

„Kamerabasierte Systeme hatten im Allgemeinen immer einen schlechten Ruf“, sagt er. „Wir hoffen, mit unseren neuen Ergebnissen mit diesen Mythen aufzuräumen.“

In jüngsten Tests, sagt er, übertraf die Technologie des Unternehmens Lidar sowohl bei der Auflösung als auch bei der Reichweite in einer Vielzahl von Szenarien, einschließlich Nachtfahrten und starkem Nebel, durchweg. Insbesondere war es in der Lage, kleine Objekte wie Holzstücke oder Verkehrskegel in doppelt so großer Entfernung wie Lidar zu erkennen, was laut Jiang für das Fahren auf der Autobahn mit höheren Geschwindigkeiten wichtig ist.

Nodar nimmt Bilder von zwei weit voneinander entfernten Kameras auf und vergleicht dann ihre Ansichten, um ein Dreieck zu konstruieren, mit dem Objekt an der entfernten Spitze. Anschließend wird berechnet, wie weit ein Objekt entfernt ist. Solche Stereokameraaufbauten sind allgemein bekannt; Mehrere Automobilzulieferer integrieren sie in fortschrittliche Fahrerassistenzsysteme (ADAS).

Unter trockenen, gut beleuchteten Bedingungen kann die Software von Nodar 40 Millionen 3D-Datenpunkte pro Sekunde generieren, wie in dieser Automobil-Umweltsimulationskammer in Deutschland demonstriert.Nodar

Der Ansatz steht jedoch vor zwei Herausforderungen. Die beiden Kameras müssen präzise kalibriert werden, was bei einem vibrierenden Auto, das den unterschiedlichsten Umgebungsbedingungen ausgesetzt ist, schwierig zu bewerkstelligen ist. Normalerweise wird dies durch exquisit konstruierte Halterungen erreicht, die die Kameras stabil halten, sagt Jiang, aber dazu müssen sie nahe beieinander liegen. Das ist ein Problem, denn je kleiner der Basisabstand zwischen den Kameras ist, desto schwieriger ist die Triangulation zu entfernten Objekten.

Um dies zu umgehen, hat Nodar eine patentierte Autokalibrierungssoftware entwickelt, die es Ihnen ermöglicht, Kameras viel weiter voneinander entfernt zu platzieren und gleichzeitig das System weniger anfällig für Instabilitäten zu machen. Normalerweise erfolgt die Kamerakalibrierung in sorgfältig kontrollierten Umgebungen mit speziell entwickelten visuellen Zielen, aber die Software von Nodar nutzt Hinweise aus realen Szenen und ist in der Lage, die beiden Kameras bei jedem Bild zu synchronisieren. Das sei zwar rechenintensiv, sagt Jiang, aber Nodar habe hocheffiziente Algorithmen entwickelt, die in Echtzeit auf handelsüblichen Automobilchips laufen könnten.

Dadurch, dass die Kameras viel weiter voneinander entfernt platziert werden können, ermöglicht ihr System eine Triangulation zu Objekten in einer Entfernung von bis zu 1.000 Metern, sagt Jiang, was wesentlich weiter ist, als die meisten Lidar-Sensoren bewältigen können.

Die andere Herausforderung für Kameras besteht darin, dass sie im Gegensatz zu Lidar, das über eine eigene Lichtquelle verfügt, auf Umgebungslicht angewiesen sind. Deshalb haben sie oft nachts oder bei schlechtem Wetter Probleme.

Um zu sehen, wie sich ihr System in diesen Situationen verhält, führte Nodar eine Reihe von Tests auf einer abgelegenen Landebahn in Maine durch, bei der es nahezu keine Lichtverschmutzung gab. Das Unternehmen arbeitete auch mit einer Umweltsimulationskammer für Kraftfahrzeuge in Deutschland zusammen, die Bedingungen wie Regen und Nebel nachbilden kann. Sie sammelten Daten mit einem Paar 5,4-Megapixel-Kameras mit 30-Grad-Sichtfeldlinsen im Abstand von 1,2 Metern und verglichen ihre Ergebnisse mit einem High-End-Automobil-Lidar mit 1.550 Nanometern.

Am helllichten Tag generierte Nodars Setup 40 Millionen 3D-Datenpunkte pro Sekunde, verglichen mit 600.000 beim Lidar. Bei extrem starkem Regen sank die Zahl der gültigen Datenpunkte nur um etwa 30 Prozent, bei Lidar betrug der Rückgang etwa 60 Prozent. Und bei Nebel und einer Sichtweite von etwa 45 Metern stellten sie fest, dass 70 Prozent ihrer Entfernungsmessungen immer noch genau waren, verglichen mit nur 20 Prozent bei Lidar.

Nachts konnte ihr System mit Fernscheinwerfern ein 12 Zentimeter hohes Stück Holz aus einer Entfernung von 130 Metern erkennen, im Vergleich zu weniger als 50 Metern mit Lidar. Ähnlich verhielt sich Lidar mit einem 70 Zentimeter hohen Verkehrskegel, aber Nodars Technologie konnte ihn aus 200 Metern Entfernung erkennen.

Die Fähigkeiten von Autokameras verbessern sich rasant, sagt Jiang. Heutige Geräte seien in der Lage, bei sehr schwachen Lichtverhältnissen zu funktionieren, sagt er, und könnten feine Details in einer nebligen Szene erkennen, die mit bloßem Auge nicht sichtbar seien.

Ergänzt wird dies aber auch durch den proprietären Stereo-Matching-Algorithmus des Unternehmens, der laut Jiang Bilder auch dann synchronisieren kann, wenn sie verschwommen sind. Dadurch können sie längere Belichtungszeiten nutzen, um nachts mehr Licht zu sammeln, und es ist auch möglich, bei Nebel oder Regen anhand unscharfer visueller Hinweise zu triangulieren.

Wenn ihre Technologie so funktioniert, wie sie sagen, wären die Vorteile „geringere Kosten, größere Reichweite, bessere Auflösung und einfache Integration, da sie handelsübliche Kameras verwenden“, sagt Guarav Gupta, Analyst bei Gartner. Aber die einzigen Leute, die die Behauptungen wirklich bestätigen können, seien die Automobilunternehmen, mit denen Nodar zusammenarbeitet, fügt er hinzu.

„Es ist auch wichtig zu beachten, dass Automotive Lidar eine 360-Grad-Ansicht rund um das Fahrzeug bietet“, sagt Steven Waslander, Direktor des Toronto Robotics and AI Laboratory an der University of Toronto. Es sei wahrscheinlich nicht fair, diese Leistung mit nach vorne gerichteten Stereokameras zu vergleichen, sagt er. Wenn man diese 360-Grad-Ansicht mit mehreren Stereosystemen reproduzieren wollte, wäre das sowohl finanziell als auch rechnerisch teurer, fügt er hinzu.

Jiang sagt, dass Nodars verbesserte Reichweite und Auflösung besonders wichtig für das Fahren auf der Autobahn sein könnten, wo höhere Geschwindigkeiten und längere Bremswege die Erkennung entfernter Objekte entscheidend machen. Aber Mohit Sharma, ein Forschungsanalyst bei Counterpoint Research, weist darauf hin, dass neue Lidar-Sensoren, die optische Phased-Arrays verwenden, wie der Lidar-on-a-Chip von Analog Photonics, viel schnellere Scangeschwindigkeiten ermöglichen werden, die für das Fahren auf der Autobahn geeignet sind.

Letztendlich ist Sharma davon überzeugt, dass keine einzelne Technologie ein Allheilmittel für autonome Fahrzeuge sein wird. „Ich glaube, dass die Sensorfusion der beste Weg ist, mit der Komplexität des autonomen Fahrens umzugehen, und dass Innovationen sowohl in der Lidar- als auch in der Kameratechnologie hilfreich sein werden, um ein vollständig autonomes Fahren zu erreichen“, sagt er.