Wie sehen selbstfahrende Autos Computer Vision?

In der heutigen Welt steigt die Nachfrage nach autonomen Robotern oder Fahrzeugen exponentiell, und die Anwendung von Simultaneous Localization And Mapping (SLAM) erhält immer mehr Aufmerksamkeit. Erstens verfügen autonome Fahrzeuge über ein Bündel von Sensoren wie Kameras, Lidar, Radar usw.

Diese Sensoren analysieren die Umgebung um das Fahrzeug, bevor das Fahrzeug eine entscheidende Entscheidung über seinen nächsten Bewegungszustand trifft. Aus Lidar- und Kameradaten wird eine Lokalisierungskarte erstellt. Es kann eine 2D- oder eine 3D-Karte sein. Der Zweck der Karte besteht darin, die statischen Objekte um das autonome Fahrzeug wie Gebäude, Bäume usw. herum zu identifizieren. Alle dynamischen Objekte werden entfernt, indem alle Lidar-Punkte entfernt werden, die sich innerhalb des Begrenzungsrahmens erkannter dynamischer Objekte befinden. Erfahren Sie mehr über die Anwendungen von KI

Statische Gegenstände, die das Fahrzeug nicht stören, werden ebenfalls entfernt, wie befahrbare Oberflächen oder Äste. Mit dem eingerichteten Gitter können wir einen kollisionsfreien Weg für das Fahrzeug vorhersagen. Eines der wesentlichen Elemente von SLAM ist die 3D-Kartierung der Umgebung, die es autonomen Robotern ermöglicht, die Umgebung wie ein Mensch zu verstehen, wofür sich viele Tiefenkameras oder RGB-D-Kameras als wertvoll erweisen.

Damit autonome Fahrzeuge effizient navigieren können, benötigen sie einen Bezugsrahmen und beobachten die Umgebung mithilfe von Computervisionsalgorithmen, um eine Karte ihrer Umgebung zu skizzieren und die Strecke zu überqueren. Die 3D-Rekonstruktion umfasst die Verwendung von Computer Vision zur Beobachtung der äußeren Umgebung unter Verwendung einer tiefenbasierten 3D-Punktwolke.

Das Grundprinzip ist daher ein Knotenpunkt zwischen 3D-Rekonstruktion und autonomer Navigation. Das steigende Interesse an 3D-Lösungen verlangt nach einer Komplettlösung, die die Umgebung wahrnehmen und eine 3D-Projektion der entsprechenden Umgebung erstellen kann.

Die Anwendung von Computer-Vision-Algorithmen zur Automatisierung der Robotik oder zur Erstellung von 3D-Designs ist weit verbreitet. Das Problem der gleichzeitigen Lokalisierung und Kartierung besteht schon seit langem, und es wird viel Forschung betrieben, um effiziente Methoden zu finden, um das Problem der Kartierung anzugehen.

Die aktuelle Forschung in diesem Bereich verwendet teure Kameras zur Erstellung von Disparitäts- und Tiefenkarten, die zwar genauer, aber immer noch teuer sind. Verschiedene Methoden umfassen die Verwendung von Stereovisionskameras, um die Tiefe der umgebenden Objekte zu bestimmen, die weiter verwendet wird, um 3D-Punktwolken zu erzeugen.

Arten von Umgebungsdarstellungskarten

• Lokalisierungskarten: Sie werden mithilfe einer Reihe von LIDAR-Punkten oder Kamerabildmerkmalen erstellt, während sich das Auto bewegt. Diese Karte wird zusammen mit GPU, IMU und Odometrie vom Lokalisierungsmodul verwendet, um die genaue Position des autonomen Fahrzeugs zu schätzen. Wenn neue LIDAR- und Kameradaten empfangen werden, werden sie mit der Lokalisierungskarte verglichen und die Messung der Position des autonomen Fahrzeugs wird erstellt, indem die neuen Daten mit der vorhandenen Karte abgeglichen werden.
• Belegungsrasterkarte : Diese Karte verwendet einen kontinuierlichen Satz von LIDAR-Punkten, um eine Kartenumgebung aufzubauen, die die Position aller statischen Objekte angibt, die verwendet wird, um einen sicheren kollisionsfreien Weg für das autonome Fahrzeug zu planen.

Es ist wichtig zu beachten, dass das Vorhandensein dynamischer Objekte in der Punktwolke die genaue Rekonstruktion der Punktwolke behindert. Diese dynamischen Objekte verhindern die eigentliche Umgestaltung der Umgebung. Aus demselben Grund ist es wichtig, eine Lösung zu formulieren, die dieses Problem angeht.

Die Hauptabsicht besteht darin, diese dynamischen Objekte mithilfe von Deep Learning zu identifizieren. Sobald diese Objekte identifiziert sind, können die Punkte, die diesen Begrenzungsrahmen einschließen, verworfen werden. Auf diese Weise besteht das rekonstruierte Modell vollständig aus statischen Objekten.

Die RGB-D-Kamera kann die Tiefe mit einem IR-Sensor messen. Die so erhaltene Ausgabe sind Bilddaten (die RGB-Werte) und die Tiefendaten (Entfernung des Objekts von der Kamera). Da die Tiefe genau sein muss, kann jede Abweichung einen tödlichen Unfall verursachen. Aus diesem Grund werden die Kameras so kalibriert, dass sie eine genaue Messung der Umgebung liefern. Tiefenkarten werden normalerweise verwendet, um die Genauigkeit der berechneten Tiefenwerte zu validieren.

Die Tiefenkarte ist eine Graustufenausgabe der Umgebung, in der die näher an der Kamera befindlichen Objekte hellere Pixel und die weiter entfernten dunklere Pixel aufweisen. Die von der Kamera erhaltenen Bilddaten werden an das Objekterkennungsmodul weitergeleitet, das die im Rahmen vorhandenen dynamischen Objekte identifiziert.

Also, wie identifizieren wir diese dynamischen Objekte, fragen Sie sich vielleicht?

Hier wird ein tief lernendes neuronales Netzwerk darauf trainiert, die dynamischen Objekte zu identifizieren. Das so trainierte Modell läuft über jedes von der Kamera empfangene Bild. Wenn es ein identifiziertes dynamisches Objekt gibt, werden diese Frames übersprungen. Aber es gibt ein Problem mit dieser Lösung. Das Überspringen des gesamten Frames macht keinen Sinn. Das Problem ist – Informationsspeicherung.

Um dies zu bewältigen, werden nur die Pixel des Begrenzungsrahmens eliminiert, während die umgebenden Pixel beibehalten werden. Bei Anwendungen im Zusammenhang mit selbstfahrenden Fahrzeugen und autonomen Lieferdrohnen wird die Lösung jedoch auf eine andere Ebene gehoben. Denken Sie daran, ich hatte erwähnt, dass wir mithilfe von LIDAR-Sensoren eine 3D-Karte der Umgebung erhalten.

Danach wird das Deep-Learning-Modell (3D-CNN) verwendet, um Objekte in einem 3D-Rahmen (X-, Y-, Z-Achsen) zu eliminieren. Diese neuronalen Netzwerkmodelle haben Ausgaben von 2 Formen. Einer ist die Vorhersageausgabe, die eine Wahrscheinlichkeit oder Wahrscheinlichkeit des identifizierten Objekts ist. Und zweitens sind die Koordinaten des Begrenzungsrahmens. Denken Sie daran, dass dies alles in Echtzeit geschieht. Daher ist es äußerst wichtig, dass eine gute Infrastruktur vorhanden ist, um diese Art der Verarbeitung zu unterstützen.

Abgesehen davon spielt Computer Vision auch eine wichtige Rolle bei der Erkennung von Straßenschildern. Es gibt Modelle, die in Verbindung laufen, um diese Straßenschilder verschiedener Typen zu erkennen – Geschwindigkeitsbegrenzung, Vorsicht, Geschwindigkeitsbegrenzung usw. Auch hier wird ein trainiertes Deep-Learning-Modell verwendet, um diese Vitalzeichen zu identifizieren, damit das Fahrzeug entsprechend handeln kann.

Für die Spurlinienerkennung wird Computer Vision auf ähnliche Weise angewendet

Die Aufgabe besteht darin, die Koeffizienten der Gleichung einer Fahrspurlinie zu erzeugen. Die Gleichung der Spurlinien kann unter Verwendung von Koeffizienten erster, zweiter oder dritter Ordnung dargestellt werden. Eine einfache Gleichung erster Ordnung ist einfach eine lineare Gleichung vom Typ mx+n (eine Gerade). Hochdimensionale Gleichungen haben eine größere Kraft oder Ordnung, die Kurven darstellt.

Datensätze sind nicht immer konsistent und deuten auf Spurlinienkoeffizienten hin. Darüber hinaus möchten wir möglicherweise zusätzlich die Art der Linie identifizieren (durchgezogen, gestrichelt usw.). Es gibt zahlreiche Merkmale, die wir möglicherweise erkennen möchten, und es ist für ein einzelnes neuronales Netzwerk nahezu unmöglich, die Ergebnisse zu verallgemeinern. Eine übliche Methode zur Lösung dieses Dilemmas ist die Anwendung eines Segmentierungsansatzes.

Bei der Segmentierung besteht der Zweck darin, jedem Pixel eines Bildes eine Klasse zuzuweisen. Bei diesem Verfahren ähnelt jede Bahn einer Klasse, und das neuronale Netzwerkmodell zielt darauf ab, ein Bild mit Bahnen zu erzeugen, die aus verschiedenen Farben bestehen (jede Bahn hat ihre eigene Farbe).

Lesen Sie auch: KI-Projektideen und -themen

Fazit

Hier haben wir die allgemeinen Anwendungen von Computer Vision im Bereich autonomer Fahrzeuge diskutiert. Ich hoffe, Ihnen hat dieser Artikel gefallen.

Wenn Sie mehr über maschinelles Lernen und KI erfahren möchten, sehen Sie sich das PG-Diplom in maschinellem Lernen und KI von IIIT-B & upGrad an, das für Berufstätige konzipiert ist und mehr als 450 Stunden strenge Schulungen, mehr als 30 Fallstudien und Aufgaben bietet. IIIT-B Alumni-Status, mehr als 5 praktische Schlusssteinprojekte und Arbeitsunterstützung bei Top-Unternehmen.

Lernen Sie ML-Kurse von den besten Universitäten der Welt. Erwerben Sie Master-, Executive PGP- oder Advanced Certificate-Programme, um Ihre Karriere zu beschleunigen.