自動駕駛汽車如何使用計算機視覺來觀察？

當今世界，對自主機器人或車輛的需求呈指數級增長，同時定位與地圖繪製 (SLAM) 的應用越來越受到廣泛關注。 首先，自動駕駛汽車有一堆傳感器，如攝像頭、激光雷達、雷達等。

在車輛對其下一個運動狀態做出任何關鍵決定之前，這些傳感器會分析車輛周圍的環境。 從激光雷達和相機數據中創建定位地圖。 它可以是 2D 或 3D 地圖。 該地圖的目的是識別自動駕駛車輛周圍的靜態對象，如建築物、樹木等。通過移除在檢測到的動態對象的邊界框中找到的所有激光雷達點來移除所有動態對象。 了解有關AI 應用的更多信息

不會干擾車輛的靜態物體也會被移除，例如可行駛的表面或樹枝。 建立網格後，我們可以預測車輛的無碰撞路徑。 SLAM 的重要元素之一是環境的 3DMapping，它有助於自主機器人像人類一樣理解環境，許多深度相機或 RGB-D 相機證明對環境很有價值。

為了讓自動駕駛汽車有效導航，它們需要一個參考框架，並使用計算機視覺算法觀察周圍環境，以勾勒出周圍環境的地圖並穿越軌道。 3D 重建包括使用計算機視覺使用基於深度的 3D 點雲來觀察外部環境。

因此，基本原理是 3D 重建與自主導航的結合點。 對 3D 解決方案的興趣增加，需要一個能夠感知周圍環境並構建相應環境的 3D 投影的完整解決方案。

計算機視覺算法用於實現機器人自動化或生產 3D 設計的實踐非常普遍。 同時定位和映射難題已經持續了很長時間，並且正在進行大量研究以找到解決映射問題的有效方法。

目前該領域的研究使用昂貴的相機來生成視差圖和深度圖，雖然更準確，但仍然很昂貴。 不同的方法涉及利用立體視覺相機來確定周圍物體的深度，進而用於生成 3D 點雲。

環境表示圖的類型

• 定位地圖：它是在汽車移動時使用一組激光雷達點或相機圖像特徵創建的。 定位模塊使用此地圖以及 GPU、IMU 和里程計來估計自動駕駛車輛的精確位置。 當接收到新的激光雷達和攝像頭數據時，會將其與定位地圖進行比較，並通過將新數據與現有地圖對齊來創建自動駕駛汽車位置的測量。
• 佔用網格地圖：該地圖使用一組連續的激光雷達點來構建地圖環境，指示所有靜態物體的位置，用於為自動駕駛車輛規劃安全的無碰撞路徑。

需要注意的是，點雲中動態對象的存在會阻礙點雲的準確重建。 這些動態對象阻止了對周圍環境的實際重塑。 出於同樣的目的，制定解決此問題的解決方案也很重要。

主要目的是使用深度學習識別這些動態對象。 一旦識別出這些對象，就可以丟棄包圍該邊界框的點。 這樣，重建的模型將完全是靜態對象。

RGB-D 相機可以使用紅外傳感器測量深度。 如此獲得的輸出是圖像數據（RGB 值）和深度數據（物體距離相機的範圍）。 由於深度必須準確，任何不匹配都可能導致致命事故。 出於這個原因，相機的校準方式可以產生對周圍環境的準確測量。 深度圖通常用於驗證計算的深度值的準確性。

深度圖是周圍環境的灰度輸出，其中靠近相機的物體擁有較亮的像素，而遠離相機的物體擁有較暗的像素。 從相機獲得的圖像數據被傳遞到對象檢測模塊，該模塊識別幀中存在的動態對象。

那麼，我們如何識別您可能會問到的這些動態對象？

在這裡，訓練一個深度學習神經網絡來識別動態對象。 如此訓練的模型會遍歷從相機接收到的每一幀。 如果存在已識別的動態對象，則跳過這些幀。 但是，這個解決方案有一個問題。 跳過整個幀沒有意義。 問題是——信息保留。

為了解決這個問題，只消除了邊界框像素，而保留了周圍的像素。 然而，在與自動駕駛汽車和自動送貨無人機相關的應用中，該解決方案被提升到了另一個層次。 請記住，我曾提到我們使用 LIDAR 傳感器獲得周圍環境的 3D 地圖。

之後，使用深度學習模型（3D CNN）消除 3D 幀（x、y、z 軸）中的對象。 這些神經網絡模型有兩種形式的輸出。 一種是預測輸出，它是識別對象的概率或可能性。 其次是邊界框坐標。 請記住，所有這些都是實時發生的。 因此，有一個良好的基礎設施來支持這種處理是非常重要的。

除此之外，計算機視覺在識別路牌方面也發揮著重要作用。 有一些模型可以結合運行來檢測各種類型的街道標誌——限速、警告、限速器等。同樣，訓練有素的深度學習模型用於識別這些生命體徵，以便車輛可以採取相應的行動。

對於車道線檢測，計算機視覺以類似的方式應用

任務是產生車道線方程的係數。 車道線方程可以使用一階、二階或三階係數來表示。 一個簡單的一階方程就是一個 mx+n 類型的線性方程（一條直線）。 代表曲線的高維方程具有更大的功率或階數。

數據集並不總是一致的，並建議車道線係數。 此外，我們可能還想識別線的性質（實線、虛線等）。 我們可能想要檢測許多特徵，單個神經網絡幾乎不可能概括結果。 解決這種困境的常用方法是採用分割方法。

在分割中，目的是為圖像的每個像素分配一個類別。 在這種方法中，每條車道都類似於一個類，神經網絡模型旨在生成由不同顏色組成的車道圖像（每條車道都有其獨特的顏色）。

另請閱讀：人工智能項目理念和主題

結論

在這裡，我們討論了計算機視覺在自動駕駛汽車領域的一般應用。 希望你喜歡這篇文章。

如果您有興趣了解有關機器學習和人工智能的更多信息，請查看 IIIT-B 和 upGrad 的機器學習和人工智能 PG 文憑，該文憑專為在職專業人士設計，提供 450 多個小時的嚴格培訓、30 多個案例研究和作業， IIIT-B 校友身份、5 個以上實用的實踐頂點項目和頂級公司的工作協助。

從世界頂級大學學習ML 課程。 獲得碩士、Executive PGP 或高級證書課程以加快您的職業生涯。