自動運転車はコンピュータビジョンをどのように使用して見るのですか？

今日の世界では、自律型ロボットまたは車両の需要が指数関数的に増加しており、同時ローカリゼーションおよびマッピング（SLAM）のアプリケーションが広く注目されています。 まず、自動運転車には、カメラ、Lidar、レーダーなどのセンサーがバンドルされています。

これらのセンサーは、車両が次の運動状態に関して重要な決定を下す前に、車両周辺の環境を分析します。 Lidarとカメラデータから、ローカリゼーションマップが作成されます。 2Dまたは3Dマップにすることができます。 マップの目的は、建物や樹木など、自動運転車の周囲の静的オブジェクトを識別することです。検出された動的オブジェクトの境界ボックス内にあるすべてのLidarポイントを削除することにより、すべての動的オブジェクトが削除されます。 AIのアプリケーションについてもっと知る

車両に干渉しない静的オブジェクトも、運転可能な表面や木の枝のように削除されます。 グリッドが確立されると、車両の衝突のない経路を予測できます。 SLAMの重要な要素の1つは、自律型ロボットが多くの深度カメラやRGB-Dカメラが価値を証明している人間のような環境を理解するのを容易にする環境の3DMappingです。

自動運転車が効率的にナビゲートするには、基準フレームが必要であり、コンピュータービジョンアルゴリズムを使用して周囲の環境を観察し、周囲の地図の輪郭を描き、トラックを横断します。 3D再構築には、深度ベースの3D点群を使用して周囲を観察するためのコンピュータービジョンの使用が含まれます。

したがって、基本原理は3D再構成と自律航法の接点です。 3Dソリューションへの関心の高まりは、周囲を認識し、対応する周囲の3D投影を構築できる完全なソリューションを求めています。

ロボット工学の自動化を実現したり、3Dデザインを作成したりするためのコンピュータービジョンアルゴリズムの実践は、かなり一般的です。 ローカリゼーションとマッピングの同時の難問は長い間続いており、マッピングの問題に取り組むための効率的な方法論を見つけるために多くの研究が行われています。

この分野の現在の研究では、視差と深度のマップを作成するために高価なカメラを採用しています。これらのマップは、より正確ですが、それでも高価です。 さまざまな方法では、ステレオビジョンカメラを使用して周囲のオブジェクトの深さを決定し、さらに3D点群を生成するために使用します。

環境表現マップの種類

• ローカリゼーションマップ：車が移動するときに、一連のLIDARポイントまたはカメラ画像機能を使用して作成されます。 このマップは、GPU、IMU、およびオドメトリとともに、自動運転車の正確な位置を推定するためにローカリゼーションモジュールによって使用されます。 新しいLIDARとカメラのデータが受信されると、ローカリゼーションマップと比較され、新しいデータを既存のマップと位置合わせすることで自動運転車の位置の測定値が作成されます。
• Occupancy Grid Map ：このマップは、LIDARポイントの連続セットを使用して、自動運転車の安全な衝突のない経路を計画するために使用されるすべての静的オブジェクトの場所を示すマップ環境を構築します。

点群内に動的オブジェクトが存在すると、点群の正確な再構築が妨げられることに注意することが重要です。 これらの動的オブジェクトは、周囲の実際の改造を防ぎます。 同じ目的のために、この問題に取り組む解決策を策定することが重要です。

主な目的は、ディープラーニングを使用してこれらの動的オブジェクトを識別することです。 これらのオブジェクトが識別されると、そのバウンディングボックスを囲むポイントは破棄できます。 このようにして、再構築されたモデルは完全に静的オブジェクトになります。

RGB-Dカメラは、IRセンサーを使用して深度を測定できます。 このようにして得られた出力は、画像データ（RGB値）と深度データ（カメラからのオブジェクトの範囲）です。 深さは正確でなければならないため、不一致があると致命的な事故を引き起こす可能性があります。 このため、カメラは周囲の正確な測定値が得られるように調整されています。 深度マップは通常、計算された深度値の精度を検証するために使用されます。

デプスマップは、周囲のグレースケール出力であり、カメラに近いオブジェクトは明るいピクセルを持ち、遠いオブジェクトは暗いピクセルを保持します。 カメラから取得した画像データは、フレーム内に存在する動的オブジェクトを識別するオブジェクト検出モジュールに渡されます。

では、どのようにしてこれらの動的オブジェクトを特定するのでしょうか。

ここでは、動的オブジェクトを識別するために深層学習ニューラルネットワークがトレーニングされています。 そのように訓練されたモデルは、カメラから受け取った各フレームを実行します。 識別された動的オブジェクトがある場合、それらのフレームはスキップされます。 しかし、この解決策には問題があります。 フレーム全体をスキップしても意味がありません。 問題は–情報の保持です。

これに対処するために、バウンディングボックスのピクセルのみが削除され、周囲のピクセルは保持されます。 ただし、自動運転車や自動配達ドローンに関連するアプリケーションでは、ソリューションは別のレベルに引き上げられます。 LIDARセンサーを使用して周囲の3Dマップを取得すると述べたことを思い出してください。

その後、深層学習モデル（3D CNN）を使用して、3Dフレーム（x、y、z軸）内のオブジェクトを削除します。 これらのニューラルネットワークモデルには、2つの形式の出力があります。 1つは、識別されたオブジェクトの確率または尤度である予測出力です。 そして2番目はバウンディングボックスの座標です。 これはすべてリアルタイムで行われていることを忘れないでください。 したがって、この種の処理をサポートするための優れたインフラストラクチャが存在することが非常に重要です。

これとは別に、コンピュータビジョンも道路標識を識別する上で重要な役割を果たします。 制限速度、注意、スピードブレーカーなど、さまざまなタイプのこれらの道路標識を検出するために連携して実行されるモデルがあります。ここでも、訓練された深層学習モデルを使用してこれらのバイタルサインを識別し、車両がそれに応じて行動できるようにします。

レーンライン検出の場合、コンピュータビジョンは同様の方法で適用されます

タスクは、車線の方程式の係数を生成することです。 レーンラインの方程式は、1次、2次、または3次の係数を使用して表すことができます。 単純な1次方程式は、mx + n（直線）型の線形方程式です。 曲線を表すより大きな力または次数の高次元方程式。

データセットは常に一貫しているわけではなく、レーンライン係数を示唆しています。 さらに、線の性質（実線、破線など）をさらに特定したい場合があります。 検出したい特性は多数あり、単一のニューラルネットワークで結果を一般化することはほぼ不可能です。 このジレンマを解決するための一般的な方法は、セグメンテーションアプローチを採用することです。

セグメンテーションでは、画像の各ピクセルにクラスを割り当てることが目的です。 この方法では、すべてのレーンがクラスに似ており、ニューラルネットワークモデルは、異なる色で構成されるレーンを持つ画像を生成することを目的としています（各レーンには固有の色があります）。

また読む： AIプロジェクトのアイデアとトピック

結論

ここでは、自動運転車の分野におけるコンピュータービジョンの一般的なアプリケーションについて説明しました。 この記事を楽しんでいただけたでしょうか。

機械学習とAIについて詳しく知りたい場合は、IIIT-BとupGradの機械学習とAIのPGディプロマをご覧ください。これは、働く専門家向けに設計されており、450時間以上の厳格なトレーニング、30以上のケーススタディと課題を提供します。 IIIT-B卒業生のステータス、5つ以上の実践的な実践的なキャップストーンプロジェクト、トップ企業との雇用支援。

世界のトップ大学からMLコースを学びましょう。 マスター、エグゼクティブPGP、または高度な証明書プログラムを取得して、キャリアを迅速に追跡します。