자가 운전 자동차가 컴퓨터 비전을 사용하여 보는 방법은 무엇입니까?

오늘날의 세계에서 자율 로봇 또는 차량에 대한 수요가 기하급수적으로 증가하고 SLAM(Simultaneous Localization And Mapping)의 적용이 더욱 주목받고 있습니다. 첫째, 자율주행차는 카메라, Lidar, Radar 등과 같은 센서 번들을 가지고 있습니다.

이 센서는 차량이 다음 동작 상태에 관한 중요한 결정을 내리기 전에 차량 주변 환경을 분석합니다. Lidar 및 카메라 데이터에서 현지화 맵이 생성됩니다. 2D 또는 3D 지도일 수 있습니다. 지도의 목적은 건물, 나무 등과 같은 자율 차량 주변의 정적 개체를 식별하는 것입니다. 모든 동적 개체는 감지된 동적 개체의 경계 상자 내에서 발견되는 모든 Lidar 지점을 제거하여 제거됩니다. AI 응용 프로그램에 대해 자세히 알아보기

차량을 방해하지 않는 정적 물체도 주행 가능한 표면이나 나뭇가지와 같이 제거됩니다. 그리드가 설정되면 차량의 충돌 없는 경로를 예측할 수 있습니다. SLAM의 중요한 요소 중 하나는 많은 Depth 카메라 또는 RGB-D 카메라가 가치 있는 것으로 입증된 인간과 같은 환경을 자율 로봇이 쉽게 이해할 수 있도록 하는 환경의 3D 매핑입니다.

자율 주행 차량이 효율적으로 탐색하려면 컴퓨터 비전 알고리즘을 사용하여 주변 환경을 관찰하고 주변 지도를 요약하고 트랙을 횡단하는 기준 프레임이 필요합니다. 3D 재구성에는 컴퓨터 비전을 사용하여 깊이 기반 3D 포인트 클라우드를 사용하여 외부 환경을 관찰하는 것이 포함됩니다.

따라서 기본 원리는 3D 재구성과 자율 항법의 접합점입니다. 3D 솔루션에 대한 관심이 높아지면서 주변 환경을 인지하고 해당 주변을 3D 투영할 수 있는 완벽한 솔루션이 요구되고 있습니다.

로봇 공학에서 자동화를 가져오거나 3D 디자인을 생성하기 위한 컴퓨터 비전 알고리즘의 실행은 꽤 일반적이었습니다. 동시적 위치 파악과 매핑의 수수께끼는 오랫동안 계속되어 왔으며 매핑 문제를 해결할 효율적인 방법론을 찾기 위해 많은 연구가 진행되고 있습니다.

이 영역의 현재 연구는 더 정확하지만 여전히 고가인 디스패리티 및 깊이 맵을 생성하기 위해 고가의 카메라를 사용합니다. 다른 방법에는 스테레오 비전 카메라를 사용하여 3D 포인트 클라우드를 생성하는 데 추가로 사용되는 주변 물체의 깊이를 결정하는 것이 포함됩니다.

환경 표현 맵의 유형

• Localization Maps: 자동차가 움직일 때 LIDAR 포인트 세트 또는 카메라 이미지 기능을 사용하여 생성됩니다. GPU, IMU 및 주행 거리 측정과 함께 이 지도는 로컬라이제이션 모듈에서 자율 차량의 정확한 위치를 추정하는 데 사용됩니다. 새로운 LIDAR 및 카메라 데이터가 수신되면 이를 로컬리제이션 맵과 비교하고 기존 맵과 새 데이터를 정렬하여 자율주행차의 위치 측정이 생성됩니다.
• 점유 그리드 맵 : 이 맵은 연속적인 LIDAR 포인트 세트를 사용하여 모든 정적 개체의 위치를 ​​나타내는 맵 환경을 구축하여 자율 주행 차량의 안전한 충돌 없는 경로를 계획하는 데 사용됩니다.

포인트 클라우드에 동적 개체가 있으면 포인트 클라우드의 정확한 재구성을 방해한다는 점에 유의하는 것이 중요합니다. 이러한 동적 개체는 주변의 실제 리모델링을 방지합니다. 같은 목적을 위해 이 문제를 해결하는 솔루션을 공식화하는 것이 중요합니다.

주요 의도는 딥 러닝을 사용하여 이러한 동적 개체를 식별하는 것입니다. 이러한 개체가 식별되면 해당 경계 상자를 둘러싸는 점을 버릴 수 있습니다. 이러한 방식으로 재구성된 모델은 완전히 정적 객체가 됩니다.

RGB-D 카메라는 IR 센서를 사용하여 깊이를 측정할 수 있습니다. 이렇게 얻은 출력은 이미지 데이터(RGB 값)와 깊이 데이터(카메라에서 물체의 범위)입니다. 깊이가 정확해야 하기 때문에 일치하지 않으면 치명적인 사고가 발생할 수 있습니다. 이러한 이유로 카메라는 주변을 정확하게 측정할 수 있도록 보정됩니다. 깊이 맵은 일반적으로 계산된 깊이 값의 정확성을 검증하는 데 사용됩니다.

깊이 맵은 카메라에 더 가까운 개체가 더 밝은 픽셀을 보유하고 멀리 있는 개체가 더 어두운 픽셀을 보유하는 주변의 회색조 출력입니다. 카메라에서 얻은 이미지 데이터는 프레임에 있는 동적 개체를 식별하는 개체 감지 모듈로 전달됩니다.

그렇다면 이러한 동적 개체를 어떻게 식별할 수 있습니까?

여기서 딥러닝 신경망은 동적 객체를 식별하도록 훈련됩니다. 그렇게 훈련된 모델은 카메라에서 수신한 각 프레임을 실행합니다. 식별된 동적 개체가 있는 경우 해당 프레임을 건너뜁니다. 그러나 이 솔루션에는 문제가 있습니다. 전체 프레임을 건너뛰는 것은 의미가 없습니다. 문제는 – 정보 보존입니다.

이를 해결하기 위해 경계 상자 픽셀만 제거되고 주변 픽셀은 유지됩니다. 그러나 자율 주행 차량 및 자율 배송 드론과 관련된 응용 프로그램에서는 솔루션이 다른 수준으로 이동합니다. LIDAR 센서를 사용하여 주변의 3D 지도를 얻는다고 언급한 것을 기억하십시오.

이후 딥러닝 모델(3D CNN)을 이용하여 3차원 프레임(x,y,z축)에서 객체를 제거한다. 이러한 신경망 모델은 2가지 형식의 출력을 갖습니다. 하나는 식별된 개체의 확률 또는 가능성인 예측 출력입니다. 두 번째는 경계 상자 좌표입니다. 이 모든 것이 실시간으로 일어나고 있음을 기억하십시오. 따라서 이러한 종류의 처리를 지원하기 위한 우수한 인프라가 존재하는 것이 매우 중요합니다.

이 외에도 컴퓨터 비전은 도로 표지판을 식별하는 데 중요한 역할을 합니다. 속도 제한, 주의, 속도 차단기 등 다양한 유형의 거리 표지판을 감지하기 위해 함께 실행되는 모델이 있습니다. 다시 훈련된 딥 러닝 모델을 사용하여 이러한 바이탈 사인을 식별하여 차량이 적절하게 작동할 수 있도록 합니다.

차선 감지를 위해 컴퓨터 비전이 유사한 방식으로 적용됩니다.

작업은 차선 방정식의 계수를 생성하는 것입니다. 차선 방정식은 1차, 2차 또는 3차 계수를 사용하여 나타낼 수 있습니다. 간단한 1계 방정식은 mx+n(직선) 유형의 선형 방정식입니다. 곡선을 나타내는 더 큰 거듭제곱 또는 차수의 고차원 방정식.

데이터 세트가 항상 일관성이 있는 것은 아니며 차선 계수를 제안합니다. 또한 선의 특성(실선, 점선 등)을 추가로 식별할 수 있습니다. 우리가 탐지하고 싶은 수많은 특성이 있으며 단일 신경망이 결과를 일반화하는 것은 거의 불가능합니다. 이 딜레마를 해결하는 일반적인 방법은 분할 접근 방식을 사용하는 것입니다.

분할에서 목적은 이미지의 각 픽셀에 클래스를 할당하는 것입니다. 이 방법에서 모든 레인은 클래스와 유사하며 신경망 모델은 다른 색상으로 구성된 레인으로 이미지를 생성하는 것을 목표로 합니다(각 레인은 고유한 색상을 가짐).

읽어보기: AI 프로젝트 아이디어 및 주제

결론

여기에서 우리는 자율주행차 영역에서 컴퓨터 비전의 일반적인 응용에 대해 논의했습니다. 이 기사를 즐겼기를 바랍니다.

기계 학습 및 AI에 대해 자세히 알아보려면 IIIT-B 및 upGrad의 기계 학습 및 AI PG 디플로마를 확인하세요. 이 PG 디플로마는 일하는 전문가를 위해 설계되었으며 450시간 이상의 엄격한 교육, 30개 이상의 사례 연구 및 과제를 제공합니다. IIIT-B 동문 자격, 5개 이상의 실용적인 실습 캡스톤 프로젝트 및 최고의 기업과의 취업 지원.

세계 최고의 대학에서 ML 과정 을 배우십시오 . 석사, 이그 제 큐 티브 PGP 또는 고급 인증 프로그램을 획득하여 경력을 빠르게 추적하십시오.