Как беспилотные автомобили используют компьютерное зрение, чтобы видеть?

В современном мире спрос на автономных роботов или транспортные средства растет в геометрической прогрессии, и применение технологии одновременной локализации и картирования (SLAM) привлекает все большее внимание. Во-первых, у автономных транспортных средств есть набор датчиков, таких как камеры, лидар, радар и т. д.

Эти датчики анализируют окружающую среду вокруг транспортного средства, прежде чем транспортное средство примет какое-либо важное решение относительно своего следующего состояния движения. Из лидара и данных камеры создается карта локализации. Это может быть 2D или 3D карта. Цель карты — идентифицировать статические объекты вокруг автономного транспортного средства, такие как здания, деревья и т. д. Все динамические объекты удаляются путем удаления всех точек лидара, которые находятся в пределах ограничивающей рамки обнаруженных динамических объектов. Узнайте больше о приложениях ИИ

статические объекты, которые не мешают транспортному средству, также удаляются, например, поверхность для движения или ветки деревьев. Создав сетку, мы можем предсказать путь движения автомобиля без столкновений. Одним из важных элементов SLAM является 3D-отображение окружающей среды, которое помогает автономным роботам понимать окружающую среду как человек, для чего многие камеры глубины или камеры RGB-D оказываются ценными.

Чтобы автономные транспортные средства могли эффективно перемещаться, им требуется система отсчета и наблюдение за окружающей средой с использованием алгоритмов компьютерного зрения, чтобы составить карту своего окружения и пройти по трассе. Трехмерная реконструкция включает в себя использование компьютерного зрения для наблюдения за окружающей средой с использованием трехмерного облака точек на основе глубины.

Таким образом, основной принцип — это точка стыка между 3D-реконструкцией и автономной навигацией. Рост интереса к 3D-решениям требует комплексного решения, способного воспринимать окружение вокруг и строить 3D-проекцию соответствующего окружения.

Практика алгоритмов компьютерного зрения для автоматизации робототехники или создания 3D-проектов была довольно распространена. Загадка одновременной локализации и картографирования продолжается в течение длительного времени, и проводится множество исследований, чтобы найти эффективные методологии для решения проблемы картирования.

Текущие исследования в этой области используют дорогие камеры для создания карт несоответствия и глубины, которые хотя и являются более точными, но все же дорогими. Различные методы включают использование камер стереозрения для определения глубины окружающих объектов, которые в дальнейшем используются для создания трехмерных облаков точек.

Типы карт представления окружающей среды

• Карты локализации: они создаются с использованием набора точек LIDAR или функций изображения камеры во время движения автомобиля. Эта карта вместе с графическим процессором, IMU и одометром используется модулем локализации для оценки точного положения автономного транспортного средства. по мере получения новых данных LIDAR и камеры они сравниваются с картой локализации, и измерение положения автономного транспортного средства создается путем сопоставления новых данных с существующей картой.
• Карта занятости : эта карта использует непрерывный набор точек LIDAR для построения среды карты, которая указывает местоположение всех статических объектов, которые она использует для планирования безопасного пути без столкновений для автономного транспортного средства.

Важно отметить, что наличие динамических объектов в облаке точек затрудняет точную реконструкцию облака точек. Эти динамические объекты препятствуют фактической реконструкции окружения. С той же целью важно сформулировать решение, которое решает эту проблему.

Главное намерение состоит в том, чтобы идентифицировать эти динамические объекты с помощью глубокого обучения. Как только эти объекты идентифицированы, точки, окружающие эту ограничивающую рамку, могут быть отброшены. Таким образом, реконструированная модель будет полностью состоять из статических объектов.

Камера RGB-D может измерять глубину с помощью ИК-датчика. Полученные таким образом выходные данные представляют собой данные изображения (значения RGB) и данные глубины (диапазон объекта от камеры). Поскольку глубина должна быть точной, любое несоответствие может привести к несчастному случаю со смертельным исходом. По этой причине камеры откалиброваны таким образом, чтобы обеспечить точное измерение окружающего пространства. Карты глубины обычно используются для проверки точности вычисленных значений глубины.

Карта глубины представляет собой изображение окружения в градациях серого, в котором объекты, расположенные ближе к камере, имеют более яркие пиксели, а объекты, расположенные дальше, — более темные пиксели. Данные изображения, полученные с камеры, передаются в модуль обнаружения объектов, который идентифицирует динамические объекты, присутствующие в кадре.

Итак, как мы идентифицируем эти динамические объекты, спросите вы?

Здесь нейронная сеть глубокого обучения обучается идентифицировать динамические объекты. Обученная таким образом модель просматривает каждый кадр, полученный с камеры. Если есть идентифицированный динамический объект, эти кадры пропускаются. Но есть проблема с этим решением. Пропускать весь кадр не имеет смысла. Проблема в том, что сохраняется информация.

Чтобы решить эту проблему, удаляются только пиксели ограничивающей рамки, а окружающие пиксели сохраняются. Однако в приложениях, связанных с беспилотными транспортными средствами и автономными дронами-доставщиками, решение выводится на другой уровень. Помните, я упоминал, что мы получаем трехмерную карту местности с помощью датчиков LIDAR.

После этого модель глубокого обучения (3D CNN) используется для исключения объектов в 3D-кадре (оси x, y, z). Эти модели нейронных сетей имеют выходы 2-х форм. Одним из них является прогнозный результат, который представляет собой вероятность или вероятность идентифицированного объекта. И второе — координаты ограничивающей рамки. Помните, все это происходит в режиме реального времени. Поэтому чрезвычайно важно, чтобы существовала хорошая инфраструктура для поддержки такого рода обработки.

Помимо этого, компьютерное зрение также играет важную роль в идентификации уличных знаков. Существуют модели, которые работают вместе для обнаружения этих уличных знаков различных типов — ограничение скорости, осторожность, нарушение скорости и т. д. Опять же, для идентификации этих жизненно важных признаков используется обученная модель глубокого обучения, чтобы транспортное средство могло действовать соответствующим образом.

Для обнаружения линии движения компьютерное зрение применяется аналогичным образом.

Задача состоит в том, чтобы вывести коэффициенты уравнения дорожки. Уравнение линий дорожек может быть представлено с использованием коэффициентов первого, второго или третьего порядка. Простое уравнение первого порядка — это просто линейное уравнение типа mx+n (прямая линия). Уравнения большой размерности должны иметь большую мощность или порядок, чем те, которые представляют кривые.

Наборы данных не всегда последовательны и предполагают коэффициенты линии дорожки. Кроме того, мы можем дополнительно указать характер линии (сплошная, пунктирная и т. д.). Существует множество характеристик, которые мы можем захотеть обнаружить, и для одной нейронной сети практически невозможно обобщить результаты. Распространенным методом решения этой дилеммы является использование подхода сегментации.

Целью сегментации является присвоение класса каждому пикселю изображения. В этом методе каждая дорожка напоминает класс, а модель нейронной сети нацелена на создание изображения с дорожками, состоящими из разных цветов (каждая дорожка будет иметь свой уникальный цвет).

Читайте также: Идеи и темы проектов ИИ

Заключение

Здесь мы обсудили общие применения компьютерного зрения в области автономных транспортных средств. Надеюсь, вам понравилась эта статья.

Если вам интересно узнать больше о машинном обучении и искусственном интеллекте, ознакомьтесь с дипломом PG IIIT-B и upGrad в области машинного обучения и искусственного интеллекта, который предназначен для работающих профессионалов и предлагает более 450 часов тщательного обучения, более 30 тематических исследований и заданий, Статус выпускника IIIT-B, более 5 практических практических проектов и помощь в трудоустройстве в ведущих фирмах.

Изучите курс машинного обучения в лучших университетах мира. Заработайте программы Masters, Executive PGP или Advanced Certificate Programs, чтобы ускорить свою карьеру.