Bagaimana Mobil Self Driving Menggunakan Computer Vision Untuk Melihat?

Di dunia saat ini, permintaan akan robot atau kendaraan otonom meningkat secara eksponensial dan penerapan Simultaneous Localization And Mapping (SLAM) mendapatkan perhatian yang lebih luas. Pertama, kendaraan otonom memiliki sekumpulan sensor seperti kamera, Lidar, Radar, dll.

Sensor ini menganalisis lingkungan di sekitar kendaraan sebelum kendaraan mengambil keputusan penting terkait keadaan gerak selanjutnya. Dari Lidar, dan data kamera, peta lokalisasi dibuat. Ini bisa berupa peta 2D atau 3D. Tujuan dari peta adalah untuk mengidentifikasi objek statis di sekitar kendaraan otonom seperti bangunan, pohon, dll. Semua objek dinamis dihilangkan dengan menghapus semua titik Lidar yang ditemukan di dalam kotak pembatas objek dinamis yang terdeteksi. Pelajari lebih lanjut tentang aplikasi AI

Benda-benda statis yang tidak mengganggu kendaraan juga disingkirkan seperti permukaan yang dapat dikendarai atau cabang-cabang pohon. Dengan grid yang terbentuk, kita dapat memprediksi jalur bebas tabrakan untuk kendaraan. Salah satu elemen penting dari SLAM adalah pemetaan lingkungan 3DM yang memfasilitasi robot otonom untuk memahami lingkungan seperti manusia yang banyak kamera Depth atau kamera RGB-D terbukti berharga.

Agar kendaraan otonom dapat bernavigasi secara efisien, mereka memerlukan kerangka acuan dan mengamati lingkungan sekitar menggunakan algoritme visi komputer untuk menguraikan peta lingkungan dan melintasi lintasan. Rekonstruksi 3D mencakup penggunaan visi komputer untuk mengamati lingkungan luar menggunakan titik awan 3D berbasis kedalaman.

Oleh karena itu, prinsip dasarnya adalah titik persimpangan antara rekonstruksi 3D dan navigasi otonom. Meningkatnya minat terhadap solusi 3D menuntut solusi lengkap yang dapat melihat lingkungan sekitar dan membangun proyeksi 3D dari lingkungan yang sesuai.

Praktik algoritme visi komputer untuk menghasilkan otomatisasi dalam robotika atau menghasilkan desain 3D sudah cukup umum. Teka-teki lokalisasi dan pemetaan simultan telah berlanjut untuk waktu yang lama dan banyak penelitian sedang dilakukan untuk menemukan metodologi yang efisien untuk mengatasi masalah pemetaan.

Penelitian saat ini dalam domain ini menggunakan kamera mahal untuk menghasilkan disparitas dan peta kedalaman yang meskipun lebih akurat, tetapi masih mahal. Metode yang berbeda melibatkan penggunaan kamera penglihatan stereo untuk menentukan kedalaman objek di sekitarnya yang selanjutnya digunakan untuk menghasilkan awan titik 3D.

Jenis Peta Representasi Lingkungan

• Peta Lokalisasi: Ini dibuat menggunakan serangkaian titik LIDAR atau fitur gambar kamera saat mobil bergerak. Peta ini bersama dengan GPU, IMU, dan odometri digunakan oleh modul lokalisasi untuk memperkirakan posisi yang tepat dari kendaraan otonom. saat data LIDAR dan kamera baru diterima, dibandingkan dengan peta lokalisasi dan pengukuran posisi kendaraan otonom dibuat dengan menyelaraskan data baru dengan peta yang ada.
• Peta Grid Hunian : peta ini menggunakan serangkaian titik LIDAR yang berkelanjutan untuk membangun lingkungan peta yang menunjukkan lokasi semua objek statis. Peta ini digunakan untuk merencanakan jalur bebas tabrakan yang aman untuk kendaraan otonom.

Penting untuk dicatat bahwa keberadaan objek dinamis di awan titik, menghalangi rekonstruksi akurat dari awan titik. Benda-benda dinamis ini mencegah remodelling yang sebenarnya dari sekitarnya. Untuk tujuan yang sama, penting untuk merumuskan solusi yang mengatasi masalah ini.

Tujuan utamanya adalah untuk mengidentifikasi objek dinamis ini menggunakan pembelajaran mendalam. Setelah objek-objek ini diidentifikasi, titik-titik yang melingkupi kotak pembatas itu dapat dibuang. Dengan cara ini, model yang direkonstruksi akan sepenuhnya menjadi objek statis.

Kamera RGB-D dapat mengukur kedalaman menggunakan sensor IR. Keluaran yang diperoleh berupa data citra (nilai RGB) dan data kedalaman (jarak objek dari kamera). Karena kedalamannya harus akurat, setiap ketidakcocokan dapat menyebabkan kecelakaan fatal. Untuk alasan ini, kamera dikalibrasi sedemikian rupa sehingga menghasilkan pengukuran lingkungan yang akurat. Peta kedalaman biasanya digunakan untuk memvalidasi keakuratan nilai kedalaman yang dihitung.

Peta kedalaman adalah keluaran skala abu-abu dari lingkungan di mana objek yang lebih dekat ke kamera memiliki piksel yang lebih terang dan yang lebih jauh memiliki piksel yang lebih gelap. Data gambar yang diperoleh dari kamera diteruskan ke modul deteksi objek yang mengidentifikasi objek dinamis yang ada dalam bingkai.

Jadi, Bagaimana Kami Mengidentifikasi Objek Dinamis yang Mungkin Anda Tanyakan?

Di sini, jaringan saraf pembelajaran mendalam dilatih untuk mengidentifikasi objek dinamis. Model yang sangat terlatih berjalan di atas setiap bingkai yang diterima dari kamera. Jika ada objek dinamis yang teridentifikasi, frame tersebut akan dilewati. Tapi, ada masalah dengan solusi ini. Melewatkan seluruh frame tidak masuk akal. Masalahnya adalah – penyimpanan informasi.

Untuk mengatasi ini, hanya piksel kotak pembatas yang dihilangkan sedangkan piksel sekitarnya dipertahankan. Namun, dalam aplikasi yang terkait dengan kendaraan self-driving dan drone pengiriman otonom, solusinya dibawa ke level lain. Ingat, saya telah menyebutkan bahwa kami mendapatkan peta 3D dari sekitarnya menggunakan sensor LIDAR.

Setelah itu, model deep learning (3D CNN) digunakan untuk mengeliminasi objek dalam bingkai 3D (sumbu x,y,z). Model jaringan saraf ini memiliki output dalam 2 bentuk. Salah satunya adalah keluaran prediksi yang merupakan probabilitas atau kemungkinan dari objek yang diidentifikasi. Dan kedua adalah koordinat kotak pembatas. Ingat, semua ini terjadi secara real-time. Jadi sangat penting adanya infrastruktur yang baik untuk mendukung pemrosesan semacam ini.

Selain itu, computer vision juga berperan penting dalam mengidentifikasi rambu-rambu jalan. Ada model yang berjalan bersama untuk mendeteksi rambu-rambu jalan dari berbagai jenis – batas kecepatan, kehati-hatian, pemecah kecepatan, dll. Sekali lagi, model pembelajaran mendalam yang terlatih digunakan untuk mengidentifikasi tanda-tanda vital ini sehingga kendaraan dapat bertindak sesuai dengan itu.

Untuk Deteksi Jalur Lajur, Computer Vision Diterapkan dengan Cara yang Sama

Tugasnya adalah menghasilkan koefisien persamaan garis lajur. Persamaan garis lajur dapat direpresentasikan menggunakan koefisien orde pertama, kedua, atau ketiga. Persamaan orde pertama sederhana hanyalah persamaan linier bertipe mx+n (garis lurus). Persamaan dimensi tinggi menjadi kekuatan atau urutan yang lebih besar yang mewakili kurva.

Kumpulan data tidak selalu konsisten dan menyarankan koefisien garis jalur. Selanjutnya, kita mungkin juga ingin mengidentifikasi sifat garis (padat, putus-putus, dll). Ada banyak karakteristik yang mungkin ingin kami deteksi dan hampir tidak mungkin bagi satu jaringan saraf untuk menggeneralisasikan hasilnya. Metode umum untuk menyelesaikan dilema ini adalah dengan menggunakan pendekatan segmentasi.

Dalam segmentasi, tujuannya adalah untuk menetapkan kelas untuk setiap piksel gambar. Dalam metode ini, setiap jalur menyerupai kelas dan model jaringan saraf bertujuan untuk menghasilkan gambar dengan jalur yang terdiri dari warna yang berbeda (setiap jalur akan memiliki warna yang unik).

Baca Juga: Ide & Topik Proyek AI

Kesimpulan

Di sini kita membahas aplikasi umum dari visi komputer dalam domain kendaraan otonom. Semoga Anda menikmati artikel ini.

Jika Anda tertarik untuk mempelajari lebih lanjut tentang pembelajaran mesin & AI, lihat PG Diploma IIIT-B & upGrad dalam Pembelajaran Mesin & AI yang dirancang untuk para profesional yang bekerja dan menawarkan 450+ jam pelatihan ketat, 30+ studi kasus & tugas, Status Alumni IIIT-B, 5+ proyek batu penjuru praktis & bantuan pekerjaan dengan perusahaan-perusahaan top.

Pelajari Kursus ML dari Universitas top Dunia. Dapatkan Master, PGP Eksekutif, atau Program Sertifikat Tingkat Lanjut untuk mempercepat karier Anda.