10 Arsitektur Jaringan Neural Teratas di 2022 yang Perlu Dipelajari Engineer ML

Dua dari algoritma yang paling populer dan kuat adalah Deep Learning dan Deep Neural Networks. Algoritme pembelajaran mendalam mengubah dunia seperti yang kita kenal. Keberhasilan utama dari algoritma ini adalah dalam desain arsitektur jaringan saraf ini. Sekarang mari kita bahas beberapa arsitektur jaringan saraf yang terkenal.

Arsitektur Jaringan Saraf Populer

1. LeNet5

LeNet5 adalah arsitektur jaringan saraf yang dibuat oleh Yann LeCun pada tahun 1994. LeNet5 mendorong bidang Pembelajaran yang mendalam. Dapat dikatakan bahwa LeNet5 adalah jaringan saraf convolutional pertama yang memiliki peran utama di awal bidang Deep Learning.

LeNet5 memiliki arsitektur yang sangat mendasar. Di seluruh gambar akan didistribusikan dengan fitur gambar. Fitur serupa dapat diekstraksi dengan cara yang sangat efektif dengan menggunakan parameter yang dapat dipelajari dengan konvolusi. Ketika LeNet5 dibuat, CPU sangat lambat, dan Tidak ada GPU yang dapat digunakan untuk membantu pelatihan.

Keuntungan utama dari arsitektur ini adalah penghematan komputasi dan parameter. Dalam jaringan saraf multi-lapisan yang luas, Setiap piksel digunakan sebagai input terpisah, dan LeNet5 membandingkannya. Ada korelasi spasial yang tinggi antara gambar dan penggunaan piksel tunggal karena fitur input yang berbeda akan menjadi kelemahan korelasi ini dan tidak digunakan pada lapisan pertama. Pengantar Deep Learning & Neural Networks dengan Keras

Fitur LeNet5:

• Biaya Komputasi Besar dapat dihindari dengan membagi matriks koneksi antar lapisan.
• Pengklasifikasi terakhir akan menjadi jaringan saraf multi-layer
• Dalam bentuk sigmoid atau tanh, akan ada non-linearitas
• Rata-rata spasial peta digunakan dalam subsampel
• Ekstraksi fitur spasial dilakukan dengan menggunakan konvolusi
• Non-linearitas, Pooling, dan Convolution adalah tiga lapisan urutan yang digunakan dalam jaringan saraf convolutional

Singkatnya, Dapat dikatakan bahwa Arsitektur Jaringan Neural LeNet5 telah menginspirasi banyak orang dan arsitektur di bidang Deep Learning.

Kesenjangan dalam kemajuan arsitektur jaringan saraf:

Jaringan saraf tidak berkembang banyak dari tahun 1998 hingga 2010. Banyak peneliti perlahan-lahan membaik, dan banyak orang tidak menyadari kekuatan mereka yang meningkat. Dengan munculnya kamera digital dan ponsel murah, ketersediaan data meningkat. GPU kini telah menjadi alat komputasi untuk keperluan umum, dan CPU juga menjadi lebih cepat dengan peningkatan daya komputasi. Pada tahun-tahun itu, tingkat kemajuan jaringan saraf diperpanjang, tetapi perlahan-lahan orang mulai memperhatikan peningkatan kekuatan jaringan saraf.

2. Dan Ciresan Net

Implementasi pertama dari jaring saraf GPU diterbitkan oleh Jurgen Schmidhuber dan Dan Claudiu Ciresan pada tahun 2010. Ada hingga 9 lapisan jaringan saraf. Itu diimplementasikan pada prosesor grafis NVIDIA GTX 280, dan memiliki keduanya mundur dan maju.

Pelajari Kursus AI ML dari Universitas top dunia. Dapatkan Master, PGP Eksekutif, atau Program Sertifikat Tingkat Lanjut untuk mempercepat karier Anda.

3. AlexNet

Arsitektur jaringan saraf ini telah memenangkan persaingan yang menantang dari ImageNet dengan selisih yang cukup besar. Ini adalah versi LeNet yang jauh lebih luas dan mendalam. Alex Krizhevsky merilisnya pada tahun 2012.

Hirarki dan objek yang kompleks dapat dipelajari menggunakan arsitektur ini. Jaringan saraf yang jauh lebih luas dibuat dengan menskalakan wawasan LeNet dalam Arsitektur AlexNet.

Kontribusi pekerjaan adalah sebagai berikut:

• Waktu pelatihan berkurang dengan menggunakan GPU NVIDIA GTX 580.
• Efek rata-rata dari penyatuan rata-rata dihindari, dan penyatuan maksimal tumpang tindih.
• Overfitting model dihindari dengan mengabaikan neuron tunggal secara selektif dengan menggunakan teknik dropout.
• Unit linier yang diperbaiki digunakan sebagai non-linier

Gambar yang lebih besar dan kumpulan data yang lebih besar diizinkan untuk digunakan karena waktu pelatihan 10x lebih cepat dan GPU menawarkan jumlah inti yang lebih banyak daripada CPU. Keberhasilan AlexNet menyebabkan revolusi dalam Neural Network Sciences. Tugas yang berguna diselesaikan oleh jaringan saraf besar, yaitu jaringan saraf convolutional. Sekarang telah menjadi pekerja keras Deep Learning.

4. Kelebihan

Overfeat adalah turunan baru dari AlexNet yang muncul pada Desember 2013 dan dibuat oleh lab NYU dari Yann LeCun. Banyak makalah yang diterbitkan tentang belajar kotak pembatas setelah mempelajari artikel yang mengusulkan kotak pembatas. Tetapi objek Segmen juga dapat ditemukan daripada mempelajari kotak pembatas buatan.

5. VGG

Jaringan VGG pertama kali dari Oxford menggunakan filter 3x3 yang lebih kecil di setiap lapisan konvolusi. Filter 3x3 yang lebih kecil juga digunakan dalam kombinasi sebagai urutan konvolusi.

VGG membandingkan prinsip-prinsip LeNet seperti di LeNet. Fitur serupa dalam gambar ditangkap dengan menggunakan konvolusi besar. Di VGG, filter yang lebih kecil digunakan pada lapisan pertama jaringan, yang dihindari dalam arsitektur LeNet. Di VGG, filter besar AlexNet seperti 9 x 9 atau 11 x 11 tidak digunakan. Emulasi dengan wawasan efek bidang reseptif yang lebih besar seperti 7 x 7 dan 5 x 5 dimungkinkan karena beberapa konvolusi 3 x 3 secara berurutan. Itu juga merupakan keuntungan paling signifikan dari VGG. Arsitektur Jaringan terbaru seperti ResNet dan Inception menggunakan ide beberapa konvolusi 3x3 ini secara seri.

6. Jaringan-dalam-jaringan

Network-in-network adalah arsitektur jaringan saraf yang memberikan kekuatan kombinasional yang lebih tinggi dan memiliki wawasan yang sederhana & hebat. Kekuatan kombinasi yang lebih tinggi diberikan pada fitur lapisan konvolusi dengan menggunakan konvolusi 1x1.

7. GoogLeNet dan Inception

GoogLeNet adalah arsitektur awal pertama yang bertujuan untuk mengurangi beban komputasi jaringan saraf dalam. Kategorisasi frame video dan konten gambar dilakukan dengan menggunakan model deep learning. Penyebaran besar dan efisiensi arsitektur di peternakan server menjadi minat utama raksasa internet besar seperti Google. Banyak orang setuju pada jaringan saraf tahun 2014, dan pembelajaran mendalam tidak dapat kembali lagi.

8. Lapisan Kemacetan

Waktu inferensi dijaga tetap rendah di setiap lapisan dengan pengurangan jumlah operasi dan fitur oleh lapisan bottleneck Inception. Jumlah fitur akan dikurangi menjadi 4 kali sebelum data diteruskan ke modul konvolusi yang mahal. Inilah keberhasilan arsitektur layer Bottleneck karena menghemat biaya komputasi yang sangat besar.

9. ResNet

Ide dari ResNet sangatlah mudah, yaitu untuk mem-bypass input ke layer berikutnya dan juga memberikan output dari dua layer convolutional yang berurutan. Lebih dari seratus ribu lapisan jaringan dilatih untuk pertama kalinya di ResNet.

10. SqueezeNet

Konsep Inception dan ResNet telah di-hash ulang di SqueezeNet dalam rilis terbaru. Kebutuhan algoritma kompresi yang kompleks telah dihilangkan, dan pengiriman parameter dan ukuran jaringan yang kecil menjadi mungkin dengan desain arsitektur yang lebih baik.

Bonus: 11. ENet

Adam Paszke merancang arsitektur jaringan saraf yang disebut ENet. Ini adalah jaringan yang sangat ringan dan efisien. Ini menggunakan sangat sedikit perhitungan dan parameter dalam arsitektur dengan menggabungkan semua fitur arsitektur modern. Penguraian adegan dan pelabelan piksel telah dilakukan dengan menggunakannya.

Kesimpulan

Berikut adalah arsitektur jaringan saraf yang umum digunakan. Kami harap artikel ini informatif dalam membantu Anda mempelajari jaringan saraf.

Anda dapat memeriksa Program PG Eksekutif kami di Machine Learning & AI , yang menyediakan lokakarya praktik langsung, mentor industri satu lawan satu, 12 studi kasus dan tugas, status Alumni IIIT-B, dan banyak lagi.