2022 ML Mühendislerinin Öğrenmesi Gereken En İyi 10 Sinir Ağı Mimarisi

En popüler ve güçlü algoritmalardan ikisi Derin Öğrenme ve Derin Sinir Ağlarıdır. Derin öğrenme algoritmaları, bildiğimiz şekliyle dünyayı dönüştürüyor. Bu algoritmaların ana başarısı, bu sinir ağlarının mimarisinin tasarımındadır. Şimdi bazı ünlü sinir ağı mimarisini tartışalım.

Popüler Sinir Ağı Mimarileri

1. LeNet5

LeNet5, 1994 yılında Yann LeCun tarafından oluşturulan bir sinir ağı mimarisidir. LeNet5, derin Öğrenme alanını harekete geçirdi. LeNet5'in Derin Öğrenme alanının başlangıcında öncü rolü olan ilk evrişimsel sinir ağı olduğu söylenebilir.

LeNet5 çok temel bir mimariye sahiptir. Tüm görüntü boyunca görüntü özellikleri ile dağıtılacaktır. Benzer özellikler, konvolüsyonlarla öğrenilebilir parametreler kullanılarak çok etkili bir şekilde çıkarılabilir. LeNet5 oluşturulduğunda, CPU'lar çok yavaştı ve eğitime yardımcı olmak için GPU kullanılamaz.

Bu mimarinin ana avantajı, hesaplama ve parametrelerin kaydedilmesidir. Kapsamlı bir çok katmanlı sinir ağında, Her piksel ayrı bir girdi olarak kullanıldı ve LeNet5 bunu karşılaştırdı. Görüntüler arasında yüksek uzamsal korelasyonlar vardır ve tek pikselin farklı girdi özellikleri olarak kullanılması bu korelasyonların bir dezavantajı olur ve ilk katmanda kullanılmaz. Keras ile Derin Öğrenme ve Sinir Ağlarına Giriş

LeNet5'in Özellikleri:

• Katmanlar arasındaki bağlantı matrisini dağıtarak Büyük Hesaplamaların maliyetinden kaçınılabilir.
• Son sınıflandırıcı, çok katmanlı bir sinir ağı olacaktır.
• Sigmoidler veya tanh şeklinde, doğrusal olmama durumu olacaktır.
• Alt örnekte haritaların uzamsal ortalaması kullanılmıştır.
• Uzamsal özelliklerin çıkarılması, evrişim kullanılarak yapılır
• Doğrusal olmama, Havuzlama ve Evrişim, evrişimli sinir ağlarında kullanılan üç dizi katmanıdır.

Birkaç kelime ile LeNet5 Neural Network Architecture'ın Derin Öğrenme alanında birçok kişiye ve mimariye ilham kaynağı olduğu söylenebilir.

Sinir ağı mimarisinin ilerlemesindeki boşluk:

Sinir ağı 1998'den 2010'a kadar pek ilerlemedi. Birçok araştırmacı yavaş yavaş gelişiyordu ve birçok insan artan güçlerini fark etmedi. Ucuz dijital ve cep telefonu kameralarının yükselişi ile veri kullanılabilirliği arttı. GPU artık genel amaçlı bir bilgi işlem aracı haline geldi ve bilgi işlem gücünün artmasıyla CPU'lar da daha hızlı hale geldi. O yıllarda sinir ağının ilerleme hızı uzamıştı, ancak yavaş yavaş insanlar sinir ağının artan gücünü fark etmeye başladılar.

2. Dan Ciresan Ağı

GPU Sinir ağlarının ilk uygulaması 2010 yılında Jurgen Schmidhuber ve Dan Claudiu Ciresan tarafından yayınlandı. Sinir ağının 9 katmanına kadar vardı. Bir NVIDIA GTX 280 grafik işlemcisinde uygulandı ve hem geriye hem de ileriye sahipti.

Dünyanın en iyi Üniversitelerinden AI ML Kursları öğrenin . Kariyerinizi hızlandırmak için Master, Executive PGP veya Advanced Certificate Programları kazanın.

3. AlexNet

Bu sinir ağı mimarisi, ImageNet'in zorlu rekabetini hatırı sayılır bir farkla kazandı. LeNet'in çok daha geniş ve daha derinlemesine bir versiyonudur. Alex Krizhevsky 2012'de yayınladı.

Bu mimari kullanılarak karmaşık hiyerarşiler ve nesneler öğrenilebilir. LeNet'in içgörüleri AlexNet Mimarisinde ölçeklendirilerek çok daha kapsamlı bir sinir ağı oluşturuldu.

Çalışma katkıları aşağıdaki gibidir:

• NVIDIA GTX 580 GPU'ları kullanılarak eğitim süresi kısaltıldı.
• Ortalama havuzlamanın ortalama etkilerinden kaçınılır ve maksimum havuzlama çakışır.
• Bırakma tekniği kullanılarak tek nöronların seçici olarak yok sayılmasıyla modelin aşırı uyumu önlenir.
• Doğrultulmuş doğrusal birimler doğrusal olmayanlar olarak kullanılır

Eğitim süresi 10 kat daha hızlı olduğu ve GPU, CPU'lardan daha fazla sayıda çekirdek sunduğu için daha büyük görüntülerin ve daha büyük veri kümelerinin kullanılmasına izin verildi. AlexNet'in başarısı, Sinir Ağı Bilimlerinde bir devrime yol açtı. Yararlı görevler, büyük sinir ağları, yani evrişimli sinir ağları tarafından çözüldü. Artık Derin Öğrenmenin beygir gücü haline geldi.

4. Aşırı Yıkım

Overfeat, Aralık 2013'te ortaya çıkan ve Yann LeCun'dan NYU laboratuvarı tarafından oluşturulan AlexNet'in yeni bir türevidir. Önerilen sınırlama kutuları makalesini öğrendikten sonra, sınırlayıcı kutuları öğrenme konusunda birçok makale yayınlandı. Ancak, yapay sınırlayıcı kutuları öğrenmek yerine Segment nesneleri de keşfedilebilir.

5. VGG

Oxford'dan ilk kez VGG ağları, her evrişim katmanında daha küçük 3×3 filtreler kullandı. Daha küçük 3x3 filtreler de bir dizi evrişim olarak kombinasyon halinde kullanıldı.

VGG, LeNet'in ilkelerini LeNet'te olduğu gibi karşılaştırır. Bir görüntüdeki benzer özellikler, büyük kıvrımlar kullanılarak yakalandı. VGG'de, LeNet mimarisinde kaçınılan ağın ilk katmanlarında daha küçük filtreler kullanıldı. VGG'de AlexNet'in 9 x 9 veya 11 x 11 gibi büyük filtreleri kullanılmadı. 7 x 7 ve 5 x 5 gibi daha büyük alıcı alanların etkisinin içgörüsü ile öykünme, sırayla birden fazla 3 x 3 evrişim nedeniyle mümkün oldu. Aynı zamanda VGG'nin en önemli avantajıydı. ResNet ve Inception gibi son Ağ Mimarileri, bu seri halinde çoklu 3×3 evrişim fikrini kullanıyor.

6. Ağ içi ağ

Ağ içi ağ, daha yüksek birleşimsel güç sağlayan ve basit ve harika bir içgörüye sahip bir sinir ağı mimarisidir. 1 × 1 evrişimler kullanılarak bir evrişim katmanının özelliklerine kombinasyonun daha yüksek bir gücü sağlanır.

7. GoogLeNet ve Başlangıç

GoogLeNet, derin sinir ağlarının hesaplama yükünü azaltmayı amaçlayan ilk başlangıç ​​mimarisidir. Derin öğrenme modelleri kullanılarak video kareleri ve görüntü içeriklerinin kategorizasyonu yapılmıştır. Sunucu çiftliklerinde büyük dağıtımlar ve mimarilerin verimliliği, Google gibi büyük internet devlerinin ana ilgi alanı haline geldi. Birçok kişi 2014 sinir ağlarında hemfikirdi ve derin öğrenmenin geri dönüşü yok.

8. Darboğaz Katmanı

Inception'ın darboğaz katmanı tarafından işlem ve özelliklerin sayısı azaltılarak her katmanda çıkarım süresi düşük tutuldu. Veriler pahalı evrişim modüllerine iletilmeden önce özelliklerin sayısı 4 katına indirilecektir. Bu, Darboğaz katman mimarisinin başarısıdır çünkü hesaplama maliyetini çok büyük oranda kurtarmıştır.

9. ResNet

ResNet fikri basittir ve bu, girdiyi sonraki katmanlara atlamak ve ayrıca iki ardışık evrişim katmanının çıktısını beslemektir. Ağın yüz binden fazla katmanı ilk kez ResNet'te eğitildi.

10. SqueezeNet

Inception ve ResNet'in kavramları, son sürümde SqueezeNet'te yeniden düzenlendi. Karmaşık sıkıştırma algoritmalarının ihtiyaçları ortadan kaldırıldı ve daha iyi mimari tasarımı ile parametrelerin ve küçük ağ boyutlarının teslimi mümkün hale geldi.

Bonus: 11. ENet

Adam Paszke, ENet adlı sinir ağı mimarisini tasarladı. Çok hafif ve verimli bir ağdır. Tüm modern mimarilerin özelliklerini birleştirerek mimaride çok az hesaplama ve parametre kullanır. Kullanılarak sahne ayrıştırma ve piksel bazında etiketleme yapılmıştır.

Çözüm

İşte yaygın olarak kullanılan sinir ağı mimarileri. Bu makalenin, sinir ağlarını öğrenmenize yardımcı olacak bilgilendirici olduğunu umuyoruz.

Pratik uygulamalı atölyeler, bire bir sektör danışmanı, 12 vaka çalışması ve ödev, IIIT-B Mezunu statüsü ve daha fazlasını sağlayan Makine Öğrenimi ve Yapay Zeka'daki Yönetici PG Programımızı inceleyebilirsiniz.