10 najlepszych architektur sieci neuronowych w 2022 r. Inżynierowie ML muszą się nauczyć

Dwa najpopularniejsze i najpotężniejsze algorytmy to głębokie uczenie i głębokie sieci neuronowe. Algorytmy głębokiego uczenia zmieniają świat, jaki znamy. Głównym sukcesem tych algorytmów jest projektowanie architektury tych sieci neuronowych. Omówmy teraz niektóre ze słynnej architektury sieci neuronowej.

Popularne architektury sieci neuronowych

1. LeNet5

LeNet5 to architektura sieci neuronowej, która została stworzona przez Yanna LeCuna w roku 1994. LeNet5 napędzał dziedzinę głębokiego uczenia się. Można powiedzieć, że LeNet5 był pierwszą konwolucyjną siecią neuronową, która odgrywała wiodącą rolę na początku dziedziny Deep Learning.

LeNet5 ma bardzo podstawową architekturę. W całym obrazie zostaną rozprowadzone funkcje obrazu. Podobne cechy można wydobyć w bardzo efektywny sposób, używając parametrów uczących się ze zwojami. Kiedy utworzono LeNet5, procesory działały bardzo wolno i nie można było użyć procesora graficznego do wspomagania treningu.

Główną zaletą tej architektury jest oszczędność obliczeń i parametrów. W rozległej wielowarstwowej sieci neuronowej każdy piksel był używany jako oddzielne wejście, a LeNet5 skontrastował z tym. Pomiędzy obrazami występują wysokie korelacje przestrzenne i użycie pojedynczego piksela, ponieważ różne cechy wejściowe byłyby wadą tych korelacji i nie byłyby stosowane w pierwszej warstwie. Wprowadzenie do głębokiego uczenia i sieci neuronowych z Keras

Cechy LeNet5:

• Kosztu dużych obliczeń można uniknąć, rozrzedzania macierzy połączeń między warstwami.
• Ostatecznym klasyfikatorem będzie wielowarstwowa sieć neuronowa
• W postaci esicy lub tanh wystąpi nieliniowość
• W podpróbie zastosowano średnią przestrzenną map
• Wyodrębnianie cech przestrzennych odbywa się za pomocą splotu
• Nieliniowość, Pooling i Convolution to trzy warstwy sekwencji używane w splotowej sieci neuronowej

W kilku słowach można powiedzieć, że architektura sieci neuronowych LeNet5 zainspirowała wiele osób i architektur w dziedzinie głębokiego uczenia się.

Luka w rozwoju architektury sieci neuronowych:

Sieć neuronowa nie rozwinęła się znacząco od 1998 do 2010 roku. Wielu badaczy powoli się poprawiało, a wiele osób nie zauważyło ich rosnącej mocy. Wraz z pojawieniem się tanich aparatów cyfrowych i aparatów do telefonów komórkowych wzrosła dostępność danych. GPU stało się teraz narzędziem obliczeniowym ogólnego przeznaczenia, a wraz ze wzrostem mocy obliczeniowej procesory stały się szybsze. W tamtych latach tempo postępu sieci neuronowej było wydłużone, ale powoli ludzie zaczęli zauważać rosnącą moc sieci neuronowej.

2. Dan Ciresan Net

Pierwsza implementacja sieci neuronowych GPU została opublikowana przez Jurgena Schmidhubera i Dana Claudiu Ciresana w 2010 roku. Było do 9 warstw sieci neuronowej. Został zaimplementowany na procesorze graficznym NVIDIA GTX 280 i miał zarówno wstecz, jak i do przodu.

Ucz się kursów AI ML z najlepszych światowych uniwersytetów. Zdobywaj programy Masters, Executive PGP lub Advanced Certificate Programy, aby przyspieszyć swoją karierę.

3. AlexNet

Ta architektura sieci neuronowej zwyciężyła w trudnej konkurencji ImageNet ze znaczną przewagą. Jest to znacznie szersza i bardziej dogłębna wersja LeNet. Alex Krizhevsky wydał go w 2012 roku.

Za pomocą tej architektury można się nauczyć złożonych hierarchii i obiektów. Znacznie bardziej rozbudowana sieć neuronowa została stworzona poprzez skalowanie spostrzeżeń LeNet w architekturze AlexNet.

Wkład pracy jest następujący:

• Czas szkolenia został skrócony dzięki zastosowaniu procesorów graficznych NVIDIA GTX 580.
• Unika się uśredniania efektów średniej puli, a maksymalne pule nakładają się na siebie.
• Przesadnego dopasowania modelu unika się poprzez selektywne ignorowanie pojedynczych neuronów za pomocą techniki dropout.
• Wyprostowane jednostki liniowe są używane jako nieliniowości

Dozwolone były większe obrazy i bardziej masywne zbiory danych, ponieważ czas trenowania był 10 razy szybszy, a GPU oferowało większą liczbę rdzeni niż procesory. Sukces AlexNetu doprowadził do rewolucji w naukach o sieciach neuronowych. Przydatne zadania rozwiązywały duże sieci neuronowe, czyli konwolucyjne sieci neuronowe. Teraz stał się koniem roboczym Deep Learning.

4. Przesadzić

Overfeat to nowa pochodna AlexNet, która pojawiła się w grudniu 2013 i została stworzona przez laboratorium NYU z Yann LeCun. Wiele artykułów zostało opublikowanych na temat uczenia się ramek granicznych po zapoznaniu się z artykułem zaproponowanym w sprawie ramek granicznych. Ale obiekty segmentu można również odkrywać, zamiast uczyć się sztucznych ramek ograniczających.

5. VGG

Po raz pierwszy sieci VGG z Oksfordu zastosowały mniejsze filtry 3×3 w każdej warstwie splotowej. Mniejsze filtry 3×3 były również używane w połączeniu jako sekwencja zwojów.

VGG przeciwstawia się zasadom LeNet jak w LeNet. Podobne cechy na obrazie uchwycono za pomocą dużych zwojów. W VGG na pierwszych warstwach sieci zastosowano mniejsze filtry, czego unikano w architekturze LeNet. W VGG nie używano dużych filtrów AlexNet, takich jak 9 x 9 lub 11 x 11. Emulacja przez wgląd w efekt większych pól receptywnych, takich jak 7 x 7 i 5 x 5, była możliwa z powodu wielokrotnych splotów 3 x 3 w sekwencji. Była to również najważniejsza zaleta VGG. Najnowsze architektury sieciowe, takie jak ResNet i Inception, wykorzystują tę ideę wielokrotnych splotów 3×3 w serii.

6. Sieć w sieci

Sieć w sieci to architektura sieci neuronowej, która zapewnia większą moc kombinacyjną oraz zapewnia prosty i doskonały wgląd. Wyższa wytrzymałość połączenia jest zapewniona cechom warstwy splotowej dzięki zastosowaniu zwojów 1×1.

7. GoogLeNet i inicjacja

GoogLeNet to pierwsza architektura incepcyjna, której celem jest zmniejszenie obciążenia obliczeniowego głębokich sieci neuronowych. Kategoryzacji zawartości ramek wideo i obrazów dokonano przy użyciu modeli uczenia głębokiego. Duże wdrożenia i wydajność architektur na farmach serwerów stały się głównym zainteresowaniem wielkich internetowych gigantów, takich jak Google. Wiele osób zgodziło się z sieciami neuronowymi w 2014 r., a głębokie uczenie nie ma dokąd wrócić.

8. Warstwa wąskiego gardła

Czas wnioskowania był utrzymywany na niskim poziomie w każdej warstwie dzięki zmniejszeniu liczby operacji i cech przez warstwę wąskiego gardła Incepcji. Liczba funkcji zostanie zmniejszona do 4 razy, zanim dane zostaną przekazane do drogich modułów konwolucji. Jest to sukces architektury warstwy wąskich gardeł, ponieważ znacznie obniżyła koszty obliczeń.

9. ResNet

Idea ResNet jest prosta i polega na ominięciu wejścia do kolejnych warstw, a także zasileniu wyjścia dwóch kolejnych warstw splotowych. W ResNet po raz pierwszy przeszkolono ponad sto tysięcy warstw sieci.

10. SqueezeNet

Koncepcje Incepcji i ResNet zostały ponownie zahaszowane w SqueezeNet w ostatnim wydaniu. Potrzeby złożonych algorytmów kompresji zostały usunięte, a dostarczanie parametrów i małych rozmiarów sieci stało się możliwe dzięki lepszemu projektowi architektury.

Premia: 11. ENet

Adam Paszke zaprojektował architekturę sieci neuronowej o nazwie ENet. Jest to bardzo lekka i wydajna sieć. Wykorzystuje bardzo niewiele obliczeń i parametrów w architekturze, łącząc wszystkie cechy nowoczesnych architektur. Za jego pomocą przeprowadzono parsowanie scen i oznaczanie pikseli.

Wniosek

Oto powszechnie używane architektury sieci neuronowych. Mamy nadzieję, że ten artykuł był pomocny w nauce sieci neuronowych.

Możesz sprawdzić nasz program Executive PG w zakresie uczenia maszynowego i sztucznej inteligencji , który zapewnia praktyczne warsztaty praktyczne, mentor branżowy jeden na jednego, 12 studiów przypadków i zadań, status absolwentów IIIT-B i nie tylko.