Top 10 arhitecturi de rețele neuronale în 2022 Inginerii ML trebuie să învețe

Doi dintre cei mai populari și puternici algoritmi sunt Deep Learning și Deep Neural Networks. Algoritmii de învățare profundă transformă lumea așa cum o cunoaștem. Principalul succes al acestor algoritmi este în proiectarea arhitecturii acestor rețele neuronale. Să discutăm acum câteva dintre renumitele arhitecturi ale rețelelor neuronale.

Arhitecturi populare de rețele neuronale

1. LeNet5

LeNet5 este o arhitectură de rețea neuronală care a fost creată de Yann LeCun în anul 1994. LeNet5 a propulsat câmpul de învățare profundă. Se poate spune că LeNet5 a fost prima rețea neuronală convoluțională care are rolul principal la începutul domeniului Deep Learning.

LeNet5 are o arhitectură foarte fundamentală. Pe întreaga imagine va fi distribuită cu funcții de imagine. Caracteristici similare pot fi extrase într-un mod foarte eficient prin utilizarea parametrilor învățați cu convoluții. Când a fost creat LeNet5, procesoarele erau foarte lente și nici un GPU nu poate fi folosit pentru a ajuta antrenamentul.

Principalul avantaj al acestei arhitecturi este salvarea calculelor și a parametrilor. Într-o rețea neuronală extinsă cu mai multe straturi, fiecare pixel a fost folosit ca intrare separată, iar LeNet5 a contrastat acest lucru. Există corelații spațiale mari între imagini și utilizarea unui singur pixel ca caracteristici de intrare diferite ar fi un dezavantaj al acestor corelații și nu ar fi utilizată în primul strat. Introducere în Deep Learning și rețele neuronale cu Keras

Caracteristici ale LeNet5:

• Costul calculelor mari poate fi evitat prin scăderea matricei de conexiune între straturi.
• Clasificatorul final va fi o rețea neuronală cu mai multe straturi
• Sub formă de sigmoide sau tanh, va exista neliniaritate
• Media spațială a hărților este utilizată în subeșantion
• Extragerea caracteristicilor spațiale se face prin utilizarea convoluției
• Neliniaritatea, Poolingul și Convoluția sunt cele trei straturi de secvență utilizate în rețelele neuronale convoluționale

În câteva cuvinte, se poate spune că LeNet5 Neural Network Architecture a inspirat mulți oameni și arhitecturi din domeniul Deep Learning.

Decalajul în progresul arhitecturii rețelei neuronale:

Rețeaua neuronală nu a progresat prea mult din anul 1998 până în 2010. Mulți cercetători s-au îmbunătățit încet, iar mulți oameni nu au observat puterea lor în creștere. Odată cu creșterea camerelor digitale ieftine și pentru telefoane mobile, disponibilitatea datelor a crescut. GPU-ul a devenit acum un instrument de calcul de uz general, iar procesoarele au devenit, de asemenea, mai rapide odată cu creșterea puterii de calcul. În acei ani, rata de progres a rețelei neuronale a fost prelungită, dar încetul cu încetul oamenii au început să observe puterea în creștere a rețelei neuronale.

2. Dan Ciresan Net

Prima implementare a rețelelor neuronale GPU a fost publicată de Jurgen Schmidhuber și Dan Claudiu Ciresan în 2010. Existau până la 9 straturi ale rețelei neuronale. A fost implementat pe un procesor grafic NVIDIA GTX 280 și avea atât înapoi cât și înainte.

Învață cursuri AI ML de la cele mai bune universități din lume. Câștigă programe de master, Executive PGP sau Advanced Certificate pentru a-ți accelera cariera.

3. AlexNet

Această arhitectură de rețea neuronală a câștigat competiția provocatoare a ImageNet cu o marjă considerabilă. Este o versiune mult mai amplă și mai aprofundată a LeNet. Alex Krizhevsky l-a lansat în 2012.

Ierarhiile și obiectele complexe pot fi învățate folosind această arhitectură. Rețeaua neuronală mult mai extinsă a fost creată prin scalarea cunoștințelor LeNet în AlexNet Architecture.

Contribuțiile la muncă sunt următoarele:

• Timpul de antrenament a fost redus prin utilizarea GPU-urilor NVIDIA GTX 580.
• Efectele de mediere ale regrupării medii sunt evitate, iar punerea în comun maximă este suprapusă.
• Supraadaptarea modelului este evitată prin ignorarea selectivă a neuronilor individuali prin utilizarea tehnicii abandonului.
• Unitățile liniare rectificate sunt utilizate ca neliniarități

Imaginile mai mari și seturi de date mai masive au fost permise pentru a fi utilizate, deoarece timpul de antrenament a fost de 10 ori mai rapid și GPU-ul a oferit un număr mai considerabil de nuclee decât procesoarele. Succesul AlexNet a condus la o revoluție în știința rețelelor neuronale. Sarcinile utile au fost rezolvate de rețele neuronale mari, și anume rețele neuronale convoluționale. Acum a devenit calul de bătaie al învățării profunde.

4. Supraînvins

Overfeat este un nou derivat al AlexNet care a apărut în decembrie 2013 și a fost creat de laboratorul NYU de la Yann LeCun. Multe lucrări au fost publicate despre învățarea casetelor de delimitare după ce a aflat că articolul propune casetele de delimitare. Dar obiectele Segment pot fi, de asemenea, descoperite, mai degrabă decât să învețe cutii de delimitare artificiale.

5. VGG

Prima dată când rețelele VGG din Oxford au folosit filtre mai mici 3×3 în fiecare strat convoluțional. Filtrele mai mici 3×3 au fost, de asemenea, utilizate în combinație ca o secvență de convoluții.

VGG contrastează principiile LeNet ca în LeNet. Caracteristici similare dintr-o imagine au fost surprinse folosind circumvoluții mari. În VGG, filtrele mai mici au fost folosite pe primele straturi ale rețelei, ceea ce a fost evitat în arhitectura LeNet. În VGG, filtrele mari ale AlexNet, cum ar fi 9 x 9 sau 11 x 11, nu au fost folosite. Emularea prin înțelegerea efectului câmpurilor receptive mai mari, cum ar fi 7 x 7 și 5 x 5, a fost posibilă datorită convoluției multiple 3 x 3 în secvență. A fost, de asemenea, cel mai semnificativ avantaj al VGG. Arhitecturile de rețea recente, cum ar fi ResNet și Inception, folosesc această idee de convoluții multiple 3×3 în serie.

6. Rețea în rețea

Network-in-network este o arhitectură de rețea neuronală care oferă o putere combinațională mai mare și are o perspectivă simplă și excelentă. O rezistență mai mare a combinației este oferită caracteristicilor unui strat convoluțional prin utilizarea convoluțiilor 1×1.

7. GoogLeNet și Inception

GoogLeNet este prima arhitectură inițială care are ca scop scăderea sarcinii de calcul a rețelelor neuronale profunde. Categorizarea cadrelor video și a conținutului imaginilor s-a realizat folosind modele de deep learning. Implementările mari și eficiența arhitecturilor pe fermele de servere au devenit principalul interes al marilor giganți ai internetului precum Google. Mulți oameni au fost de acord în 2014 cu rețelele neuronale, iar învățarea profundă nu este de unde să se întoarcă.

8. Strat gât de sticlă

Timpul de inferență a fost menținut scăzut la fiecare strat prin reducerea numărului de operațiuni și caracteristici prin stratul de blocaj al Inception. Numărul de caracteristici va fi redus la 4 ori înainte ca datele să fie transmise modulelor costisitoare de convoluție. Acesta este succesul arhitecturii stratului Bottleneck, deoarece a economisit foarte mult costul de calcul.

9. ResNet

Ideea ResNet este simplă și aceasta este de a ocoli intrarea la straturile următoare și, de asemenea, de a alimenta ieșirea a două straturi convoluționale succesive. Peste o sută de mii de straturi ale rețelei au fost antrenate pentru prima dată în ResNet.

10. SqueezeNet

Conceptele Inception și ResNet au fost rehașate în SqueezeNet în ultima ediție. Nevoile algoritmilor de compresie complecși au fost eliminate, iar livrarea parametrilor și dimensiunile mici ale rețelei au devenit posibile cu o mai bună proiectare a arhitecturii.

Bonus: 11. ENet

Adam Paszke a proiectat arhitectura rețelei neuronale numită ENet. Este o rețea foarte ușoară și eficientă. Utilizează foarte puține calcule și parametri în arhitectură combinând toate caracteristicile arhitecturii moderne. Analiza scenei și etichetarea în funcție de pixeli au fost efectuate prin utilizarea acesteia.

Concluzie

Iată arhitecturile rețelelor neuronale care sunt utilizate în mod obișnuit. Sperăm că acest articol a fost informativ pentru a vă ajuta să învățați rețelele neuronale.

Puteți verifica programul nostru Executive PG în Machine Learning și AI , care oferă ateliere practice practice, mentor individual în industrie, 12 studii de caz și sarcini, statutul de absolvenți IIIT-B și multe altele.