Le 10 migliori architetture di reti neurali nel 2022 Gli ingegneri ML devono imparare
Pubblicato: 2021-01-09Due degli algoritmi più popolari e potenti sono Deep Learning e Deep Neural Networks. Gli algoritmi di deep learning stanno trasformando il mondo come lo conosciamo. Il principale successo di questi algoritmi risiede nella progettazione dell'architettura di queste reti neurali. Discutiamo ora alcune delle famose architetture di rete neurale.
Sommario
Architetture di reti neurali popolari
1. LeNet5
LeNet5 è un'architettura di rete neurale creata da Yann LeCun nell'anno 1994. LeNet5 ha spinto il campo del deep learning. Si può dire che LeNet5 è stata la prima rete neurale convoluzionale ad avere il ruolo di primo piano all'inizio del campo del Deep Learning.
LeNet5 ha un'architettura molto fondamentale. L'intera immagine verrà distribuita con le caratteristiche dell'immagine. Caratteristiche simili possono essere estratte in modo molto efficace utilizzando parametri apprendibili con convoluzioni. Quando è stato creato LeNet5, le CPU erano molto lente e nessuna GPU può essere utilizzata per aiutare l'allenamento.
Il vantaggio principale di questa architettura è il risparmio di calcolo e parametri. In un'ampia rete neurale multistrato, ogni pixel è stato utilizzato come input separato e LeNet5 ha contrastato questo. Esistono elevate correlazioni spaziali tra le immagini e l'utilizzo del pixel singolo poiché diverse caratteristiche di input sarebbero uno svantaggio di queste correlazioni e non sarebbero utilizzate nel primo livello. Introduzione all'apprendimento profondo e alle reti neurali con Keras
Caratteristiche di LeNet5:
- Il costo dei grandi calcoli può essere evitato spargendo la matrice di connessione tra i livelli.
- Il classificatore finale sarà una rete neurale multistrato
- Sotto forma di sigmoidi o tanh, ci sarà non linearità
- La media spaziale delle mappe viene utilizzata nel sottocampione
- L'estrazione delle caratteristiche spaziali viene eseguita utilizzando la convoluzione
- Non linearità, pooling e convoluzione sono i tre livelli di sequenza utilizzati nella rete neurale convoluzionale
In poche parole, si può dire che LeNet5 Neural Network Architecture ha ispirato molte persone e architetture nel campo del Deep Learning.
Il divario nel progresso dell'architettura della rete neurale:
La rete neurale non è progredita molto dall'anno 1998 al 2010. Molti ricercatori stavano lentamente migliorando e molte persone non hanno notato il loro potere crescente. Con l'aumento delle fotocamere digitali e dei cellulari a basso costo, la disponibilità dei dati è aumentata. La GPU è ora diventata uno strumento di elaborazione generico e anche le CPU sono diventate più veloci con l'aumento della potenza di calcolo. In quegli anni il tasso di avanzamento della rete neurale era prolungato, ma lentamente le persone iniziarono a notare la potenza crescente della rete neurale.
2. Dan Ciresan Net
La prima implementazione delle reti neurali GPU è stata pubblicata da Jurgen Schmidhuber e Dan Claudiu Ciresan nel 2010. C'erano fino a 9 strati della rete neurale. È stato implementato su un processore grafico NVIDIA GTX 280 e aveva sia avanti che indietro.
Impara i corsi AI ML dalle migliori università del mondo. Guadagna master, Executive PGP o programmi di certificazione avanzati per accelerare la tua carriera.
3. AlexNet
Questa architettura di rete neurale ha vinto la sfidante concorrenza di ImageNet con un margine considerevole. È una versione molto più ampia e approfondita di LeNet. Alex Krizhevsky lo ha rilasciato nel 2012.
Gerarchie e oggetti complessi possono essere appresi utilizzando questa architettura. La rete neurale molto più estesa è stata creata ridimensionando le informazioni di LeNet nell'architettura AlexNet.
I contributi di lavoro sono i seguenti:
- Il tempo di allenamento è stato ridotto utilizzando le GPU NVIDIA GTX 580.
- Gli effetti della media del pooling medio vengono evitati e il pooling massimo viene sovrapposto.
- L'overfitting del modello viene evitato ignorando selettivamente i singoli neuroni utilizzando la tecnica del dropout.
- Le unità lineari rettificate vengono utilizzate come non linearità
È stato possibile utilizzare immagini più grandi e set di dati più massicci perché il tempo di addestramento era 10 volte più veloce e la GPU offriva un numero di core più considerevole rispetto alle CPU. Il successo di AlexNet ha portato a una rivoluzione nelle scienze delle reti neurali. Compiti utili sono stati risolti da grandi reti neurali, vale a dire reti neurali convoluzionali. Ora è diventato il cavallo di battaglia del Deep Learning.
4. Overfeat
Overfeat è un nuovo derivato di AlexNet uscito a dicembre 2013 ed è stato creato dal laboratorio della NYU da Yann LeCun. Molti articoli sono stati pubblicati sull'apprendimento dei riquadri di delimitazione dopo aver appreso che l'articolo proponeva i riquadri di delimitazione. Ma gli oggetti Segment possono anche essere scoperti invece di imparare dei riquadri di delimitazione artificiali.
5. VGG
La prima volta che le reti VGG di Oxford hanno utilizzato filtri 3 × 3 più piccoli in ciascuno strato convoluzionale. Sono stati utilizzati anche filtri 3 × 3 più piccoli in combinazione come sequenza di convoluzioni.
VGG contrasta i principi di LeNet come in LeNet. Caratteristiche simili in un'immagine sono state acquisite utilizzando grandi convoluzioni. In VGG, sui primi strati della rete sono stati utilizzati filtri più piccoli, cosa che è stata evitata nell'architettura LeNet. In VGG, non sono stati utilizzati filtri di grandi dimensioni di AlexNet come 9 x 9 o 11 x 11. L'emulazione mediante l'intuizione dell'effetto di campi ricettivi più grandi come 7 x 7 e 5 x 5 era possibile a causa della convoluzione multipla 3 x 3 in sequenza. Era anche il vantaggio più significativo di VGG. Architetture di rete recenti come ResNet e Inception utilizzano questa idea di più convoluzioni 3 × 3 in serie.
6. Rete in rete
Network-in-network è un'architettura di rete neurale che fornisce una maggiore potenza combinatoria e offre informazioni semplici e dettagliate. Una maggiore forza della combinazione viene fornita alle caratteristiche di uno strato convoluzionale utilizzando convoluzioni 1×1.
7. GoogLeNet e inizio
GoogLeNet è la prima architettura iniziale che mira a ridurre il carico di calcolo delle reti neurali profonde. La categorizzazione dei frame video e del contenuto delle immagini è stata effettuata utilizzando modelli di deep learning. Le grandi implementazioni e l'efficienza delle architetture nelle server farm sono diventate l'interesse principale di grandi colossi di Internet come Google. Molte persone hanno concordato nel 2014 sulle reti neurali e il deep learning non è dove tornare indietro.
8. Strato collo di bottiglia
Il tempo di inferenza è stato mantenuto basso a ogni livello dalla riduzione del numero di operazioni e funzionalità dal livello di collo di bottiglia di Inception. Il numero di funzioni sarà ridotto a 4 volte prima che i dati vengano passati ai costosi moduli di convoluzione. Questo è il successo dell'architettura del livello Bottleneck perché ha risparmiato molto sui costi di calcolo.
9. ResNet
L'idea di ResNet è semplice, e cioè bypassare l'input ai livelli successivi e anche alimentare l'output di due strati convoluzionali successivi. Più di centomila strati della rete sono stati addestrati per la prima volta in ResNet.
10. Spremere rete
I concetti di Inception e ResNet sono stati rielaborati in SqueezeNet nella recente versione. Le esigenze di complessi algoritmi di compressione sono state rimosse e la fornitura di parametri e dimensioni di rete ridotte è diventata possibile con una migliore progettazione dell'architettura.
Bonus: 11. ENet
Adam Paszke ha progettato l'architettura della rete neurale chiamata ENet. È una rete molto leggera ed efficiente. Utilizza pochissimi calcoli e parametri nell'architettura combinando tutte le caratteristiche delle architetture moderne. L'analisi della scena e l'etichettatura in termini di pixel sono state eseguite utilizzandolo.
Conclusione
Ecco le architetture di rete neurale comunemente utilizzate. Ci auguriamo che questo articolo sia stato informativo nell'aiutarti ad apprendere le reti neurali.
Puoi controllare il nostro programma Executive PG in Machine Learning e AI , che offre workshop pratici pratici, tutor del settore individuale, 12 casi di studio e incarichi, stato di Alumni IIIT-B e altro ancora.
Qual è lo scopo di una rete neurale?
Lo scopo di una rete neurale è apprendere schemi dai dati pensandoci ed elaborandoli nello stesso modo in cui facciamo noi come esseri umani. Potremmo non sapere come fa una rete neurale, ma possiamo dirle di apprendere e riconoscere i modelli attraverso il processo di addestramento. La rete neurale si allena regolando costantemente le connessioni tra i suoi neuroni. Ciò consente alla rete neurale di migliorare costantemente e aggiungere agli schemi che ha appreso. Una rete neurale è un costrutto di apprendimento automatico e viene utilizzata per risolvere problemi di apprendimento automatico che richiedono limiti decisionali non lineari. I limiti decisionali non lineari sono comuni nei problemi di apprendimento automatico, quindi le reti neurali sono molto comuni nelle applicazioni di apprendimento automatico.
Come funzionano le reti neurali?
Le reti neurali artificiali ANN sono modelli computazionali ispirati alle reti neurali del cervello. La tradizionale rete neurale artificiale consiste in un insieme di nodi, con ogni nodo che rappresenta un neurone. È presente anche un nodo di uscita, che si attiva quando viene attivato un numero sufficiente di nodi di ingresso. Ogni caso di formazione ha un vettore di input e un vettore di output. La funzione di attivazione di ogni neurone è diversa. Chiamiamo questa funzione di attivazione funzione sigmoidea o funzione a forma di S. La scelta della funzione di attivazione non è critica per il funzionamento di base della rete e nelle ANN possono essere utilizzati anche altri tipi di funzioni di attivazione. L'output di un neurone è la quantità di attivazione del neurone. Un neurone viene attivato quando viene attivato un numero sufficiente di neuroni di input.