Top 10 neuronaler Netzwerkarchitekturen im Jahr 2022 ML-Ingenieure müssen lernen

Zwei der beliebtesten und leistungsstärksten Algorithmen sind Deep Learning und Deep Neural Networks. Deep-Learning-Algorithmen verändern die Welt, wie wir sie kennen. Der Haupterfolg dieser Algorithmen liegt im Entwurf der Architektur dieser neuronalen Netze. Lassen Sie uns nun einige der berühmten neuronalen Netzwerkarchitekturen diskutieren.

Beliebte neuronale Netzwerkarchitekturen

1. LeNet5

LeNet5 ist eine neuronale Netzwerkarchitektur, die von Yann LeCun im Jahr 1994 entwickelt wurde. LeNet5 hat das Gebiet des Deep Learning vorangetrieben. Man kann sagen, dass LeNet5 das allererste Convolutional Neural Network war, das zu Beginn des Deep-Learning-Bereichs die führende Rolle einnahm.

LeNet5 hat eine sehr grundlegende Architektur. Über das gesamte Bild werden Bildmerkmale verteilt. Ähnliche Merkmale können auf sehr effektive Weise extrahiert werden, indem lernbare Parameter mit Faltungen verwendet werden. Als LeNet5 erstellt wurde, waren die CPUs sehr langsam, und es kann keine GPU verwendet werden, um das Training zu unterstützen.

Der Hauptvorteil dieser Architektur ist die Einsparung von Berechnungen und Parametern. In einem umfangreichen mehrschichtigen neuronalen Netzwerk wurde jedes Pixel als separate Eingabe verwendet, und LeNet5 stellte dies gegenüber. Es bestehen hohe räumliche Korrelationen zwischen den Bildern, und die Verwendung des Einzelpixels als unterschiedliche Eingabemerkmale wäre ein Nachteil dieser Korrelationen und würde in der ersten Schicht nicht verwendet werden. Einführung in Deep Learning und neuronale Netze mit Keras

Eigenschaften von LeNet5:

• Die Kosten für große Berechnungen können vermieden werden, indem die Verbindungsmatrix zwischen Schichten verkleinert wird.
• Der letzte Klassifikator wird ein mehrschichtiges neuronales Netzwerk sein
• In Form von Sigmoiden oder Tanh wird es eine Nichtlinearität geben
• In der Teilstichprobe wird der räumliche Durchschnitt von Karten verwendet
• Die Extraktion räumlicher Merkmale erfolgt durch Faltung
• Nichtlinearität, Pooling und Faltung sind die drei Sequenzschichten, die in Faltungs-Neuronalnetzwerken verwendet werden

In wenigen Worten kann gesagt werden, dass die LeNet5 Neural Network Architecture viele Menschen und Architekturen im Bereich Deep Learning inspiriert hat.

Die Lücke im Fortschritt der neuronalen Netzwerkarchitektur:

Das neuronale Netzwerk machte zwischen 1998 und 2010 keine großen Fortschritte. Viele Forscher verbesserten sich langsam, und viele Menschen bemerkten ihre zunehmende Leistung nicht. Mit dem Aufkommen billiger Digital- und Handykameras stieg die Datenverfügbarkeit. GPU ist mittlerweile zu einem Allzweck-Rechenwerkzeug geworden, und CPUs wurden mit zunehmender Rechenleistung auch schneller. In diesen Jahren wurde die Fortschrittsrate des neuronalen Netzwerks verlängert, aber langsam begannen die Menschen, die zunehmende Leistungsfähigkeit des neuronalen Netzwerks zu bemerken.

2. Dan Ciresan Net

Die allererste Implementierung von GPU-Neuralnetzen wurde 2010 von Jurgen Schmidhuber und Dan Claudiu Ciresan veröffentlicht. Es gab bis zu 9 Schichten des neuronalen Netzes. Es wurde auf einem NVIDIA GTX 280-Grafikprozessor implementiert und verfügte sowohl über Rückwärts- als auch über Vorwärtsfunktionen.

Lernen Sie AI ML-Kurse von den besten Universitäten der Welt. Erwerben Sie Master-, Executive PGP- oder Advanced Certificate-Programme, um Ihre Karriere zu beschleunigen.

3. AlexNet

Diese neuronale Netzwerkarchitektur hat den anspruchsvollen Wettbewerb von ImageNet mit deutlichem Vorsprung gewonnen. Es ist eine viel breitere und tiefergehende Version von LeNet. Alex Krizhevsky veröffentlichte es 2012.

Mit dieser Architektur können komplexe Hierarchien und Objekte gelernt werden. Das viel umfangreichere neuronale Netzwerk wurde durch Skalierung der Erkenntnisse von LeNet in der AlexNet-Architektur erstellt.

Die Arbeitsbeiträge sind wie folgt:

• Die Trainingszeit wurde durch die Verwendung von GPUs NVIDIA GTX 580 reduziert.
• Mittelungseffekte des durchschnittlichen Poolings werden vermieden, und das maximale Pooling wird überlappt.
• Eine Überanpassung des Modells wird vermieden, indem die einzelnen Neuronen selektiv ignoriert werden, indem die Dropout-Technik verwendet wird.
• Als Nichtlinearitäten werden gleichgerichtete lineare Einheiten verwendet

Größere Bilder und umfangreichere Datensätze durften verwendet werden, da die Trainingszeit 10-mal schneller war und die GPU eine beträchtlichere Anzahl von Kernen als die CPUs bot. Der Erfolg von AlexNet führte zu einer Revolution in den Neuronalen Netzwerkwissenschaften. Nützliche Aufgaben wurden durch große neuronale Netze gelöst, nämlich Convolutional Neural Networks. Es ist mittlerweile zum Arbeitspferd des Deep Learning geworden.

4. Übertreibung

Overfeat ist ein neues Derivat von AlexNet, das im Dezember 2013 auf den Markt kam und vom NYU-Labor von Yann LeCun erstellt wurde. Viele Artikel wurden zum Erlernen von Begrenzungsrahmen veröffentlicht, nachdem der Artikel vorgeschlagene Begrenzungsrahmen kennengelernt hatte. Aber Segmentobjekte können auch entdeckt werden, anstatt künstliche Begrenzungsrahmen zu lernen.

5. VGG

Das erste Mal verwendeten VGG-Netzwerke aus Oxford kleinere 3 × 3-Filter in jeder Faltungsschicht. Kleinere 3 × 3-Filter wurden auch in Kombination als Folge von Faltungen verwendet.

VGG stellt die Prinzipien von LeNet wie in LeNet gegenüber. Ähnliche Merkmale in einem Bild wurden unter Verwendung großer Faltungen erfasst. In VGG wurden kleinere Filter auf den ersten Schichten des Netzwerks verwendet, was in der LeNet-Architektur vermieden wurde. In VGG wurden große Filter von AlexNet wie 9 x 9 oder 11 x 11 nicht verwendet. Eine Emulation durch die Einsicht in die Wirkung größerer rezeptiver Felder wie 7 x 7 und 5 x 5 war aufgrund der mehrfachen 3 x 3-Faltung in Folge möglich. Es war auch der bedeutendste Vorteil von VGG. Neuere Netzwerkarchitekturen wie ResNet und Inception verwenden diese Idee mehrerer 3×3-Faltungen in Reihe.

6. Netzwerk im Netzwerk

Netzwerk-in-Netzwerk ist eine neuronale Netzwerkarchitektur, die eine höhere Kombinationsleistung bietet und einfache und großartige Einblicke bietet. Den Merkmalen einer Faltungsschicht wird durch Verwendung von 1 × 1-Faltung eine höhere Stärke der Kombination verliehen.

7. GoogleNet und Inception

GoogLeNet ist die erste Inception-Architektur, die darauf abzielt, die Rechenlast von Deep Neural Networks zu verringern. Die Kategorisierung von Videoframes und Bildinhalten erfolgte mithilfe von Deep-Learning-Modellen. Große Bereitstellungen und die Effizienz von Architekturen auf den Serverfarmen wurden zum Hauptinteresse großer Internetgiganten wie Google. Viele Menschen waren sich 2014 einig, dass neuronale Netze und Deep Learning nirgendwo zurückgehen.

8. Engpassschicht

Die Inferenzzeit wurde auf jeder Ebene gering gehalten, indem die Anzahl der Operationen und Funktionen durch die Engpassebene von Inception reduziert wurde. Die Anzahl der Merkmale wird auf das 4-fache reduziert, bevor die Daten an die teuren Faltungsmodule weitergegeben werden. Dies ist der Erfolg der Bottleneck-Layer-Architektur, da sie die Berechnungskosten sehr stark einspart.

9. ResNet

Die Idee von ResNet ist einfach, nämlich die Eingabe an die nächsten Schichten zu umgehen und auch die Ausgabe von zwei aufeinanderfolgenden Faltungsschichten zu speisen. Mehr als hunderttausend Schichten des Netzwerks wurden zum ersten Mal in ResNet trainiert.

10. SqueezeNet

Die Konzepte von Inception und ResNet wurden in der jüngsten Version in SqueezeNet neu aufbereitet. Die Notwendigkeit komplexer Komprimierungsalgorithmen wurde beseitigt, und die Bereitstellung von Parametern und kleinen Netzwerkgrößen wurde durch ein besseres Design der Architektur möglich.

Bonus: 11. ENet

Adam Paszke entwarf die neuronale Netzwerkarchitektur namens ENet. Es ist ein sehr leichtes und effizientes Netzwerk. Es verwendet sehr wenige Berechnungen und Parameter in der Architektur, indem es alle Merkmale moderner Architekturen kombiniert. Szenen-Parsing und pixelweises Etikettieren wurden unter Verwendung davon durchgeführt.

Fazit

Hier sind die üblicherweise verwendeten neuronalen Netzwerkarchitekturen. Wir hoffen, dass dieser Artikel informativ war, um Ihnen beim Erlernen neuronaler Netze zu helfen.

Sie können unser Executive PG-Programm für maschinelles Lernen und KI einsehen , das praktische Workshops, persönliche Mentoren aus der Industrie, 12 Fallstudien und Aufgaben, IIIT-B-Alumni-Status und mehr bietet.