Back-Propagation-Algorithmus – Ein Überblick

Neuronale Netze sind das angesagteste Wort in der Welt der KI-Technologie. Und wenn man von neuronalen Netzen spricht, ist Backpropagation ein Wort, auf das man sich konzentrieren sollte. Der Algorithmus der Rückwärtsausbreitung ist einer der grundlegenden Blöcke des neuronalen Netzwerks. Da jedes neuronale Netz für die Ausführung der Aufgabe trainiert werden muss, ist Backpropagation ein Algorithmus, der für das Training des neuronalen Netzes verwendet wird. Es ist eine Form eines Algorithmus für überwachtes Lernen, der zum Trainieren von Perzeptronen mehrerer Schichten in einem künstlichen neuronalen Netzwerk verwendet wird.

Es wird eine typische Programmierung betrachtet, bei der die Daten eingefügt werden und die Logik der Programmierung durchgeführt wird. Während der Verarbeitung wird die Ausgabe vom Benutzer empfangen. Aber diese Ausgabe kann in gewisser Weise die Logik der Programmierung beeinflussen. Das macht der Algorithmus der Backpropagation. Die Ausgabe beeinflusst die Logik und führt zu einer besseren Ausgabe.

Der Artikel konzentriert sich auf den Algorithmus der Backpropagation und seinen Arbeitsprozess.

Bedeutung der Rückwärtsausbreitung

Die Bedeutung der Backpropagation liegt in ihrer Verwendung in neuronalen Netzen. Das Entwerfen von neuronalen Netzwerken erfordert, dass die Gewichte nur am Anfang initialisiert werden sollten. Diese Gewichte sind einige Zufallswerte oder beliebige Zufallsvariablen, die zum Initialisieren der Gewichte berücksichtigt werden. Da die Gewichte zufällig eingefügt werden, besteht die Möglichkeit, dass die Gewichte nicht die richtigen sind. Das bedeutet, dass die Gewichte nicht zum Modell passen. Die Ausgabe des Modells kann sich von der erwarteten Ausgabe unterscheiden. Als Ergebnis gibt es einen hohen Fehlerwert. Aber es ist immer wichtig, den Fehler zu reduzieren, und es ist eine Herausforderung, Wege zur Reduzierung des Fehlers zu finden. Das Modell muss darauf trainiert werden, dass es bei Auftreten dieser Art von Szenarien die Parameter entsprechend ändern muss. Und mit der Änderung der Parameter wird der Fehlerwert reduziert.

Daher ist das Trainieren des Modells erforderlich, und Backpropagation ist ein Weg, durch den ein Modell so trainiert werden kann, dass es minimale Fehlerwerte gibt.

Einige Schritte des Backpropagation-Algorithmus in neuronalen Netzen können im Folgenden zusammengefasst werden:

● Fehlerberechnung: Berechnet die Abweichung der Modellausgabe von der tatsächlichen Ausgabe des Modells.

● Minimaler Fehler: In diesem Schritt wird geprüft, ob der generierte Fehler minimiert ist oder nicht.

● Parameteraktualisierung: Der Schritt dient der Aktualisierung der Modellparameter. Wenn das Modell einen sehr hohen Fehlerwert generiert, muss es seine Parameter aktualisieren.

wie die Gewichte und die Vorspannungen. Das Modell wird erneut auf den Fehler überprüft, und der Prozess wird wiederholt, bis der erzeugte Fehler minimiert wird.

● Endgültiges Modell: Nach wiederholtem Prüfen und Aktualisieren wird der Fehler minimiert und das Modell ist nun bereit für die Eingaben. Eingaben können in das Modell eingespeist und die Ausgaben des Modells analysiert werden.

Das neuronale Backpropagation-Netzwerk

In jedem neuronalen Netzwerk sucht der Backpropagation-Algorithmus nach dem minimalen Fehlerwert. Dies geschieht durch die Technik des Gradientenabstiegs oder der Delta-Regel, durch die die minimale Fehlerfunktion aus dem Gewichtsraum gesucht wird. Sobald die Gewichte identifiziert sind, die die Fehlerfunktion reduzieren, wird dies als Lösung für das Lernproblem angesehen. In den 1960er Jahren, als der Algorithmus zuerst eingeführt wurde, und dann in den späteren Jahren, wurde die Popularität des Algorithmus erhöht. Durch diesen Algorithmus kann das neuronale Netz mit einem Verfahren der Kettenregel effektiv trainiert werden. Wenn es einen Vorwärtsdurchlauf durch das neuronale Netzwerk gibt, dann wird ein Rückwärtsdurchlauf durch den Parameter des Modells durch seine Anpassung der Parameter wie Bias und Gewichtungen durchgeführt. Damit der Backpropagation-Algorithmus funktioniert, sollte zuerst das neuronale Netzwerk definiert werden.

Das neuronale Netzwerkmodell

Wenn ein 4-Schichten-Modell des neuronalen Netzes betrachtet wird, dann besteht es aus den Schichten; die Eingabeschicht, 4 Neuronen für die verborgenen Schichten und 1 Neuron für die Ausgabeschicht.

Eingabeschicht: Die Eingabeschicht kann einfach oder komplex sein. Eine einfache Eingabeschicht enthält die Skalare, und eine komplexe Eingabeschicht besteht aus mehrdimensionalen Matrizen oder Vektoren. Die ersten Aktivierungssätze werden als gleich den Eingangswerten betrachtet.

Unter Aktivierung versteht man den Wert des Neurons, der sich nach Anwendung der Aktivierungsfunktion ergibt.

Versteckte Schichten: Verwenden bestimmter gewichteter Eingaben wie z^l in den Schichten l und die Aktivierungen a^l in derselben Schicht l. Gleichungen werden für diese Schichten wie Schicht 2 und Schicht 3 generiert.

Die Aktivierungen für Schichten werden durch die Verwendung der Aktivierungsfunktion f berechnet. Die Aktivierungsfunktion „f“ ist eine nichtlineare Funktion, die das Lernen komplexer Muster ermöglicht, die in den Daten durch das Netzwerk vorhanden sind.

Es wird eine Gewichtsmatrix mit der Form (n, m) gebildet, wobei die Zahl „n“ die Ausgangsneuronen bezeichnet, während das „m“ die Eingangsneuronen des neuronalen Netzwerks bezeichnet. Im Modell der oben erwähnten Schichten ist die Anzahl von n 2 und die Anzahl von m 4. Außerdem sollte die erste Zahl im Index der Gewichtung mit dem Index des Neurons übereinstimmen, das sich in der nächsten Schicht befindet. Die zweite Zahl sollte mit dem neuronalen Index der vorherigen Schicht des Netzwerks übereinstimmen.

Ausgabeschicht: Die Ausgabeschicht ist die letzte Schicht des neuronalen Netzes. Es sagt den Wert des Modells voraus. Zur Vereinfachung der Gleichung wird eine Matrixdarstellung verwendet.

Vorwärtsausbreitung des neuronalen Netzes und dessen Auswertung

Die beim Definieren des neuronalen Netzes erzeugten Gleichungen bilden die Vorwärtsausbreitung des Netzes. Es sagt die Ausgabe des Modells voraus. Bei einem Vorwärtsausbreitungsalgorithmus ist der letzte beteiligte Schritt die Bewertung der vorhergesagten Ausgabe gegenüber der erwarteten Ausgabe. Wenn die vorhergesagte Ausgabe „s“ und die erwartete Ausgabe „y“ ist, dann ist s gegen y auszuwerten. Für das Trainings-Dataset (x,y) ist x die Eingabe und y die Ausgabe.

Für die Bewertung von s gegen y wird eine Kostenfunktion „C“ verwendet. Die Kostenfunktion kann einfach wie der mittlere quadratische Fehler (MSE) oder komplex wie die Kreuzentropie sein. Basierend auf dem Wert von C erfährt das Modell, wie stark die Parameter angepasst werden sollten, um näher an die erwartete Ausgabe heranzukommen, die y ist. Dies geschieht durch den Back-Propagation-Algorithmus.

Backpropagation-Algorithmus

Der Backpropagation-Algorithmus führt wiederholt die Anpassung der Gewichtungen in den Netzwerkverbindungen durch, um die Differenz zwischen den Ausgaben des Modells auf die erwartete Ausgabe zu minimieren. Im Backpropagation-Algorithmus können auch neue und nützliche Funktionen im Netzwerk erstellt werden.

Der Backpropagation-Algorithmus zielt auch darauf ab, die definierte Kostenfunktion des Netzwerks, dh C, zu verringern oder zu minimieren. Dies erfolgt durch die Anpassung der Parameter, wie beispielsweise der Bias und der Gewichte. Diese in den Parametern vorzunehmende Anpassung wird durch die Gradienten der Kostenfunktionen in Bezug auf alle diese Parameter bestimmt.

Der Gradient der Funktion C im Punkt x ist definiert als der Vektor aller partiellen Ableitungen, die in der Kostenfunktion C in x enthalten sind.

Die Empfindlichkeit gegenüber der Änderung des Werts einer Funktion wird durch die Ableitung der Funktion C in Bezug auf die Änderung des Arguments x gemessen. Das bedeutet, dass es die Ableitung ist, die angibt, wohin sich die Kostenfunktion C bewegt.

Die Änderung des Parameters x wird durch die Steigung definiert. Es zeigt die Änderungen, die im Parameter x zur Minimierung von C erforderlich sind. Zur Berechnung der Gradienten wird die Kettenregel verwendet. Es ist der Gradient, der die Optimierung der Parameter ermöglicht.

So funktioniert der Algorithmus der Backpropagation bei der Verbesserung und dem Training des neuronalen Netzes. Es dient als wichtiger Bestandteil der Aspekte des maschinellen Lernens. Als wesentlicher Bestandteil des Trainings des neuronalen Netzes ist das Verständnis des Algorithmus der Backpropagation unerlässlich. Wenn Sie Experte für maschinelles Lernen und künstliche Intelligenz werden möchten, können Sie sich den von upGrad angebotenen Studiengang „Master of Science in Machine Learning & Artificial Intelligence“ ansehen. Alle Berufstätigen sind für den Kurs geeignet. Sie werden von Expertenfakultäten des IIIT Bangalore und auch der LJMU ausgebildet. Das mehr als 650-stündige Inhaltslernen wird Ihnen dabei helfen, sich auf die bevorstehende KI-Zukunft vorzubereiten. Alle Fragen zum Kurs sind willkommen.