Anfängerleitfaden zur bayesschen Inferenz: Vollständiger Leitfaden
Veröffentlicht: 2021-11-26Anwendungen des maschinellen Lernens haben mit einer breiten Anwendbarkeit in Forschung, sozialen Medien, Werbung usw. zugenommen. Die Anwendungen befassen sich jedoch hauptsächlich mit der Vorhersage, die eine große Datenmenge beinhaltet. Statistiken werden häufig zur Quantifizierung der Messung von Unsicherheitswerten verwendet. Wenn wir verschiedene Ereignisse haben, dann können drei Ansätze die Wahrscheinlichkeit des Ereignisses bestimmen.
Diese drei Methoden sind:
- Klassisch
- Bayesianisch
- Frequentist
Betrachten wir ein Beispiel für einen Würfel, der geworfen wird, um die Wahrscheinlichkeit zu ermitteln, ob er die Seite „Vier“ zeigt. Es hilft beim Verständnis der drei Arten von Methoden zur Bestimmung der Wahrscheinlichkeit. Angenommen, Sie betrachten die klassische Methode der Wahrscheinlichkeitsschätzung. In diesem Fall wird davon ausgegangen, dass es insgesamt sechs Ergebnisse gibt und die Wahrscheinlichkeit, dass jedes Ergebnis eintritt, gleich ist. Bei einer solchen Annahme beträgt die Wahrscheinlichkeit, dass das Ergebnis vier ist, 1/6. Die klassische Methode funktioniert normalerweise gut, wenn die Ergebnisse gleich wahrscheinliche Ergebnisse haben. Aber wenn die Ergebnisse subjektiver werden, kann diese Methode nicht verwendet werden.
Wenn wir die Frequentistische Methode betrachten, ist es erforderlich, dass es eine unendliche Folge eines hypothetischen Ereignisses gibt. Es erfordert dann die Suche nach relevanten Frequenzen in der unendlichen hypothetischen Sequenz. Betrachtet man das obige Beispiel von Würfeln, können wir, wenn die Würfel unendlich oft geworfen werden, das Ergebnis, dh 1/6, als Ergebnis vier erhalten. Daher beträgt die Wahrscheinlichkeit, dass das Ergebnis des sechsseitigen Würfels 4 ist, 1/6 gemäß der Definition der frequentistischen Methode.
Kommen wir nun zum Bayes'schen Ansatz, der Ihnen einige Vorteile bietet. Aus der Perspektive dieser Methode können Sie eine persönliche Überzeugung in den Prozess der Entscheidungsfindung einbeziehen. Das bedeutet, dass Dinge wie die bekannten Informationen zu dem Problem berücksichtigt werden. Auch die Tatsache, dass verschiedene Personen unterschiedliche Überzeugungen haben können, wird in diesem Ansatz berücksichtigt. Nehmen wir zum Beispiel an, wenn jemand erwähnt, dass die Regenwahrscheinlichkeit morgen 90 % betragen wird, könnte die Regenwahrscheinlichkeit für eine andere Person 60 % betragen. Daher ist die Methode des Bayes'schen Ansatzes subjektiv. Allerdings sind die Ergebnisse im Vergleich zur Frequentisten-Methode intuitiver.
Inhaltsverzeichnis
Bayessche Inferenz
Bayessche Inferenz wird hauptsächlich für das Problem der statistischen Inferenz verwendet. In diesen Fällen gibt es immer eine unbekannte Größe (Daten), die geschätzt werden muss. Und dann ist aus den Daten die gewünschte Menge abzuschätzen. Die unbekannte Größe wird als θ bezeichnet. Es wird angenommen, dass θ eine zufällige Größe ist, und es gibt einige anfängliche Vermutungen für die Werte von θ. Diese Art der Verteilung wird als vorherige Verteilung bezeichnet. Die Aktualisierung des Werts erfolgt normalerweise über die Bayes-Regel. Daher wird der Ansatz als Bayes'scher Ansatz bezeichnet.
Satz von Bayes
Die Anwendung der Bayes'schen Inferenz hängt vom Verständnis des Satzes von Bayes ab.
Stellen Sie sich vor, es gibt zwei Ergebnismengen, z. B. Menge A und Menge B. Diese Mengen werden auch als Ereignisse bezeichnet. Lassen Sie uns die Wahrscheinlichkeit für Ereignis A als P(A) und für Ereignis B als P(B) bezeichnen. Dies waren die Wahrscheinlichkeiten der einzelnen Ereignisse. Eine gemeinsame Wahrscheinlichkeit kann jedoch durch den Term P(A, B) definiert werden. Die bedingten Wahrscheinlichkeiten können wie folgt erweitert werden:
P(A,B) = P(A|B)P(B),
Das heißt, während B gegeben ist, ergibt die bedingte Wahrscheinlichkeit von A und B die gemeinsame Wahrscheinlichkeit der beiden Ereignisse.
P(A,B) = P(B|A)P(A)
In beiden obigen Gleichungen ist die linke Seite der Gleichungen gleich, also sollte die rechte Seite der Gleichungen gleich sein.
P(A|B)P(B) = P(B|A)P(A)
P(A|B) = P(B|A)P(A)/P(B)
Diese Gleichung ist als Satz von Bayes bekannt.
Auf dem Gebiet der Datenwissenschaft kann das Theorem von Bayes so geschrieben werden wie
P(Hypothese|Daten) = P(Daten|Hypothese) P(Hypothese)/p(Daten)
Der Nenner, der der Beweis ist, stellt sicher, dass die spätere Verteilung auf der linken Seite der Gleichung die gültige Wahrscheinlichkeitsdichte ist. Dies wird auch als Normalisierungskonstante bezeichnet.
Es gibt drei Komponenten in der Gleichung des Satzes von Bayes.
- Frühere
- Wahrscheinlichkeit
- Hintere
Vorherige Verteilung
Einer der Schlüsselfaktoren bei der Bayes'schen Inferenzmethode ist die Prior-Verteilung. Dadurch können Sie persönliche Überzeugungen in den Entscheidungsprozess einfließen lassen. Außerdem können Sie die Urteile, die auf verschiedenen Personen basieren, in die Studie einbeziehen. Dies geschieht durch einen mathematischen Ausdruck. Ein unbekannter Parameter, dargestellt durch θ, wird verwendet, um die eigene Überzeugung auszudrücken. Um diese Überzeugungen auszudrücken, wird eine Verteilungsfunktion verwendet, die die vorherige Verteilung ist. Daher wird vor dem Ausführen eines Experiments die Verteilung ausgewählt.
Anfängerleitfaden zur bayesschen Inferenz
1. Die Wahl des Priors
Üblicherweise wird für den Parameter θ eine Summenverteilung definiert. Diejenigen Ereignisse mit dem Wert der vorherigen Wahrscheinlichkeit von null haben den Wert der späteren Wahrscheinlichkeit von null. Und für diejenigen Ereignisse, die den Wert der vorherigen Wahrscheinlichkeit haben, wird man den Wert der späteren Wahrscheinlichkeit als eins haben. Daher wird ein guter Rahmen des Bayes'schen Ansatzes keine Punktschätzungen für die bereits aufgetretenen Ereignisse definieren, oder es gibt keine Informationen über deren Auftreten. Es gibt bestimmte Techniken zur Auswahl des Priors. Eine weit verbreitete Technik zur Auswahl des Priors ist die Verwendung von Verteilungsfunktionen. Die Familie aller Funktionen wird verwendet. Diese Funktionen sollten flexibel sein und in der Lage sein, die Überzeugungen der Individuen darzustellen.
2. Wahrscheinlichkeit
Betrachten wir θ als den zu schätzenden unbekannten Parameter. Die Fairness einer Münze kann durch θ ausgedrückt werden, wenn man das Beispiel der Bayes'schen Inferenz betrachtet . Die Münze wird endlos geworfen, um ihre Fairness zu überprüfen. Also, jedes Mal, wenn man umdreht, gibt es entweder den Kopf oder den Schwanz. Die den Ereignissen zugeordneten Werte sind 0 und 1. Dies wird auch als Bernoulli-Versuche bezeichnet. Alle Ergebnisse werden als unabhängig betrachtet. Dies kann durch eine Gleichung ausgedrückt werden, die das Konzept der Wahrscheinlichkeit definiert. Die Wahrscheinlichkeit ist eine Dichtefunktion, die eine Funktion von θ ist. Zum Maximieren der Wahrscheinlichkeit sollte der Wert von θ zum größten Wahrscheinlichkeitswert führen. Die Schätzmethode wird auch als Maximum-Likelihood-Schätzung bezeichnet.
3. Posteriore Verteilung
Das Ergebnis des Bayes-Theorems ist als Posterior-Verteilung bekannt. Es ist die aktualisierte Wahrscheinlichkeit eines Ereignisses, das nach Berücksichtigung der neuen Informationen eintritt.
4. Bayesscher Inferenzmechanismus
Wie wir oben gesehen haben, behandelt die Bayes'sche Inferenzmethode das Konzept der Wahrscheinlichkeit als einen gewissen Grad an Überzeugung. Diese Überzeugungen sind mit der Tatsache verbunden, dass das Ereignis unter solchen Beweisen eintreten könnte. Daher wird der Parameter Theta „θ“ als Zufallsvariable angesehen.
5. Anwendung der Bayes'schen Inferenz bei finanziellen Risiken
Es gibt viele Algorithmen, bei denen die Bayes'sche Inferenz angewendet werden kann. Einige der Algorithmen sind neuronale Netze, Random Forest, Regression usw. Die Methode hat auch im Finanzsektor Popularität gefunden. Es kann für die operationelle Risikomodellierung mehrerer Banken verwendet werden. Die Daten der Banken, die den Betriebsausfall zeigen, zeigen einige Ereignisse, die verloren gegangen sind. Diese verlorenen Ereignisse hatten eine geringe Häufigkeit, aber einen hohen Schweregrad. Daher erweist sich in solchen Fällen die Bayes'sche Inferenz als recht nützlich. Denn auch bei dieser Methode werden viele Daten für die Analyse nicht benötigt.
Auch andere statistische Analysemethoden, wie zum Beispiel die frequentistischen Methoden, wurden früher zur Modellierung operationeller Risiken eingesetzt. Es gab jedoch ein Problem bei der Schätzung des Unsicherheitsparameters. Daher wurde die Bayes'sche Inferenz als die effektivste Methode angesehen. Denn aus den Expertenmeinungen und den Daten lassen sich spätere Verteilungen ableiten. Bei dieser Art von Aufgabe werden die Daten der internen Verluste der Banken in mehrere kleinere Fragmente zerlegt, und dann wird die Häufigkeit jedes der Fragmente durch Experteneinschätzung geschätzt. Dies wird dann in die Verteilungen der Wahrscheinlichkeit eingepasst.
Nehmen Sie online am Machine Learning-Kurs der weltbesten Universitäten teil – Master, Executive Post Graduate Programs und Advanced Certificate Program in ML & AI, um Ihre Karriere zu beschleunigen.
Fazit
In der Statistik und im maschinellen Lernen sind die beiden Hauptansätze, die angewendet werden können, die Methoden der Frequentistischen und der Bayesschen Inferenz. Wir haben in dem Artikel die Bayessche Inferenzmethode besprochen, bei der die Wahrscheinlichkeiten als subjektive Überzeugungen berechnet werden. Neben den Daten fließen auch die persönlichen Überzeugungen der Personen in die Schätzung der Wahrscheinlichkeiten ein. Diese sorgen dafür, dass das Modell in vielen Schätzungsstudien eine weitaus breitere Akzeptanz findet. Daher spezifizieren die Techniken der Bayes'schen Inferenz die Methoden oder Wege, um Ihre Überzeugungen auf die Beobachtung von Daten anzuwenden. Darüber hinaus kann in vielen Arten von Anwendungen mit vielen verrauschten Daten die Technik der Bayes'schen Inferenz verwendet werden. Daher kann sich die Macht, die in der Bayes-Regel liegt, auf eine Größe beziehen, die auf diejenige berechnet werden kann, die verwendet werden kann, um Fragen willkürlicher Natur zu beantworten.
