Przewodnik dla początkujących do wnioskowania bayesowskiego: kompletny przewodnik
Opublikowany: 2021-11-26Aplikacje uczenia maszynowego zyskują na popularności wraz z szerokim zastosowaniem w badaniach, mediach społecznościowych, reklamie itp. Jednak aplikacje te w większości zajmują się przewidywaniem, które obejmuje ogromną ilość danych. Statystyka jest często wykorzystywana do kwantyfikacji pomiaru wartości niepewności. Jeśli mamy różne zdarzenia, to trzy podejścia mogą określić prawdopodobieństwo zdarzenia.
Te trzy metody to:
- Klasyczny
- Bayesowski
- Frequentysta
Rozważmy przykład rzutu kostką, aby znaleźć prawdopodobieństwo, że pokaże twarz „czwórki”. Pomoże w zrozumieniu trzech rodzajów metod wyznaczania prawdopodobieństwa. Załóżmy, że rozważasz klasyczną metodę szacowania prawdopodobieństwa. W takim przypadku uważa się, że będzie w sumie sześć wyników, a prawdopodobieństwo wystąpienia jakiegokolwiek wyniku będzie takie samo. Przy takim założeniu prawdopodobieństwo, że wynik będzie równy 4, wyniesie 1/6. Metoda klasyczna zwykle działa dobrze, gdy wyniki mają równie prawdopodobne wyniki. Ale kiedy wyniki stają się bardziej subiektywne, ta metoda nie może być zastosowana.
Jeśli weźmiemy pod uwagę metodę Frequentystyczną, wymagane jest, aby istniała nieskończona sekwencja zdarzenia, które jest hipotetyczne. Wymaga to wtedy wyszukania odpowiedniej częstotliwości w nieskończonej hipotetycznej sekwencji. Biorąc pod uwagę powyższy przykład kości, jeśli kostką rzuca się nieskończoną liczbę razy, wynik, tj. 1/6, możemy otrzymać wynik jako cztery. Dlatego prawdopodobieństwo, że wynikiem będzie cztery w kostkach sześciościennych, wyniesie 1/6 zgodnie z definicją metody częstościowej.
Teraz zbliżając się do podejścia bayesowskiego, daje to pewne korzyści. Z perspektywy tej metody możesz włączyć osobiste przekonanie w proces podejmowania decyzji. Oznacza to, że rozważy takie rzeczy, jak znane informacje dotyczące problemu. W tym podejściu uwzględnia się również fakt, że różne osoby mogą mieć różne przekonania. Załóżmy na przykład, że jeśli ktoś wspomni, że prawdopodobieństwo deszczu jutro wyniesie 90%, dla innej osoby prawdopodobieństwo deszczu może wynosić 60%. Dlatego metoda podejścia bayesowskiego jest subiektywna. Jednak wyniki są bardziej intuicyjne w porównaniu z metodą Frequentist.
Spis treści
Wnioskowanie Bayesowskie
Wnioskowanie bayesowskie jest używane głównie w problemie wnioskowania statystycznego. W takich przypadkach zawsze istnieje nieznana ilość (dane), którą należy oszacować. A następnie, na podstawie danych, należy oszacować pożądaną kwotę. Nieznana ilość jest określana jako θ. Zakłada się, że θ jest wielkością losową i istnieje kilka wstępnych domysłów dotyczących wartości θ. Ten rodzaj dystrybucji jest określany jako dystrybucja uprzednia. Aktualizacja wartości odbywa się zwykle za pomocą reguły Bayesa. Dlatego podejście to jest określane jako podejście bayesowskie.
Twierdzenie Bayesa
Zastosowanie wnioskowania bayesowskiego zależy od zrozumienia twierdzenia Bayesa.
Rozważmy, że istnieją dwa zestawy wyników, takie jak zestaw A i zestaw B. Te zestawy są również nazywane zdarzeniami. Oznaczmy prawdopodobieństwo zdarzenia A jako P(A), a zdarzenia B jako P(B). Takie były prawdopodobieństwa zdarzeń indywidualnie. Jednak wspólne prawdopodobieństwo można zdefiniować za pomocą terminu P(A, B). Prawdopodobieństwa warunkowe można rozszerzyć jako:
P(A,B) = P(A|B)P(B),
Oznacza to, że chociaż podane jest B, warunkowe prawdopodobieństwo A i B skutkuje łącznym prawdopodobieństwem tych dwóch zdarzeń.
P(A,B) = P(B|A)P(A)
W obu powyższych równaniach lewa strona równań jest taka sama, więc prawa strona równań powinna być równa.
P(A|B)P(B) = P(B|A)P(A)
P(A|B) = P(B|A)P(A)/P(B)
To równanie jest znane jako twierdzenie Bayesa.
W dziedzinie nauki o danych twierdzenie Bayesa można zapisać w taki sposób, jak:
P(hipoteza|dane) = P(dane|hipoteza) P(hipoteza)/p(dane)
Mianownik, który jest dowodem, zapewnia, że rozkład a posteriori po lewej stronie równania jest prawidłową gęstością prawdopodobieństwa. Nazywa się to również stałą normalizującą.
W równaniu twierdzenia Bayesa występują trzy składniki.
- Wcześniejszy
- Prawdopodobieństwo
- Tylny
Wcześniejsza dystrybucja
Jednym z kluczowych czynników w metodzie wnioskowania bayesowskiego jest rozkład a priori. Dzięki temu możesz włączyć osobiste przekonania w proces podejmowania decyzji. Możesz także włączyć do badania osądy oparte na różnych osobach. Odbywa się to za pomocą wyrażenia matematycznego. Nieznany parametr, reprezentowany przez θ, służy do wyrażania swoich przekonań. Do wyrażenia tych przekonań używana jest funkcja dystrybucji, która jest rozkładem uprzednim. Dlatego przed uruchomieniem jakiegokolwiek eksperymentu wybierany jest rozkład.
Przewodnik dla początkujących po wnioskowaniu bayesowskim
1. Wybór przeora
Rozkład skumulowany jest zwykle definiowany dla parametru θ. Zdarzenia o wartości prawdopodobieństwa a priori równego zero będą miały wartość prawdopodobieństwa a posteriori równego zero. A dla tych wydarzeń, które mają wartość prawdopodobieństwa a priori, wartość prawdopodobieństwa a posteriori będzie równa jedności. W związku z tym dobre ramy podejścia bayesowskiego nie określą niektórych szacunków punktowych dla tych zdarzeń, które już wystąpiły lub nie ma informacji o ich wystąpieniu. Istnieją pewne techniki wyboru przeora. Jedną z technik, która jest szeroko stosowana do wyboru a priori, jest użycie funkcji dystrybucji. Wykorzystywana jest rodzina wszystkich funkcji. Funkcje te powinny być elastyczne i będą w stanie reprezentować przekonania jednostek.
2. Prawdopodobieństwo
Rozważmy θ jako nieznany parametr, który należy oszacować. Sprawiedliwość monety można wyrazić za pomocą θ, biorąc pod uwagę przykład wnioskowania bayesowskiego . Moneta jest rzucana w nieskończoność, aby sprawdzić jej uczciwość. Tak więc za każdym razem podczas przewracania będzie głowa lub ogon. Wartości, które są przypisane do zdarzeń to 0 i 1. Jest to również określane jako próby Bernoulliego. Wszystkie wyniki są uważane za niezależne. Można to wyrazić za pomocą równania, które definiuje pojęcie prawdopodobieństwa. Prawdopodobieństwo to funkcja gęstości będąca funkcją θ. W celu maksymalizacji prawdopodobieństwa wartość θ powinna skutkować największą wartością prawdopodobieństwa. Metoda estymacji jest również znana jako oszacowanie maksymalnego prawdopodobieństwa.
3. Dystrybucja tylna
Wynik twierdzenia Bayesa jest znany jako rozkład a posteriori. Jest to zaktualizowane prawdopodobieństwo dowolnego zdarzenia, które ma miejsce po rozważeniu nowych informacji.
4. Mechanizm wnioskowania bayesowskiego
Jak widzieliśmy powyżej, metoda wnioskowania bayesowskiego traktuje pojęcie prawdopodobieństwa jako pewien stopień wiary. Te przekonania są związane z faktem, że zdarzenie może mieć miejsce na podstawie takich dowodów. Dlatego parametr teta „θ” jest uważany za zmienną losową.
5. Zastosowanie wnioskowania bayesowskiego w ryzyku finansowym
Istnieje wiele algorytmów, w których można zastosować wnioskowanie bayesowskie. Niektóre z algorytmów to sieci neuronowe, losowy las, regresja itp. Metoda znalazła również popularność w sektorze finansowym. Może być wykorzystany do modelowania ryzyka operacyjnego kilku banków. Dane banków, które wykazują utratę operacji, pokazują niektóre zdarzenia, które zostały utracone. Te utracone zdarzenia miały niską częstotliwość, ale miały wysoką dotkliwość. Dlatego w takich przypadkach wnioskowanie bayesowskie okazuje się całkiem przydatne. Dzieje się tak dlatego, że w tej metodzie do analizy nie potrzeba również dużej ilości danych.
Inne metody analizy statystycznej, takie jak metody częstościowe, były również wcześniej stosowane do modelowania ryzyka operacyjnego. Ale był problem z oszacowaniem parametru niepewności. Dlatego wnioskowanie bayesowskie zostało uznane za najbardziej efektywną metodę. Dzieje się tak, ponieważ opinie ekspertów i dane można wykorzystać do wyprowadzenia rozkładów a posteriori. W tego typu zadaniu dane o stratach wewnętrznych banków są rozbijane na kilka mniejszych fragmentów, a następnie na podstawie oceny eksperckiej szacowana jest częstość występowania każdego z fragmentów. Jest to następnie dopasowywane do rozkładów prawdopodobieństwa.
Dołącz do kursu uczenia maszynowego online z najlepszych uniwersytetów na świecie — studiów magisterskich, programów podyplomowych dla kadry kierowniczej i zaawansowanego programu certyfikacji w zakresie uczenia maszynowego i sztucznej inteligencji, aby przyspieszyć swoją karierę.
Wniosek
W statystyce i uczeniu maszynowym dwa główne podejścia, które można zastosować, to metody wnioskowania częstszego i wnioskowania bayesowskiego. W artykule omówiliśmy metodę wnioskowania bayesowskiego, w której prawdopodobieństwa oblicza się jako subiektywne przekonania. Wraz z danymi, osobiste przekonania ludzi są również uwzględniane podczas szacowania prawdopodobieństwa. To sprawia, że model jest znacznie szerzej akceptowany w wielu badaniach estymacyjnych. Dlatego techniki wnioskowania bayesowskiego określają metody lub sposoby zastosowania swoich przekonań do obserwacji danych. Co więcej, w wielu typach aplikacji z dużą ilością zaszumionych danych można zastosować technikę wnioskowania bayesowskiego. Dlatego moc tkwiąca w regule Bayesa może odnosić się do wielkości, którą można obliczyć, do tej, która może być użyta do odpowiedzi na pytania o arbitralnym charakterze.
