Guida per principianti all'inferenza bayesiana: guida completa
Pubblicato: 2021-11-26Le applicazioni di apprendimento automatico sono in aumento con un'ampia applicabilità nella ricerca, nei social media, nella pubblicità, ecc. Tuttavia, le applicazioni riguardano principalmente la previsione che coinvolge un'enorme quantità di dati. Le statistiche sono spesso utilizzate per la quantificazione della misurazione dei valori di incertezza. Se abbiamo eventi diversi, allora tre approcci possono determinare la probabilità dell'evento.
Questi tre metodi sono:
- Classico
- bayesiano
- Frequentista
Consideriamo un esempio di lancio di un dado per trovare la probabilità che mostri la faccia di "quattro". Aiuterà nella comprensione dei tre tipi di metodi per determinare la probabilità. Supponiamo di considerare il metodo classico di stima delle probabilità. In tal caso, si crederà che ci saranno un totale di sei risultati e la probabilità che si verifichi qualsiasi risultato sarà la stessa. In tale ipotesi, la probabilità che il risultato sia quattro sarà 1/6. Il metodo classico di solito funziona bene quando i risultati hanno risultati altrettanto probabili. Ma quando i risultati diventano più soggettivi, questo metodo non può essere utilizzato.
Se consideriamo il metodo frequentista, è necessario che esista una sequenza infinita di un evento ipotetico. Richiede quindi la ricerca della frequenza rilevante nella sequenza ipotetica infinita. Considerando l'esempio di dado sopra, se i dadi vengono lanciati un numero infinito di volte, il risultato, cioè 1/6, possiamo ottenere il risultato come quattro. Pertanto, la probabilità che il risultato sia quattro nei dadi a sei facce sarà 1/6 come da definizione del metodo frequentista.
Ora venendo verso l'approccio bayesiano, ti offre alcuni vantaggi. Secondo la prospettiva di questo metodo, puoi incorporare una convinzione personale nel processo decisionale. Ciò significa che prenderà in considerazione cose come le informazioni note relative al problema. In questo approccio viene anche considerato il fatto che individui diversi possono avere convinzioni diverse. Ad esempio, supponiamo che se qualcuno afferma che la probabilità di pioggia sarà del 90% domani, per un'altra persona la probabilità di pioggia potrebbe essere del 60%. Pertanto, il metodo dell'approccio bayesiano è soggettivo. Tuttavia, i risultati sono più intuitivi rispetto al metodo frequentista.
Sommario
Inferenza bayesiana
L'inferenza bayesiana è usata principalmente per il problema dell'inferenza statistica. In questi casi, c'è sempre un'incognita (dati) che deve essere stimata. E poi, dai dati, si deve stimare l'importo desiderato. L'incognita è indicata come θ. Si presume che θ sia una quantità casuale e ci sono alcune ipotesi iniziali per i valori di θ. Questo tipo di distribuzione è indicato come distribuzione precedente. L'aggiornamento del valore viene solitamente eseguito tramite la regola di Bayes. Pertanto, l'approccio è indicato come approccio bayesiano.
Teorema di Bayes
L'applicazione dell'inferenza bayesiana dipende dalla comprensione del teorema di Bayes.
Considera che ci sono due insiemi di risultati, come l'insieme A e l'insieme B. Questi insiemi sono anche chiamati eventi. Indichiamo la probabilità dell'evento A come P(A) e dell'evento B come P(B). Queste erano le probabilità degli eventi individualmente. Tuttavia, una probabilità congiunta può essere definita attraverso il termine P(A, B). Le probabilità condizionali possono essere espanse come:
P(A,B) = P(A|B)P(B),
Ciò significa che mentre B è dato, la probabilità condizionata di A e B risulta nella probabilità congiunta dei due eventi.
P(A,B) = P(B|A)P(A)
In entrambe le equazioni precedenti, il lato sinistro delle equazioni è lo stesso, quindi il lato destro delle equazioni dovrebbe essere uguale.
P(A|B)P(B) = P(B|A)P(A)
P(A|B) = P(B|A)P(A)/P(B)
Questa equazione è nota come teorema di Bayes.
Nel campo della scienza dei dati, il teorema di Bayes può essere scritto in un modo come
P(ipotesi|dati) = P(dati|ipotesi) P(ipotesi)/p(dati)
Il denominatore, che è l'evidenza, assicura che la distribuzione a posteriori sul lato sinistro dell'equazione sia la densità di probabilità valida. Questa è anche chiamata costante di normalizzazione.
Ci sono tre componenti nell'equazione del teorema di Bayes.
- Priore
- Probabilità
- Posteriore
Distribuzione anticipata
Uno dei fattori chiave nel metodo di inferenza bayesiana è la distribuzione Prior. Attraverso questo, puoi incorporare le tue convinzioni personali nel processo decisionale. Inoltre, puoi incorporare nello studio i giudizi basati su individui diversi. Questo viene fatto attraverso un'espressione matematica. Un parametro sconosciuto, rappresentato da θ, viene utilizzato per esprimere la propria convinzione. Per esprimere queste convinzioni, viene utilizzata una funzione di distribuzione, che è la distribuzione a priori. Pertanto, prima di eseguire qualsiasi esperimento, viene scelta la distribuzione.
Guida per principianti all'inferenza bayesiana
1. Scegliere il priore
Una distribuzione cumulativa è solitamente definita per il parametro θ. Quegli eventi con il valore di probabilità a priori pari a zero avranno il valore di probabilità a posteriori pari a zero. E per quegli eventi che hanno il valore di probabilità a priori, si avrà il valore di probabilità a posteriori come uno. Pertanto, un buon quadro dell'approccio bayesiano non definirà alcune stime puntuali per quegli eventi che si sono già verificati, o non ci sono informazioni sul loro verificarsi. Ci sono alcune tecniche per scegliere il prior. Una tecnica ampiamente utilizzata per scegliere il priore è attraverso l'uso di funzioni di distribuzione. Viene utilizzata la famiglia di tutte le funzioni. Queste funzioni dovrebbero essere flessibili e saranno in grado di rappresentare le convinzioni degli individui.
2. Probabilità
Consideriamo θ come il parametro incognito da stimare. L'equità di una moneta può essere espressa attraverso θ, considerando l' esempio dell'inferenza bayesiana . La moneta viene lanciata all'infinito per verificarne l'equità. Quindi, ogni volta che si lancia, ci sarà la testa o la coda. I valori assegnati agli eventi sono 0 e 1. Questo è anche indicato come prove di Bernoulli. Tutti i risultati sono considerati indipendenti. Questo può essere espresso attraverso un'equazione che definisce il concetto di verosimiglianza. La verosimiglianza è una funzione di densità che è una funzione di θ. Per massimizzare la verosimiglianza, il valore di θ dovrebbe risultare nel valore di verosimiglianza più grande. Il metodo di stima è anche noto come stima di massima verosimiglianza.
3. Distribuzione posteriore
Il risultato del teorema di Bayes è noto come distribuzione a posteriori. È la probabilità aggiornata di qualsiasi evento che si verifica dopo aver considerato le nuove informazioni.
4. Meccanismo di inferenza bayesiana
Come abbiamo visto sopra, il metodo dell'inferenza bayesiana tratta il concetto di probabilità come un certo grado di credenza. Queste convinzioni sono associate al fatto che l'evento potrebbe verificarsi sotto tale evidenza. Pertanto, il parametro theta “θ” è considerato la variabile casuale.
5. Applicazione dell'inferenza bayesiana nel rischio finanziario
Esistono molti algoritmi in cui è possibile applicare l'inferenza bayesiana. Alcuni degli algoritmi sono reti neurali, foresta casuale, regressione, ecc. Il metodo ha anche trovato popolarità nel settore finanziario. Può essere utilizzato per la modellazione del rischio operativo di diverse banche. I dati delle banche che mostrano la perdita di operazioni riportano alcuni eventi che sono andati perduti. Questi eventi persi avevano una bassa frequenza ma avevano un'elevata gravità. Pertanto, in questi casi, l'inferenza bayesiana si rivela molto utile. Questo perché, in questo metodo, anche molti dati non sono necessari per l'analisi.
Anche altri metodi di analisi statistica, come i metodi frequentisti, sono stati applicati in precedenza per la modellizzazione dei rischi operativi. Ma c'era un problema nella stima del parametro di incertezza. Pertanto, l'inferenza bayesiana è stata considerata il metodo più efficace. Questo perché le opinioni degli esperti e i dati possono essere utilizzati per derivare distribuzioni a posteriori. In questo tipo di attività, i dati di perdita interna delle banche vengono scomposti in diversi frammenti più piccoli, quindi la frequenza di ciascuno dei frammenti viene stimata attraverso il giudizio di esperti. Questo viene quindi inserito nelle distribuzioni di probabilità.
Partecipa al corso di Machine Learning online dalle migliori università del mondo: master, programmi post-laurea per dirigenti e programma di certificazione avanzato in ML e AI per accelerare la tua carriera.
Conclusione
Nella statistica e nell'apprendimento automatico, i due principali approcci che possono essere applicati sono i metodi dell'inferenza frequentista e bayesiana. Abbiamo discusso il metodo dell'inferenza bayesiana nell'articolo, in cui le probabilità sono calcolate come credenze soggettive. Insieme ai dati, vengono incorporate anche le convinzioni personali delle persone durante la stima delle probabilità. Questi rendono il modello molto più ampiamente accettato in molti studi di stima. Pertanto, le tecniche dell'inferenza bayesiana specificano i metodi oi modi per applicare le proprie convinzioni all'osservazione dei dati. Inoltre, in molti tipi di applicazioni con molti dati rumorosi, è possibile utilizzare la tecnica dell'inferenza bayesiana. Pertanto, il potere che sta nella regola di Bayes può riferirsi a una quantità che può essere calcolata a quella che può essere utilizzata per rispondere a domande di natura arbitraria.
