Guia para iniciantes em inferência bayesiana: guia completo
Publicados: 2021-11-26As aplicações de aprendizado de máquina vêm aumentando com ampla aplicabilidade em pesquisa, mídias sociais, publicidade, etc. No entanto, as aplicações lidam principalmente com a previsão que envolve uma enorme quantidade de dados. Estatísticas são frequentemente usadas para a quantificação da medição de valores de incerteza. Se tivermos eventos diferentes, três abordagens podem determinar a probabilidade do evento.
Esses três métodos são:
- Clássico
- Bayesiano
- Frequentista
Vamos considerar um exemplo de um dado sendo rolado para encontrar a probabilidade de ele mostrar a face de “quatro”. Ajudará na compreensão dos três tipos de métodos de determinação de probabilidade. Suponha que você considere o método clássico de estimativa de probabilidade. Nesse caso, acredita-se que haverá um total de seis resultados, e a probabilidade de qualquer resultado ocorrer será a mesma. Em tal suposição, a probabilidade de que o resultado seja quatro será 1/6. O método clássico geralmente funciona bem quando os resultados têm resultados igualmente prováveis. Mas quando os resultados se tornam mais subjetivos, esse método não pode ser usado.
Se considerarmos o método Frequentista, é necessário que haja uma sequência infinita de um evento que é hipotético. Requer, então, a busca da frequência relevante na sequência hipotética infinita. Considerando o exemplo de dados acima, se os dados forem rolados um número infinito de vezes, o resultado, ou seja, 1/6, podemos obter o resultado como quatro. Portanto, a probabilidade de que o resultado seja quatro nos dados de seis faces será 1/6 conforme a definição do método frequentista.
Agora vindo para a abordagem Bayesiana, ela oferece algumas vantagens. De acordo com a perspectiva deste método, você pode incorporar uma crença pessoal no processo de tomada de decisão. Isso significa que considerará as coisas, como as informações conhecidas sobre o problema. O fato de que indivíduos diferentes podem ter crenças diferentes também é considerado nesta abordagem. Por exemplo, suponha que se alguém menciona que a probabilidade de chuva amanhã será de 90%, para outra pessoa, a probabilidade de chuva pode ser de 60%. Portanto, o método da abordagem Bayesiana é subjetivo. No entanto, os resultados são mais intuitivos em comparação com o método Frequentista.
Índice
Inferência Bayesiana
A inferência bayesiana é usada principalmente para o problema de inferência estatística. Nesses casos, sempre há uma quantidade desconhecida (dados) que precisa ser estimada. E então, a partir dos dados, deve-se estimar a quantidade desejada. A quantidade desconhecida é referida como θ. Há uma suposição de que θ é uma quantidade aleatória, e existem algumas suposições iniciais para os valores de θ. Esse tipo de distribuição é conhecido como distribuição prévia. A atualização do valor geralmente é feita através da regra de Bayes. Portanto, a abordagem é chamada de abordagem Bayesiana.
Teorema de Bayes
A aplicação da Inferência Bayesiana depende do entendimento do Teorema de Bayes.
Considere que existem dois conjuntos de resultados, como Conjunto A e Conjunto B. Esses conjuntos também são chamados de eventos. Vamos denotar a probabilidade para o evento A como P(A) e o evento B como P(B). Estas foram as probabilidades dos eventos individualmente. No entanto, uma probabilidade conjunta pode ser definida através do termo P(A, B). As probabilidades condicionais podem ser expandidas como:
P(A,B) = P(A|B)P(B),
Isso significa que enquanto B é dado, a probabilidade condicional de A e B resulta na probabilidade conjunta dos dois eventos.
P(A,B) = P(B|A)P(A)
Em ambas as equações acima, o lado esquerdo das equações é o mesmo, então o lado direito das equações deve ser igual.
P(A|B)P(B) = P(B|A)P(A)
P(A|B) = P(B|A)P(A)/P(B)
Esta equação é conhecida como teorema de Bayes.
No campo da ciência de dados, o Teorema de Bayes pode ser escrito de forma
P(hipótese|dados) = P(dados|hipótese) P(hipótese)/p(dados)
O denominador, que é a evidência, garante que a distribuição posterior no lado esquerdo da equação seja a densidade de probabilidade válida. Isso também é chamado de constante de normalização.
Existem três componentes na equação do teorema de Bayes.
- Anterior
- Probabilidade
- Posterior
Distribuição prévia
Um dos fatores-chave no método de Inferência Bayesiana é a distribuição Prior. Com isso, você pode incorporar crenças pessoais no processo de tomada de decisão. Além disso, você pode incorporar os julgamentos baseados em diferentes indivíduos no estudo. Isso é feito através de uma expressão matemática. Um parâmetro desconhecido, representado por θ, é usado para expressar uma crença. Para expressar essas crenças, é usada uma função de distribuição, que é a distribuição a priori. Portanto, antes de executar qualquer experimento, a distribuição é escolhida.
Guia para iniciantes em inferência bayesiana
1. Escolhendo o anterior
Uma distribuição cumulativa é normalmente definida para o parâmetro θ. Aqueles eventos com o valor de probabilidade anterior igual a zero terão o valor de probabilidade posterior igual a zero. E para aqueles eventos que têm o valor de probabilidade anterior, um terá o valor de probabilidade posterior como um. Portanto, um bom framework da abordagem Bayesiana não definirá algumas estimativas pontuais para aqueles eventos que já ocorreram, ou não há informação de sua ocorrência. Existem certas técnicas para escolher o prior. Uma técnica amplamente utilizada para escolher a priori é através do uso de funções de distribuição. A família de todas as funções é usada. Essas funções devem ser flexíveis e capazes de representar as crenças dos indivíduos.
2. Probabilidade
Consideremos θ como o parâmetro desconhecido a ser estimado. A imparcialidade de uma moeda pode ser expressa por meio de θ, considerando o exemplo de Inferência Bayesiana . A moeda está sendo lançada infinitamente para verificar sua imparcialidade. Então, toda vez que virar, haverá a cara ou a cauda. Os valores atribuídos aos eventos são 0 e 1. Isso também é chamado de ensaios de Bernoulli. Todos os resultados são considerados independentes. Isso pode ser expresso através de uma equação que define o conceito de verossimilhança. A verossimilhança é uma função de densidade que é uma função de θ. Para maximizar a verossimilhança, o valor de θ deve resultar no maior valor de verossimilhança. O método de estimativa também é conhecido como estimativa de máxima verossimilhança.
3. Distribuição posterior
O resultado do teorema de Bayes é conhecido como distribuição posterior. É a probabilidade atualizada de qualquer evento que ocorra após considerar as novas informações.
4. Mecanismo de Inferência Bayesiana
Como vimos acima, o método de Inferência Bayesiana trata o conceito de probabilidade como algum grau de crença. Essas crenças estão associadas ao fato de que o evento pode ocorrer sob tal evidência. Portanto, o parâmetro teta “θ” é considerado a variável aleatória.
5. Aplicação de Inferência Bayesiana em risco financeiro
Existem muitos algoritmos onde a Inferência Bayesiana pode ser aplicada. Alguns dos algoritmos são redes neurais, floresta aleatória, regressão, etc. O método também encontrou popularidade no setor financeiro. Pode ser utilizado para a modelagem de risco operacional de diversos bancos. Os dados dos bancos que mostram a perda das operações mostram alguns eventos que foram perdidos. Esses eventos perdidos tiveram baixa frequência, mas alta gravidade. Portanto, nesses casos, a Inferência Bayesiana se mostra bastante útil. Isso porque, nesse método, também não são necessários muitos dados para a análise.
Outros métodos de análise estatística, como os métodos frequentistas, também foram aplicados anteriormente para modelagem de riscos operacionais. Mas havia um problema em estimar o parâmetro de incerteza. Portanto, a Inferência Bayesiana tem sido considerada o método mais eficaz. Isso ocorre porque as opiniões de especialistas e os dados podem ser usados para derivar distribuições posteriores. Nesse tipo de tarefa, os dados de perda interna dos bancos são decompostos em vários fragmentos menores, e então a frequência de cada um dos fragmentos é estimada por meio de julgamento de especialistas. Isso é então encaixado nas distribuições da probabilidade.
Participe do Curso de Aprendizado de Máquina on-line das principais universidades do mundo - Mestrados, Programas de Pós-Graduação Executiva e Programa de Certificado Avançado em ML e IA para acelerar sua carreira.
Conclusão
Em estatística e aprendizado de máquina, as duas principais abordagens que podem ser aplicadas são os métodos de Inferência Frequentista e Bayesiana. Discutimos o método de Inferência Bayesiana no artigo, onde as probabilidades são calculadas como crenças subjetivas. Junto com os dados, as crenças pessoais das pessoas também são incorporadas ao estimar as probabilidades. Isso torna o modelo muito mais amplamente aceito em muitos estudos de estimativa. Portanto, as técnicas de Inferência Bayesiana especificam os métodos ou formas de aplicar suas crenças à observação de dados. Além disso, em muitos tipos de aplicações com muitos dados ruidosos, a técnica de Inferência Bayesiana pode ser usada. Portanto, o poder que está na regra de Bayes pode relacionar-se a uma quantidade que pode ser calculada àquela que pode ser usada para responder a questões de natureza arbitrária.
