Guía para principiantes de la inferencia bayesiana: Guía completa
Publicado: 2021-11-26Las aplicaciones de aprendizaje automático han aumentado con una amplia aplicabilidad en investigación, redes sociales, publicidad, etc. Sin embargo, las aplicaciones se ocupan principalmente de la predicción que involucra una gran cantidad de datos. Las estadísticas se utilizan a menudo para la cuantificación de la medición de valores de incertidumbre. Si tenemos eventos diferentes, tres enfoques pueden determinar la probabilidad del evento.
Estos tres métodos son:
- Clásico
- bayesiano
- frecuentista
Consideremos un ejemplo de un dado que se lanza para encontrar la probabilidad de que muestre la cara de "cuatro". Ayudará en la comprensión de los tres tipos de métodos para determinar la probabilidad. Suponga que considera el método clásico de estimación de probabilidad. En ese caso, se creerá que habrá un total de seis resultados, y la probabilidad de que ocurra cualquier resultado será la misma. En tal suposición, la probabilidad de que el resultado sea cuatro será 1/6. El método clásico generalmente funciona bien cuando los resultados tienen resultados igualmente probables. Pero cuando los resultados se vuelven más subjetivos, este método no se puede utilizar.
Si consideramos el método frecuentista, se requiere que exista una secuencia infinita de un evento que es hipotético. Entonces requiere la búsqueda de la frecuencia relevante en la secuencia hipotética infinita. Teniendo en cuenta el ejemplo anterior de dados, si los dados se lanzan un número infinito de veces, el resultado, es decir, 1/6, podemos obtener un resultado de cuatro. Por lo tanto, la probabilidad de que el resultado sea cuatro en los dados de seis caras será 1/6 según la definición del método frecuentista.
Ahora, al acercarse al enfoque bayesiano, le brinda algunas ventajas. Según la perspectiva de este método, puede incorporar una creencia personal en el proceso de toma de decisiones. Eso significa que considerará cosas como la información conocida sobre el problema. En este enfoque también se considera el hecho de que diferentes individuos pueden tener diferentes creencias. Por ejemplo, supongamos que si alguien menciona que la probabilidad de lluvia será del 90 % mañana, para otra persona, la probabilidad de lluvia podría ser del 60 %. Por lo tanto, el método del enfoque bayesiano es subjetivo. Sin embargo, los resultados son más intuitivos en comparación con el método Frequentist.
Tabla de contenido
Inferencia bayesiana
La inferencia bayesiana se utiliza principalmente para el problema de la inferencia estadística. En estos casos, siempre hay una cantidad desconocida (datos) que debe estimarse. Y luego, a partir de los datos, se estima la cantidad deseada. La cantidad desconocida se conoce como θ. Se supone que θ es una cantidad aleatoria y existen algunas conjeturas iniciales para los valores de θ. Este tipo de distribución se conoce como distribución previa. La actualización del valor se suele realizar mediante la regla de Bayes. Por lo tanto, el enfoque se denomina enfoque bayesiano.
Teorema de Bayes
La aplicación de la Inferencia Bayesiana depende de la comprensión del Teorema de Bayes.
Considere que hay dos conjuntos de resultados, como el Conjunto A y el Conjunto B. Estos conjuntos también se denominan eventos. Denotemos la probabilidad del evento A como P(A) y la del evento B como P(B). Estas eran las probabilidades de los eventos individualmente. Sin embargo, una probabilidad conjunta se puede definir a través del término P(A, B). Las probabilidades condicionales se pueden expandir como:
P(A,B) = P(A|B)P(B),
Esto significa que mientras se da B, la probabilidad condicional de A y B da como resultado la probabilidad conjunta de los dos eventos.
P(A,B) = P(B|A)P(A)
En las dos ecuaciones anteriores, el lado izquierdo de las ecuaciones es el mismo, por lo que el lado derecho de las ecuaciones debe ser igual.
P(A|B)P(B) = P(B|A)P(A)
P(A|B) = P(B|A)P(A)/P(B)
Esta ecuación se conoce como el teorema de Bayes.
En el campo de la ciencia de datos, el teorema de Bayes se puede escribir de la siguiente manera:
P(hipótesis|datos) = P(datos|hipótesis) P(hipótesis)/p(datos)
El denominador, que es la evidencia, asegura que la distribución posterior del lado izquierdo de la ecuación sea la densidad de probabilidad válida. Esto también se llama constante de normalización.
Hay tres componentes en la ecuación del teorema de Bayes.
- Previo
- Probabilidad
- Posterior
Distribución previa
Uno de los factores clave en el método de inferencia bayesiana es la distribución previa. A través de esto, puede incorporar creencias personales en el proceso de toma de decisiones. Además, puede incorporar al estudio los juicios basados en diferentes individuos. Esto se hace a través de una expresión matemática. Un parámetro desconocido, representado por θ, se usa para expresar la creencia de uno. Para expresar estas creencias se utiliza una función de distribución, que es la distribución previa. Por lo tanto, antes de ejecutar cualquier experimento, se elige la distribución.
Guía para principiantes de la inferencia bayesiana
1. Elegir el previo
Por lo general, se define una distribución acumulativa para el parámetro θ. Aquellos eventos con el valor de probabilidad previa igual a cero tendrán el valor de probabilidad posterior igual a cero. Y para aquellos eventos que tienen el valor de probabilidad previa, uno tendrá el valor de probabilidad posterior como uno. Por lo tanto, un buen marco del enfoque bayesiano no definirá algunas estimaciones puntuales para aquellos eventos que ya ocurrieron, o no hay información de su ocurrencia. Hay ciertas técnicas para elegir el anterior. Una técnica muy utilizada para elegir el previo es mediante el uso de funciones de distribución. Se utiliza la familia de todas las funciones. Estas funciones deben ser flexibles y podrán representar las creencias de los individuos.
2. Probabilidad
Consideremos θ como el parámetro desconocido a estimar. La equidad de una moneda se puede expresar a través de θ, considerando el ejemplo de Inferencia Bayesiana . La moneda se lanza infinitamente para comprobar su equidad. Entonces, cada vez que se voltea, habrá cara o cruz. Los valores que se asignan a los eventos son 0 y 1. Esto también se conoce como los ensayos de Bernoulli. Todos los resultados se consideran independientes. Esto se puede expresar a través de una ecuación que define el concepto de verosimilitud. La probabilidad es una función de densidad que es una función de θ. Para maximizar la probabilidad, el valor de θ debe dar como resultado el mayor valor de probabilidad. El método de estimación también se conoce como estimación de máxima verosimilitud.
3. Distribución posterior
El resultado del teorema de Bayes se conoce como distribución posterior. Es la probabilidad actualizada de cualquier evento que ocurra después de considerar la nueva información.
4. Mecanismo de inferencia bayesiana
Como hemos visto anteriormente, el método de inferencia bayesiana trata el concepto de probabilidad como cierto grado de creencia. Estas creencias están asociadas con el hecho de que el evento podría ocurrir bajo tal evidencia. Por lo tanto, el parámetro theta “θ” se considera la variable aleatoria.
5. Aplicación de la Inferencia Bayesiana en riesgo financiero
Hay muchos algoritmos en los que se puede aplicar la inferencia bayesiana. Algunos de los algoritmos son redes neuronales, bosques aleatorios, regresión, etc. El método también ha encontrado popularidad en el sector financiero. Puede ser utilizado para la modelización del riesgo operativo de varios bancos. Los datos de los bancos que muestran la pérdida de operaciones muestran algunos eventos que se perdieron. Estos eventos perdidos tuvieron una baja frecuencia pero tuvieron una alta severidad. Por lo tanto, en tales casos, la Inferencia Bayesiana demuestra ser bastante útil. Esto se debe a que, en este método, tampoco se requieren muchos datos para el análisis.
Otros métodos de análisis estadístico, como los métodos frecuentistas, también se aplicaron anteriormente para modelar los riesgos operativos. Pero había un problema al estimar el parámetro de incertidumbre. Por lo tanto, la Inferencia Bayesiana ha sido considerada como el método más efectivo. Esto se debe a que las opiniones de los expertos y los datos se pueden utilizar para derivar distribuciones posteriores. En este tipo de tareas, los datos de pérdida interna de los bancos se descomponen en varios fragmentos más pequeños, y luego se estima la frecuencia de cada uno de los fragmentos mediante juicio de expertos. Luego se ajusta a las distribuciones de probabilidad.
Únase al curso de aprendizaje automático en línea de las mejores universidades del mundo: maestrías, programas ejecutivos de posgrado y programa de certificado avanzado en ML e IA para acelerar su carrera.
Conclusión
En estadística y aprendizaje automático, los dos enfoques principales que se pueden aplicar son los métodos de inferencia frecuentista y bayesiana. Hemos discutido el método de inferencia bayesiana en el artículo, donde las probabilidades se calculan como creencias subjetivas. Junto con los datos, también se incorporan las creencias personales de las personas al estimar las probabilidades. Esto hace que el modelo sea mucho más ampliamente aceptado en muchos estudios de estimación. Por tanto, las técnicas de Inferencia Bayesiana especifican los métodos o formas de aplicar tus creencias a la observación de datos. Además, en muchos tipos de aplicaciones con muchos datos ruidosos, se puede utilizar la técnica de inferencia bayesiana. Por lo tanto, el poder que reside en la regla de Bayes puede relacionarse con una cantidad que puede calcularse a la que puede usarse para responder preguntas de naturaleza arbitraria.
