Guide du débutant sur l'inférence bayésienne : guide complet
Publié: 2021-11-26Les applications d'apprentissage automatique ont augmenté avec une large applicabilité dans la recherche, les médias sociaux, la publicité, etc. Cependant, les applications traitent principalement de la prédiction qui implique une énorme quantité de données. Les statistiques sont souvent utilisées pour la quantification de la mesure des valeurs d'incertitude. Si nous avons différents événements, alors trois approches peuvent déterminer la probabilité de l'événement.
Ces trois méthodes sont :
- Classique
- Bayésien
- fréquentiste
Prenons l'exemple d'un dé lancé pour déterminer la probabilité qu'il affiche la face « quatre ». Il aidera à la compréhension des trois types de méthodes de détermination de la probabilité. Supposons que vous considériez la méthode classique d'estimation de probabilité. Dans ce cas, on pensera qu'il y aura un total de six résultats, et la probabilité que tout résultat se produise sera la même. Dans une telle hypothèse, la probabilité que le résultat soit quatre sera de 1/6. La méthode classique fonctionne généralement bien lorsque les résultats ont des résultats également probables. Mais lorsque les résultats deviennent plus subjectifs, cette méthode ne peut pas être utilisée.
Si l'on considère la méthode fréquentiste, il faut qu'il y ait une séquence infinie d'un événement hypothétique. Il nécessite alors la recherche de la fréquence pertinente dans la séquence hypothétique infinie. Considérant l'exemple de dés ci-dessus, si les dés sont lancés un nombre infini de fois, le résultat, c'est-à-dire 1/6, nous pouvons obtenir le résultat comme quatre. Par conséquent, la probabilité que le résultat soit quatre dans les dés à six faces sera de 1/6 selon la définition de la méthode fréquentiste.
Venant maintenant à l'approche bayésienne, elle vous offre certains avantages. Selon la perspective de cette méthode, vous pouvez incorporer une croyance personnelle dans le processus de prise de décision. Cela signifie qu'il prendra en compte des éléments tels que les informations connues concernant le problème. Le fait que différents individus peuvent avoir des croyances différentes est également pris en compte dans cette approche. Par exemple, supposons que si quelqu'un mentionne que la probabilité de pluie sera de 90 % demain, pour une autre personne, la probabilité de pluie pourrait être de 60 %. Par conséquent, la méthode de l'approche bayésienne est subjective. Cependant, les résultats sont plus intuitifs par rapport à la méthode fréquentiste.
Table des matières
Inférence bayésienne
L'inférence bayésienne est principalement utilisée pour le problème de l'inférence statistique. Dans ces cas, il y a toujours une quantité inconnue (données) qui doit être estimée. Et puis, à partir des données, le montant souhaité est à estimer. La quantité inconnue est appelée θ. Il y a une hypothèse que θ est une quantité aléatoire, et il y a quelques suppositions initiales pour les valeurs de θ. Ce type de distribution est appelé distribution préalable. La mise à jour de la valeur se fait généralement via la règle de Bayes. Par conséquent, l'approche est appelée approche bayésienne.
Théorème de Bayes
L'application de l'inférence bayésienne dépend de la compréhension du théorème de Bayes.
Considérez qu'il existe deux ensembles de résultats, tels que l'ensemble A et l'ensemble B. Ces ensembles sont également appelés événements. Dénotons la probabilité pour l'événement A par P(A) et les événements B par P(B). Ce sont les probabilités des événements individuellement. Cependant, une probabilité jointe peut être définie par le terme P(A, B). Les probabilités conditionnelles peuvent être étendues comme suit :
P(A,B) = P(A|B)P(B),
Cela signifie que tant que B est donné, la probabilité conditionnelle de A et B donne la probabilité conjointe des deux événements.
P(A,B) = P(B|A)P(A)
Dans les deux équations ci-dessus, le côté gauche des équations est le même, de sorte que le côté droit des équations doit être égal.
P(A|B)P(B) = P(B|A)P(A)
P(A|B) = P(B|A)P(A)/P(B)
Cette équation est connue sous le nom de théorème de Bayes.
Dans le domaine de la science des données, le théorème de Bayes peut s'écrire comme
P(hypothèse|données) = P(données|hypothèse) P(hypothèse)/p(données)
Le dénominateur, qui est la preuve, garantit que la distribution postérieure du côté gauche de l'équation est la densité de probabilité valide. Ceci est également appelé une constante de normalisation.
Il y a trois composants dans l'équation du théorème de Bayes.
- Avant
- Probabilité
- Postérieur
Répartition préalable
L'un des facteurs clés de la méthode d'inférence bayésienne est la distribution a priori. Grâce à cela, vous pouvez intégrer des croyances personnelles dans le processus de prise de décision. En outre, vous pouvez intégrer les jugements basés sur différents individus dans l'étude. Cela se fait par une expression mathématique. Un paramètre inconnu, représenté par θ, est utilisé pour exprimer sa croyance. Pour exprimer ces croyances, une fonction de distribution est utilisée, qui est la distribution a priori. Par conséquent, avant d'exécuter une expérience, la distribution est choisie.
Guide du débutant sur l'inférence bayésienne
1. Choisir le prior
Une distribution cumulative est généralement définie pour le paramètre θ. Les événements dont la valeur de probabilité a priori est nulle auront la valeur de probabilité a posteriori égale à zéro. Et pour les événements qui ont la valeur de la probabilité a priori, on aura la valeur de la probabilité a posteriori comme un. Par conséquent, un bon cadre de l'approche bayésienne ne définira pas d'estimations ponctuelles pour les événements qui se sont déjà produits, ou il n'y a aucune information sur son occurrence. Il existe certaines techniques pour choisir le prior. Une technique largement utilisée pour choisir le prior consiste à utiliser des fonctions de distribution. La famille de toutes les fonctions est utilisée. Ces fonctions doivent être flexibles et pourront représenter les croyances des individus.
2. Probabilité
Considérons θ comme le paramètre inconnu à estimer. L'équité d'une pièce peut être exprimée par θ, en considérant l' exemple de l'inférence bayésienne . La pièce est lancée à l'infini pour vérifier son équité. Ainsi, à chaque fois que vous retournez, il y aura soit la tête, soit la queue. Les valeurs attribuées aux événements sont 0 et 1. Ceci est également appelé les essais de Bernoulli. Tous les résultats sont considérés comme indépendants. Cela peut être exprimé par une équation qui définit le concept de vraisemblance. La vraisemblance est une fonction de densité qui est fonction de θ. Pour maximiser la vraisemblance, la valeur de θ doit donner la plus grande valeur de vraisemblance. La méthode d'estimation est également connue sous le nom d'estimation du maximum de vraisemblance.
3. Distribution postérieure
Le résultat du théorème de Bayes est connu sous le nom de distribution a posteriori. Il s'agit de la probabilité mise à jour de tout événement qui se produit après avoir pris en compte les nouvelles informations.
4. Mécanisme d'inférence bayésienne
Comme nous l'avons vu ci-dessus, la méthode d'inférence bayésienne traite le concept de probabilité comme un certain degré de croyance. Ces croyances sont associées au fait que l'événement pourrait se produire sous de telles preuves. Par conséquent, le paramètre thêta "θ" est considéré comme la variable aléatoire.
5. Application de l'inférence bayésienne au risque financier
Il existe de nombreux algorithmes où l'inférence bayésienne peut être appliquée. Certains des algorithmes sont les réseaux de neurones, la forêt aléatoire, la régression, etc. La méthode a également trouvé une popularité dans le secteur financier. Il peut être utilisé pour la modélisation du risque opérationnel de plusieurs banques. Les données des banques qui montrent la perte d'opérations montrent certains événements qui ont été perdus. Ces événements perdus avaient une faible fréquence mais avaient une gravité élevée. Par conséquent, dans de tels cas, l'inférence bayésienne s'avère très utile. En effet, dans cette méthode, beaucoup de données ne sont pas non plus nécessaires pour l'analyse.
D'autres méthodes d'analyse statistique, telles que les méthodes fréquentistes, ont également été appliquées antérieurement pour modéliser les risques opérationnels. Mais il y avait un problème dans l'estimation du paramètre d'incertitude. Par conséquent, l'inférence bayésienne a été considérée comme la méthode la plus efficace. En effet, les avis d'experts et les données peuvent être utilisés pour dériver des distributions a posteriori. Dans ce type de tâche, les données de perte interne des banques sont décomposées en plusieurs fragments plus petits, puis la fréquence de chacun des fragments est estimée par jugement d'expert. Ceci est ensuite intégré dans les distributions de probabilité.
Rejoignez le cours d'apprentissage automatique en ligne des meilleures universités du monde - Masters, programmes de troisième cycle pour cadres et programme de certificat avancé en ML et IA pour accélérer votre carrière.
Conclusion
En statistiques et en apprentissage automatique, les deux principales approches applicables sont les méthodes d'inférence fréquentiste et bayésienne. Nous avons discuté de la méthode d'inférence bayésienne dans l'article, où les probabilités sont calculées comme des croyances subjectives. Parallèlement aux données, les croyances personnelles des personnes sont également incorporées lors de l'estimation des probabilités. Cela rend le modèle beaucoup plus largement accepté dans de nombreuses études d'estimation. Par conséquent, les techniques d'inférence bayésienne spécifient les méthodes ou les moyens d'appliquer vos croyances à l'observation des données. De plus, dans de nombreux types d'applications avec beaucoup de données bruitées, la technique d'inférence bayésienne peut être utilisée. Par conséquent, la puissance qui réside dans la règle de Bayes peut se rapporter à une quantité qui peut être calculée à celle qui peut être utilisée pour répondre à des questions de nature arbitraire.
