貝葉斯推理初學者指南：完整指南
已發表: 2021-11-26機器學習應用隨著在研究、社交媒體、廣告等方面的廣泛適用性而不斷增加。然而，這些應用大多處理涉及大量數據的預測。 統計數據通常用於對不確定性值的測量進行量化。 如果我們有不同的事件，那麼三種方法可以確定事件的概率。
這三種方法是：
- 古典
- 貝葉斯
- 頻率論者
讓我們考慮一個擲骰子的例子，以找出它是否會顯示“四”面的概率。 它將有助於理解確定概率的三種方法。 假設您考慮概率估計的經典方法。 在這種情況下，相信總共會有六個結果，並且任何結果發生的概率都是相同的。 在這樣的假設下，結果為 4 的概率為 1/6。 當結果具有同樣可能的結果時，經典方法通常效果很好。 但是當結果變得更加主觀時，就不能使用這種方法了。
如果我們考慮Frequentist方法，則要求有一個假設的事件的無限序列。 然後它需要在無限的假設序列中搜索相關頻率。 考慮上面骰子的例子，如果骰子被擲了無數次，結果，即1/6，我們可以得到結果為4。 因此，根據頻率論方法的定義，六面骰子中結果為 4 的概率將是 1/6。
現在轉向貝葉斯方法，它為您提供了一些優勢。 根據這種方法的觀點，您可以在決策過程中加入個人信念。 這意味著它將考慮諸如有關該問題的已知信息之類的事物。 這種方法也考慮了不同的人可以有不同的信念這一事實。 例如，假設有人提到明天下雨的概率是 90%，對於其他人來說，下雨的概率可能是 60%。 因此，貝葉斯方法的方法是主觀的。 然而，與Frequentist方法相比，結果更直觀。
目錄
貝葉斯推理
貝葉斯推理主要用於統計推理問題。 在這些情況下，總是有一個未知的數量（數據）需要估計。 然後，根據數據，估計所需的數量。 未知量稱為 θ。 假設 θ 是一個隨機量，並且對 θ 的值有一些初始猜測。 這種類型的分佈稱為先驗分佈。 值的更新通常通過貝葉斯規則完成。 因此，該方法被稱為貝葉斯方法。
貝葉斯定理
貝葉斯推理的應用取決於對貝葉斯定理的理解。
考慮有兩個結果集，例如集 A 和集 B。這些集也稱為事件。 讓我們將事件 A 的概率表示為 P(A)，將事件 B 的概率表示為 P(B)。 這些是個別事件的概率。 然而，聯合概率可以通過術語 P(A, B) 來定義。 條件概率可以擴展為：
P(A,B) = P(A|B)P(B),
這意味著當 B 給定時，A 和 B 的條件概率導致兩個事件的聯合概率。
P(A,B) = P(B|A)P(A)
在上述兩個方程中，方程的左邊是相同的，所以方程的右邊應該是相等的。
P(A|B)P(B) = P(B|A)P(A)
P(A|B) = P(B|A)P(A)/P(B)
這個方程被稱為貝葉斯定理。
在數據科學領域，貝葉斯定理可以寫成
P(假設|數據) = P(數據|假設) P(假設)/p(數據)
作為證據的分母確保等式左側的後驗分佈是有效概率密度。 這也稱為歸一化常數。
貝葉斯定理的方程中有三個分量。
- 事先的
- 可能性
- 後部
事先分配
貝葉斯推理方法的關鍵因素之一是先驗分佈。 通過這種方式，您可以將個人信念融入決策過程。 此外，您可以將基於不同個體的判斷納入研究。 這是通過數學表達式完成的。 一個未知的參數，由 θ 表示，用於表達一個人的信念。 為了表達這些信念，使用了一個分佈函數，即先驗分佈。 因此，在運行任何實驗之前，都會選擇分佈。
貝葉斯推理初學者指南
1. 選擇先驗
通常為參數 θ 定義累積分佈。 先驗概率為零的事件的後驗概率為零。 而對於那些具有先驗概率值的事件，將具有後驗概率值作為一。 因此，一個好的貝葉斯方法框架不會為那些已經發生的事件定義一些點估計，或者沒有關於它發生的信息。 有一些技術可以選擇先驗。 一種廣泛用於選擇先驗的技術是通過使用分佈函數。 使用所有函數的族。 這些功能應該是靈活的，並且能夠代表個人的信仰。
2. 可能性
讓我們將 θ 視為要估計的未知參數。 考慮到貝葉斯推理示例，硬幣的公平性可以通過 θ 來表示。 硬幣被無限翻轉以檢查其公平性。 所以，每次翻轉時，要么有頭，要么有尾。 分配給事件的值是 0 和 1。這也稱為伯努利試驗。 所有結果都被認為是獨立的。 這可以通過定義似然概念的方程來表達。 似然度是一個密度函數，它是 θ 的函數。 為了最大化似然性，θ 的值應該導致最大似然值。 估計方法也稱為最大似然估計。
3. 後驗分佈
貝葉斯定理的結果稱為後驗分佈。 它是在考慮新信息後發生的任何事件的更新概率。
4.貝葉斯推理機制
正如我們在上面看到的，貝葉斯推理方法將概率的概念視為某種程度的信念。 這些信念與事件可能在此類證據下發生的事實有關。 因此，參數theta“θ”被認為是隨機變量。
5.貝葉斯推理在金融風險中的應用
有很多算法可以應用貝葉斯推理。 一些算法是神經網絡、隨機森林、回歸等。該方法在金融領域也很受歡迎。 可用於多家銀行的操作風險建模。 顯示業務損失的銀行數據顯示了一些丟失的事件。 這些丟失事件的頻率較低，但嚴重性較高。 因此，在這種情況下，貝葉斯推理被證明是非常有用的。 這是因為，在這種方法中，分析也不需要大量數據。
其他統計分析方法，如頻率論方法，也較早應用於操作風險建模。 但是在估計不確定性參數時存在問題。 因此，貝葉斯推理被認為是最有效的方法。 這是因為專家意見和數據可用於推導後驗分佈。 在這類任務中，銀行內部損失的數據被分解成幾個更小的碎片，然後通過專家判斷來估計每個碎片的頻率。 然後將其擬合到概率的分佈中。
加入來自世界頂級大學的在線機器學習課程——碩士、高管研究生課程和 ML 和 AI 高級證書課程，以加快您的職業生涯。
結論
在統計和機器學習中，可以應用的兩種主要方法是頻率論和貝葉斯推理方法。 我們在文章中討論了貝葉斯推理方法，其中概率被計算為主觀信念。 與數據一起，人們的個人信仰也被納入估計概率。 這些使得該模型在許多估計研究中得到更廣泛的接受。 因此，貝葉斯推理技術指定了將您的信念應用於數據觀察的方法或方式。 此外，在具有大量噪聲數據的許多類型的應用程序中，可以使用貝葉斯推理技術。 因此，貝葉斯規則中的力量可以與一個可以計算的數量相關，該數量可以用來回答任意性質的問題。
