偏差在神經網絡中的作用

已發表: 2021-03-01

偏見是不成比例的支持或反對事物或想法的權重,通常以偏見、不公平和狹隘的方式進行。 在大多數情況下,偏見被認為是一件消極的事情,因為它會影響你的判斷並使你做出非理性的決定。

然而,偏差在神經網絡和深度學習中的作用卻大不相同。 本文將解釋神經網絡偏差系統以及您應該如何使用它。

目錄

有偏數據的概念

要了解神經網絡偏差系統,我們首先必須了解偏差數據的概念。 每當您向神經網絡提供數據時,它都會影響模型的行為。

所以,如果你給你的神經網絡提供有偏見的數據,你不應該期望你的算法得到公平的結果。 使用有偏見的數據可能會導致您的系統給出非常有缺陷和意想不到的結果。

例如,考慮微軟推出的聊天機器人Tay 的案例Tay 是一個簡單的聊天機器人,用於通過推文與人交談。 它應該通過人們在 Twitter 上發布的內容來學習。 但是,我們都知道 Twitter 是怎樣的。 它摧毀了泰。

Tay 不再是一個簡單而可愛的聊天機器人,而是變成了一個具有攻擊性且非常具有攻擊性的聊天機器人。 人們用大量辱罵性的帖子來破壞它,這些帖子向 Tay 提供了有偏見的數據,它只學會了冒犯性的措辭。 Tay 很快就被關掉了。

神經網絡中偏差的重要性

儘管 Tay 的案例非常令人失望,但這並不意味著所有的偏見都是壞的。 事實上,神經網絡中的偏置神經元是非常關鍵的。 在神經網絡文獻中,我們稱它們為偏置神經元。

一個簡單的神經網絡具有三種神經元:

  1. 輸入神經元
  2. 偏置神經元
  3. 輸出神經元

輸入神經元簡單地傳遞數據集中的特徵,而偏置神經元模仿附加特徵。 我們將輸入神經元與偏置神經元結合起來得到一個輸出神經元。 但是請注意,附加輸入始終等於 1。輸出神經元可以獲取輸入、處理它們並生成整個網絡的輸出。

讓我們以線性回歸模型為例來了解神經網絡偏差系統。

在線性回歸中,我們讓 Input 神經元通過特徵 (a1),而 Bias 神經元與 (a0) 模擬相同。

我們的兩個輸入 (a1, a0) 將乘以它們各自的權重 (w1, w0)。 結果,我們將輸出神經元作為它們的乘積之和:

i=0 n a i w i

線性回歸模型具有 i=1 和 a0=1。 所以模型的數學表示為:

y = a 1 w 1 + w 0

現在,如果我們移除偏置神經元,我們將沒有任何偏置輸入,導致我們的模型看起來像這樣:

y = a 1 w 1

注意到區別了嗎? 如果沒有偏差輸入,我們的模型必須經過圖中的原點 (0,0)。 我們線的斜率可以改變,但它只會從原點旋轉。

為了使我們的模型靈活,我們必須添加與任何輸入無關的偏差輸入。 它使模型能夠根據要求在圖形上上下移動。

神經網絡中需要偏差的主要原因是,如果沒有偏差權重,您的模型在尋找解決方案時的移動非常有限。

了解有關神經網絡偏置系統的更多信息

神經網絡旨在模仿人腦的功能,因此它們具有許多複雜性。 理解它們可能非常具有挑戰性。

學習神經網絡和了解深度學習的最佳方式是通過機器學習和深度學習課程。 它將通過結構化的課程教您這些領域的基礎知識和高級概念。

我們在 upGrad 提供具有 IIIT-B的機器學習和深度學習計劃的 PG 認證該課程僅持續六個月,並且完全在線。 這意味著您可以在舒適的家中學習,而無需在學習本課程時中斷您的職業生活。

您將獲得來自行業專家的 1:1 個性化指導和超過 240 小時的學習時間。 您必須擁有 50% 或同等及格分數的學士學位才有資格參加該計劃。

完成後,您還將獲得安置幫助,包括簡歷製作、工作機會門戶、招聘驅動器等等。 請務必查看課程。

另請閱讀:機器學習項目理念

最後的想法

雖然偏見在我們的日常生活中被認為是一件壞事,但在神經網絡的世界中,它是必不可少的。 正如我們在今天的文章中所介紹的那樣,如果沒有偏見,您的網絡就不會產生好的結果。

如果您認識對神經網絡感興趣或正在研究深度學習的人,請與他們分享這篇文章。

神經網絡中的輸入權重可以為負嗎?

權重可以調整為訓練算法決定的任何合適的值。 由於添加權重是生成器用來獲取正確事件密度的一種方法,因此在網絡中應用它們應該訓練一個也假設正確事件密度的網絡。 實際上,負權重只是表示增加給定輸入會導致輸出減少。 因此,神經網絡中的輸入權重可以是負數。

我們如何減少任何組織的神經網絡中的偏差?

組織應建立識別、披露和減輕任何數據集偏差的標準、法規和程序,以控制偏差。 組織還應該公佈他們的數據選擇和清理技術,允許其他人分析模型何時以及是否反映了任何類型的偏見。 然而,僅僅確保數據集沒有偏差並不能完全消除它。 因此,擁有致力於人工智能開發的多元化個人團隊應該仍然是組織的一個關鍵目標。

當輸入數據有趨勢時,就會出現跟風,這是一種偏差。 證實這種趨勢的數據與趨勢同步增長。 結果,數據科學家冒著誇大他們收集的數據中的概念的危險。 此外,數據中的任何相關性都可能是暫時的:潮流效應可能會像它出現的那樣迅速消失。