2022 年 ML 工程師需要學習的 10 大神經網絡架構

兩種最流行和最強大的算法是深度學習和深度神經網絡。 深度學習算法正在改變我們所知道的世界。 這些算法的主要成功在於這些神經網絡的架構設計。 現在讓我們討論一些著名的神經網絡架構。

流行的神經網絡架構

1.LeNet5

LeNet5 是 Yann LeCun 在 1994 年創建的神經網絡架構。LeNet5 推動了深度學習領域。 可以說，LeNet5 是第一個在深度學習領域開始時具有主導作用的捲積神經網絡。

LeNet5 有一個非常基礎的架構。 整個圖像將分佈有圖像特徵。 通過使用帶有捲積的可學習參數，可以以非常有效的方式提取相似的特徵。 創建 LeNet5 時，CPU 非常慢，無法使用 GPU 來幫助訓練。

這種架構的主要優點是節省了計算和參數。 在一個擴展的多層神經網絡中，每個像素都被用作一個單獨的輸入，LeNet5 對此進行了對比。 圖像之間存在高度的空間相關性，並且使用單像素作為不同的輸入特徵將是這些相關性的缺點，並且不會在第一層中使用。 Keras 深度學習和神經網絡簡介

LeNet5的特點：

• 可以通過稀疏層之間的連接矩陣來避免大型計算的成本。
• 最終的分類器將是一個多層神經網絡
• 以sigmoids或tanh的形式，會有非線性
• 子樣本中使用地圖的空間平均值
• 空間特徵的提取是通過使用卷積來完成的
• 非線性、池化和卷積是卷積神經網絡中使用的三個序列層

簡而言之，可以說 LeNet5 神經網絡架構啟發了深度學習領域的許多人和架構。

神經網絡架構進步的差距：

神經網絡從 1998 年到 2010 年並沒有太大的進步。很多研究人員都在慢慢改進，很多人沒有註意到他們越來越強大。 隨著廉價數碼相機和手機相機的興起，數據可用性增加了。 GPU現在已經成為一種通用的計算工具，CPU也隨著計算能力的提高而變得更快。 那些年，神經網絡的進步速度被拉長了，但慢慢地人們開始注意到神經網絡的威力越來越大。

2. Dan Ciresan Net

2010 年，Jurgen Schmidhuber 和 Dan Claudiu Ciresan 發表了 GPU 神經網絡的第一個實現。神經網絡最多有 9 層。 它是在 NVIDIA GTX 280 圖形處理器上實現的，並且具有向後和向前兩種功能。

從世界頂級大學學習AI ML 課程。 獲得碩士、Executive PGP 或高級證書課程以加快您的職業生涯。

3.亞歷克斯網

這種神經網絡架構以相當大的優勢贏得了 ImageNet 的挑戰性競爭。 它是 LeNet 的更廣泛和更深入的版本。 Alex Krizhevsky 於 2012 年發布了它。

使用這種架構可以學習複雜的層次結構和對象。 更廣泛的神經網絡是通過在 AlexNet 架構中擴展 LeNet 的見解而創建的。

工作貢獻如下：

• 使用 GPU NVIDIA GTX 580 減少了訓練時間。
• 避免了平均池的平均效應，並重疊了最大池。
• 通過使用 dropout 技術選擇性地忽略單個神經元來避免模型的過度擬合。
• 整流線性單元用作非線性

允許使用更大的圖像和更大規模的數據集，因為訓練時間快 10 倍，而且 GPU 提供的內核數量比 CPU 多。 AlexNet 的成功引發了神經網絡科學的一場革命。 有用的任務由大型神經網絡解決，即卷積神經網絡。 它現在已成為深度學習的主力軍。

4.過頭

Overfeat 是 AlexNet 的新衍生產品，於 2013 年 12 月推出，由 Yann LeCun 的紐約大學實驗室創建。 在學習了文章提出的bounding box之後，發表了很多關於learning bounding box的論文。 但是也可以發現分段對象，而不是學習人工邊界框。

5.VGG

Oxford 的 VGG 網絡首次在每個卷積層中使用較小的 3×3 濾波器。 較小的 3×3 過濾器也被組合使用作為卷積序列。

VGG 將 LeNet 的原理與 LeNet 中的原理進行了對比。 通過使用大卷積捕獲圖像中的類似特徵。 在 VGG 中，在網絡的第一層使用了較小的過濾器，這在 LeNet 架構中被避免了。 在 VGG 中，沒有使用像 9 x 9 或 11 x 11 這樣的 AlexNet 的大型過濾器。 由於序列中有多個 3 x 3 卷積，因此可以通過對較大感受野（例如 7 x 7 和 5 x 5）的影響進行模擬。 這也是VGG最顯著的優勢。 ResNet 和 Inception 等最近的網絡架構正在使用這種串聯多個 3×3 卷積的想法。

6.網絡中的網絡

Network-in-network 是一種神經網絡架構，可提供更高的組合能力並具有簡單而深刻的洞察力。 通過使用 1×1 卷積，為卷積層的特徵提供了更高強度的組合。

7. GoogLeNet 和 Inception

GoogLeNet 是第一個旨在減少深度神經網絡計算負擔的初始架構。 視頻幀和圖像內容的分類是通過使用深度學習模型完成的。 服務器場上架構的大規模部署和效率成為谷歌等大型互聯網巨頭的主要興趣。 許多人在 2014 年同意神經網絡，深度學習無路可退。

8.瓶頸層

通過減少 Inception 的瓶頸層的操作和特徵數量，每一層的推理時間都保持在較低水平。 在將數據傳遞給昂貴的捲積模塊之前，特徵的數量將減少到 4 倍。 這是瓶頸層架構的成功之處，因為它大大節省了計算成本。

9. 資源網

ResNet 的想法很簡單，即繞過輸入到下一層，並將輸出饋送到兩個連續的捲積層。 在 ResNet 中首次訓練了超過 10 萬層的網絡。

10. 擠壓網

在最近的版本中，Inception 和 ResNet 的概念在 SqueezeNet 中進行了重新散列。 複雜的壓縮算法的需求已經被消除，參數的傳遞和較小的網絡規模隨著更好的架構設計成為可能。

獎金：11. ENet

Adam Paszke 設計了稱為 ENet 的神經網絡架構。 這是一個非常輕量級和高效的網絡。 通過結合所有現代架構的特徵，它在架構中使用很少的計算和參數。 已經使用它執行了場景解析和逐像素標記。

結論

以下是常用的神經網絡架構。 我們希望這篇文章能幫助您學習神經網絡。

您可以查看我們的機器學習和 AI 執行 PG 計劃，該計劃提供實用的實踐研討會、一對一的行業導師、12 個案例研究和作業、IIIT-B 校友身份等。