2022年のニューラルネットワークアーキテクチャのトップ10MLエンジニアは学ぶ必要があります

最も人気があり強力なアルゴリズムの2つは、ディープラーニングとディープニューラルネットワークです。 ディープラーニングアルゴリズムは、私たちが知っているように世界を変革しています。 これらのアルゴリズムの主な成功は、これらのニューラルネットワークのアーキテクチャの設計にあります。 ここで、有名なニューラルネットワークアーキテクチャのいくつかについて説明しましょう。

人気のニューラルネットワークアーキテクチャ

1. LeNet5

LeNet5は、1994年にYannLeCunによって作成されたニューラルネットワークアーキテクチャです。LeNet5はディープラーニング分野を推進しました。 LeNet5は、ディープラーニング分野の最初の段階で主導的な役割を果たした最初の畳み込みニューラルネットワークであったと言えます。

LeNet5は非常に基本的なアーキテクチャーを持っています。 画像全体に画像機能が配布されます。 畳み込みを伴う学習可能なパラメーターを使用することにより、非常に効果的な方法で同様の特徴を抽出できます。 LeNet5が作成されたとき、CPUは非常に低速であり、トレーニングを支援するためにGPUを使用することはできません。

このアーキテクチャの主な利点は、計算とパラメータを節約できることです。 大規模な多層ニューラルネットワークでは、各ピクセルが個別の入力として使用され、LeNet5はこれを対比しました。 画像間には高い空間的相関関係があり、異なる入力機能はこれらの相関関係の欠点であり、最初のレイヤーでは使用されないため、単一ピクセルを使用します。 Kerasを使用したディープラーニングとニューラルネットワークの概要

LeNet5の機能：

• 大規模な計算のコストは、層間の接続行列をスパースすることで回避できます。
• 最終的な分類器は多層ニューラルネットワークになります
• シグモイドまたはタンの形では、非線形性があります
• マップの空間平均がサブサンプルで使用されます
• 空間的特徴の抽出は、畳み込みを使用して行われます
• 非線形性、プーリング、および畳み込みは、畳み込みニューラルネットワークで使用される3つのシーケンス層です。

一言で言えば、LeNet5ニューラルネットワークアーキテクチャは、ディープラーニングの分野で多くの人々やアーキテクチャに影響を与えてきたと言えます。

ニューラルネットワークアーキテクチャの進歩におけるギャップ：

ニューラルネットワークは1998年から2010年にかけてあまり進歩しませんでした。多くの研究者はゆっくりと改善し、多くの人々は彼らの力の増加に気づいていませんでした。 安価なデジタルカメラや携帯電話カメラの台頭により、データの可用性が向上しました。 GPUは現在、汎用コンピューティングツールになり、CPUもコンピューティング能力の向上に伴って高速になりました。 当時、ニューラルネットワークの進歩率は伸びていましたが、ゆっくりと人々はニューラルネットワークの力の増大に気づき始めました。

2.ダンシレサンネット

GPUニューラルネットの最初の実装は、2010年にJurgenSchmidhuberとDanClaudiuCiresanによって公開されました。ニューラルネットワークには最大9つの層がありました。 NVIDIA GTX 280グラフィックプロセッサに実装されており、後方と前方の両方がありました。

世界のトップ大学からAIMLコースを学びましょう。 マスター、エグゼクティブPGP、または高度な証明書プログラムを取得して、キャリアを迅速に追跡します。

3. AlexNet

このニューラルネットワークアーキテクチャは、ImageNetの挑戦的な競争にかなりの差で勝ちました。 これは、LeNetのはるかに広範で詳細なバージョンです。 AlexKrizhevskyは2012年にリリースしました。

このアーキテクチャを使用して、複雑な階層とオブジェクトを学習できます。 AlexNetアーキテクチャでLeNetの洞察をスケーリングすることにより、はるかに広範なニューラルネットワークが作成されました。

作業への貢献は次のとおりです。

• GPU NVIDIA GTX 580を使用することで、トレーニング時間が短縮されました。
• 平均プーリングの平均化効果は回避され、最大プーリングは重複します。
• ドロップアウトの手法を使用して単一ニューロンを選択的に無視することにより、モデルの過剰適合を回避します。
• 整流された線形単位は非線形性として使用されます

トレーニング時間は10倍速く、GPUはCPUよりもかなりの数のコアを提供したため、より大きな画像とより大規模なデータセットの使用が許可されました。 AlexNetの成功は、ニューラルネットワークサイエンスに革命をもたらしました。 有用なタスクは、大規模なニューラルネットワーク、つまり畳み込みニューラルネットワークによって解決されました。 今ではディープラーニングの主力製品になっています。

4.やり過ぎ

Overfeatは、2013年12月に登場したAlexNetの新しい派生物であり、YannLeCunのNYUラボによって作成されました。 バウンディングボックスを提案した記事を学習した後、バウンディングボックスの学習に関する多くの論文が発表されました。 ただし、人工的な境界ボックスを学習するのではなく、セグメントオブジェクトを検出することもできます。

5. VGG

オックスフォードのVGGネットワ​​ークが初めて、各畳み込み層でより小さな3×3フィルターを使用しました。 畳み込みのシーケンスとして、より小さな3×3フィルターも組み合わせて使用​​されました。

VGGは、LeNetの原則とLeNetの原則を対比しています。 画像内の同様の特徴は、大きな畳み込みを使用してキャプチャされました。 VGGでは、ネットワークの最初のレイヤーで小さなフィルターが使用されていましたが、LeNetアーキテクチャでは回避されていました。 VGGでは、9x9や11x11のようなAlexNetの大きなフィルターは使用されませんでした。 複数の3x3畳み込みが連続しているため、7x7や5x5などのより大きな受容野の効果の洞察によるエミュレーションが可能でした。 それはVGGの最も重要な利点でもありました。 ResNetやInceptionなどの最近のネットワークアーキテクチャでは、複数の3×3畳み込みを直列に使用するというこのアイデアを使用しています。

6.ネットワーク内ネットワーク

Network-in-networkは、より高い組み合わせパワーを提供し、シンプルで優れた洞察を備えたニューラルネットワークアーキテクチャです。 1×1の畳み込みを使用することにより、畳み込み層の特徴により高い組み合わせの強度が提供されます。

7.GoogLeNetとインセプション

GoogLeNetは、ディープニューラルネットワークの計算の負担を軽減することを目的とした最初の開始アーキテクチャです。 ビデオフレームと画像コンテンツの分類は、深層学習モデルを使用して行われました。 サーバーファームでのアーキテクチャの大規模な展開と効率は、Googleなどの大手インターネット大手の主な関心事になりました。 2014年には多くの人がニューラルネットワークに同意しましたが、ディープラーニングはどこにも戻りません。

8.ボトルネックレイヤー

Inceptionのボトルネックレイヤーによる操作と機能の数の削減により、各レイヤーでの推論時間は低く保たれました。 データが高価な畳み込みモジュールに渡される前に、機能の数は4分の1に削減されます。 これは、計算コストを大幅に節約したボトルネックレイヤーアーキテクチャの成功です。

9. ResNet

ResNetの考え方は単純です。つまり、入力を次の層にバイパスし、2つの連続する畳み込み層の出力をフィードすることです。 ネットワークの10万を超える層が、ResNetで初めてトレーニングされました。

10. SqueezeNet

InceptionとResNetの概念は、最近のリリースでSqueezeNetで再ハッシュされました。 複雑な圧縮アルゴリズムのニーズが取り除かれ、アーキテクチャの設計が改善されたことで、パラメータの配信と小さなネットワークサイズが可能になりました。

ボーナス：11。ENet

Adam Paszkeは、ENetと呼ばれるニューラルネットワークアーキテクチャを設計しました。 非常に軽量で効率的なネットワークです。 最新のアーキテクチャのすべての機能を組み合わせることにより、アーキテクチャで使用する計算とパラメータはごくわずかです。 シーン解析とピクセル単位のラベリングは、それを使用して実行されています。

結論

一般的に使用されているニューラルネットワークアーキテクチャは次のとおりです。 この記事がニューラルネットワークの学習に役立つことを願っています。

機械学習とAIのエグゼクティブPGプログラムを確認できます。このプログラムでは、実践的なハンズオンワークショップ、1対1の業界メンター、12のケーススタディと課題、IIIT-B同窓生のステータスなどが提供されます。