2022 年 ML 工程师需要学习的 10 大神经网络架构

两种最流行和最强大的算法是深度学习和深度神经网络。 深度学习算法正在改变我们所知道的世界。 这些算法的主要成功在于这些神经网络的架构设计。 现在让我们讨论一些著名的神经网络架构。

流行的神经网络架构

1.LeNet5

LeNet5 是 Yann LeCun 在 1994 年创建的神经网络架构。LeNet5 推动了深度学习领域。 可以说，LeNet5 是第一个在深度学习领域开始时具有主导作用的卷积神经网络。

LeNet5 有一个非常基础的架构。 整个图像将分布有图像特征。 通过使用带有卷积的可学习参数，可以以非常有效的方式提取相似的特征。 创建 LeNet5 时，CPU 非常慢，无法使用 GPU 来帮助训练。

这种架构的主要优点是节省了计算和参数。 在一个扩展的多层神经网络中，每个像素都被用作一个单独的输入，LeNet5 对此进行了对比。 图像之间存在高度的空间相关性，并且使用单像素作为不同的输入特征将是这些相关性的缺点，并且不会在第一层中使用。 Keras 深度学习和神经网络简介

LeNet5的特点：

• 可以通过稀疏层之间的连接矩阵来避免大型计算的成本。
• 最终的分类器将是一个多层神经网络
• 以sigmoids或tanh的形式，会有非线性
• 子样本中使用地图的空间平均值
• 空间特征的提取是通过使用卷积来完成的
• 非线性、池化和卷积是卷积神经网络中使用的三个序列层

简而言之，可以说 LeNet5 神经网络架构启发了深度学习领域的许多人和架构。

神经网络架构进步的差距：

神经网络从 1998 年到 2010 年并没有太大的进步。很多研究人员都在慢慢改进，很多人没有注意到他们越来越强大。 随着廉价数码相机和手机相机的兴起，数据可用性增加了。 GPU现在已经成为一种通用的计算工具，CPU也随着计算能力的提高而变得更快。 那些年，神经网络的进步速度被拉长了，但慢慢地人们开始注意到神经网络的威力越来越大。

2. Dan Ciresan Net

2010 年，Jurgen Schmidhuber 和 Dan Claudiu Ciresan 发表了 GPU 神经网络的第一个实现。神经网络最多有 9 层。 它是在 NVIDIA GTX 280 图形处理器上实现的，并且具有向后和向前两种功能。

从世界顶级大学学习AI ML 课程。 获得硕士、Executive PGP 或高级证书课程以加快您的职业生涯。

3.亚历克斯网

这种神经网络架构以相当大的优势赢得了 ImageNet 的挑战性竞争。 它是 LeNet 的更广泛和更深入的版本。 Alex Krizhevsky 于 2012 年发布了它。

使用这种架构可以学习复杂的层次结构和对象。 更广泛的神经网络是通过在 AlexNet 架构中扩展 LeNet 的见解而创建的。

工作贡献如下：

• 使用 GPU NVIDIA GTX 580 减少了训练时间。
• 避免了平均池的平均效应，并重叠了最大池。
• 通过使用 dropout 技术选择性地忽略单个神经元来避免模型的过度拟合。
• 整流线性单元用作非线性

允许使用更大的图像和更大规模的数据集，因为训练时间快 10 倍，而且 GPU 提供的内核数量比 CPU 多。 AlexNet 的成功引发了神经网络科学的一场革命。 有用的任务由大型神经网络解决，即卷积神经网络。 它现在已成为深度学习的主力军。

4.过头

Overfeat 是 AlexNet 的新衍生产品，于 2013 年 12 月推出，由 Yann LeCun 的纽约大学实验室创建。 在学习了文章提出的bounding box之后，发表了很多关于learning bounding box的论文。 但是也可以发现分段对象，而不是学习人工边界框。

5.VGG

Oxford 的 VGG 网络首次在每个卷积层中使用较小的 3×3 滤波器。 较小的 3×3 过滤器也被组合使用作为卷积序列。

VGG 将 LeNet 的原理与 LeNet 中的原理进行了对比。 通过使用大卷积捕获图像中的类似特征。 在 VGG 中，在网络的第一层使用了较小的过滤器，这在 LeNet 架构中被避免了。 在 VGG 中，没有使用像 9 x 9 或 11 x 11 这样的 AlexNet 的大型过滤器。 由于序列中有多个 3 x 3 卷积，因此可以通过对较大感受野（例如 7 x 7 和 5 x 5）的影响进行模拟。 这也是VGG最显着的优势。 ResNet 和 Inception 等最近的网络架构正在使用这种串联多个 3×3 卷积的想法。

6.网络中的网络

Network-in-network 是一种神经网络架构，可提供更高的组合能力并具有简单而深刻的洞察力。 通过使用 1×1 卷积，为卷积层的特征提供了更高强度的组合。

7. GoogLeNet 和 Inception

GoogLeNet 是第一个旨在减少深度神经网络计算负担的初始架构。 视频帧和图像内容的分类是通过使用深度学习模型完成的。 服务器场上架构的大规模部署和效率成为谷歌等大型互联网巨头的主要兴趣。 许多人在 2014 年同意神经网络，深度学习无路可退。

8.瓶颈层

通过减少 Inception 的瓶颈层的操作和特征数量，每一层的推理时间都保持在较低水平。 在将数据传递给昂贵的卷积模块之前，特征的数量将减少到 4 倍。 这是瓶颈层架构的成功之处，因为它大大节省了计算成本。

9. 资源网

ResNet 的想法很简单，即绕过输入到下一层，并将输出馈送到两个连续的卷积层。 在 ResNet 中首次训练了超过 10 万层的网络。

10. 挤压网

在最近的版本中，Inception 和 ResNet 的概念在 SqueezeNet 中进行了重新散列。 复杂的压缩算法的需求已经被消除，参数的传递和较小的网络规模随着更好的架构设计成为可能。

奖金：11. ENet

Adam Paszke 设计了称为 ENet 的神经网络架构。 这是一个非常轻量级和高效的网络。 通过结合所有现代架构的特征，它在架构中使用很少的计算和参数。 已经使用它执行了场景解析和逐像素标记。

结论

以下是常用的神经网络架构。 我们希望这篇文章能帮助您学习神经网络。

您可以查看我们的机器学习和人工智能执行 PG 计划，该计划提供实用的实践研讨会、一对一的行业导师、12 个案例研究和作业、IIIT-B 校友身份等。