Las 10 principales arquitecturas de redes neuronales en 2022 que los ingenieros de aprendizaje automático deben aprender

Dos de los algoritmos más populares y poderosos son Deep Learning y Deep Neural Networks. Los algoritmos de aprendizaje profundo están transformando el mundo tal como lo conocemos. El principal éxito de estos algoritmos está en el diseño de la arquitectura de estas redes neuronales. Analicemos ahora algunas de las famosas arquitecturas de redes neuronales.

Arquitecturas de redes neuronales populares

1. LeNet5

LeNet5 es una arquitectura de red neuronal creada por Yann LeCun en el año 1994. LeNet5 impulsó el campo del aprendizaje profundo. Se puede decir que LeNet5 fue la primera red neuronal convolucional que tiene el papel principal al comienzo del campo del aprendizaje profundo.

LeNet5 tiene una arquitectura muy fundamental. En toda la imagen se distribuirá con las características de la imagen. Se pueden extraer características similares de una manera muy eficaz mediante el uso de parámetros de aprendizaje con convoluciones. Cuando se creó LeNet5, las CPU eran muy lentas y no se puede usar GPU para ayudar en el entrenamiento.

La principal ventaja de esta arquitectura es el ahorro de cómputo y parámetros. En una extensa red neuronal multicapa, cada píxel se utilizó como una entrada separada, y LeNet5 contrastó esto. Hay altas correlaciones espaciales entre las imágenes y el uso de un solo píxel como características de entrada diferentes sería una desventaja de estas correlaciones y no se usaría en la primera capa. Introducción al aprendizaje profundo y las redes neuronales con Keras

Características de LeNet5:

• El costo de los cálculos grandes se puede evitar al dispersar la matriz de conexión entre las capas.
• El clasificador final será una red neuronal multicapa.
• En forma de sigmoides o tanh, habrá no linealidad
• El promedio espacial de los mapas se utiliza en la submuestra.
• La extracción de características espaciales se realiza mediante el uso de convolución.
• La no linealidad, la agrupación y la convolución son las tres capas de secuencia utilizadas en la red neuronal convolucional.

En pocas palabras, se puede decir que la arquitectura de red neuronal LeNet5 ha inspirado a muchas personas y arquitecturas en el campo del aprendizaje profundo.

La brecha en el progreso de la arquitectura de redes neuronales:

La red neuronal no progresó mucho desde el año 1998 hasta el 2010. Muchos investigadores estaban mejorando lentamente y muchas personas no notaron su creciente poder. Con el surgimiento de cámaras digitales y celulares baratas, aumentó la disponibilidad de datos. La GPU ahora se ha convertido en una herramienta informática de uso general, y las CPU también se volvieron más rápidas con el aumento de la potencia informática. En esos años, la tasa de progreso de la red neuronal se prolongó, pero poco a poco la gente comenzó a notar el poder creciente de la red neuronal.

2. Red Dan Ciresan

Jurgen Schmidhuber y Dan Claudiu Ciresan publicaron la primera implementación de las redes neuronales GPU en 2010. Había hasta 9 capas de la red neuronal. Se implementó en un procesador de gráficos NVIDIA GTX 280 y tenía tanto hacia atrás como hacia adelante.

Aprenda cursos AI ML de las mejores universidades del mundo. Obtenga programas de maestría, PGP ejecutivo o certificado avanzado para acelerar su carrera.

3. Alex Net

Esta arquitectura de red neuronal ha ganado la desafiante competencia de ImageNet por un margen considerable. Es una versión mucho más amplia y profunda de LeNet. Alex Krizhevsky lo lanzó en 2012.

Se pueden aprender jerarquías y objetos complejos usando esta arquitectura. La red neuronal mucho más extensa se creó escalando los conocimientos de LeNet en AlexNet Architecture.

Las contribuciones de trabajo son las siguientes:

• El tiempo de formación se redujo mediante el uso de GPU NVIDIA GTX 580.
• Se evitan los efectos promedio de la agrupación promedio y se superpone la agrupación máxima.
• El sobreajuste del modelo se evita ignorando selectivamente las neuronas individuales mediante el uso de la técnica de abandono.
• Las unidades lineales rectificadas se utilizan como no linealidades.

Se permitió el uso de imágenes más grandes y conjuntos de datos más masivos porque el tiempo de entrenamiento fue 10 veces más rápido y la GPU ofreció una cantidad más considerable de núcleos que las CPU. El éxito de AlexNet condujo a una revolución en las ciencias de redes neuronales. Las tareas útiles fueron resueltas por grandes redes neuronales, a saber, redes neuronales convolucionales. Ahora se ha convertido en el caballo de batalla del aprendizaje profundo.

4. Superar

Overfeat es un nuevo derivado de AlexNet que surgió en diciembre de 2013 y fue creado por el laboratorio de la NYU de Yann LeCun. Se publicaron muchos artículos sobre el aprendizaje de los cuadros delimitadores después de conocer el artículo que proponía los cuadros delimitadores. Pero los objetos Segment también se pueden descubrir en lugar de aprender cuadros delimitadores artificiales.

5. VGG

La primera vez que las redes VGG de Oxford utilizaron filtros 3×3 más pequeños en cada capa convolucional. También se usaron filtros más pequeños de 3 × 3 en combinación como una secuencia de circunvoluciones.

VGG contrasta los principios de LeNet como en LeNet. Se capturaron características similares en una imagen usando grandes circunvoluciones. En VGG, se utilizaron filtros más pequeños en las primeras capas de la red, lo que se evitó en la arquitectura LeNet. En VGG, no se utilizaron filtros grandes de AlexNet como 9 x 9 o 11 x 11. La emulación por la percepción del efecto de campos receptivos más grandes, como 7 x 7 y 5 x 5, fue posible debido a la convolución múltiple de 3 x 3 en secuencia. También fue la ventaja más significativa de VGG. Las arquitecturas de red recientes, como ResNet e Inception, utilizan esta idea de múltiples circunvoluciones de 3×3 en serie.

6. Red en red

Network-in-network es una arquitectura de red neuronal que proporciona una mayor potencia combinatoria y tiene una visión simple y excelente. Se proporciona una mayor fuerza de la combinación a las características de una capa convolucional mediante el uso de convoluciones 1×1.

7. GoogleLeNet e inicio

GoogLeNet es la primera arquitectura inicial que tiene como objetivo disminuir la carga de computación de las redes neuronales profundas. La categorización de los fotogramas de video y el contenido de las imágenes se realizó mediante el uso de modelos de aprendizaje profundo. Los grandes despliegues y la eficiencia de las arquitecturas en las granjas de servidores se convirtieron en el principal interés de los grandes gigantes de Internet como Google. Mucha gente estuvo de acuerdo en las redes neuronales de 2014, y el aprendizaje profundo no tiene vuelta atrás.

8. Capa de cuello de botella

El tiempo de inferencia se mantuvo bajo en cada capa gracias a la reducción del número de operaciones y funciones por parte de la capa de cuello de botella de Inception. El número de características se reducirá a 4 veces antes de que los datos pasen a los costosos módulos de convolución. Este es el éxito de la arquitectura de capas de cuello de botella porque ahorró mucho el costo de la computación.

9. ResNet

La idea de ResNet es sencilla, y es pasar por alto la entrada a las siguientes capas y también alimentar la salida de dos capas convolucionales sucesivas. Más de cien mil capas de la red fueron entrenadas por primera vez en ResNet.

10. SqueezeNet

Los conceptos de Inception y ResNet se han rediseñado en SqueezeNet en la versión reciente. Se han eliminado las necesidades de los algoritmos de compresión complejos y se ha hecho posible la entrega de parámetros y tamaños de red pequeños con un mejor diseño de la arquitectura.

Bono: 11. ENet

Adam Paszke diseñó la arquitectura de red neuronal llamada ENet. Es una red muy ligera y eficiente. Utiliza muy pocos cálculos y parámetros en la arquitectura al combinar todas las características de las arquitecturas modernas. El análisis de escenas y el etiquetado de píxeles se han realizado al usarlo.

Conclusión

Estas son las arquitecturas de redes neuronales que se usan comúnmente. Esperamos que este artículo haya sido informativo para ayudarlo a aprender las redes neuronales.

Puede consultar nuestro programa Executive PG en aprendizaje automático e IA , que ofrece talleres prácticos, mentor individual de la industria, 12 estudios de casos y asignaciones, estado de exalumno de IIIT-B y más.