As 10 principais arquiteturas de rede neural em 2022 que os engenheiros de ML precisam aprender

Dois dos algoritmos mais populares e poderosos são Deep Learning e Deep Neural Networks. Algoritmos de aprendizado profundo estão transformando o mundo como o conhecemos. O principal sucesso desses algoritmos está no projeto da arquitetura dessas redes neurais. Vamos agora discutir algumas das famosas arquiteturas de redes neurais.

Arquiteturas populares de rede neural

1. LeNet5

LeNet5 é uma arquitetura de rede neural que foi criada por Yann LeCun no ano de 1994. LeNet5 impulsionou o campo de Deep Learning. Pode-se dizer que LeNet5 foi a primeira rede neural convolucional que tem o papel principal no início do campo de Deep Learning.

LeNet5 tem uma arquitetura muito fundamental. Em toda a imagem será distribuído com recursos de imagem. Recursos semelhantes podem ser extraídos de maneira muito eficaz usando parâmetros que podem ser aprendidos com convoluções. Quando o LeNet5 foi criado, as CPUs eram muito lentas, e nenhuma GPU pode ser usada para auxiliar no treinamento.

A principal vantagem desta arquitetura é a economia de computação e parâmetros. Em uma extensa rede neural multicamada, cada pixel foi usado como uma entrada separada, e LeNet5 contrastou isso. Existem altas correlações espaciais entre as imagens e usar o single-pixel como recursos de entrada diferentes seria uma desvantagem dessas correlações e não seria usado na primeira camada. Introdução ao aprendizado profundo e redes neurais com Keras

Recursos do LeNet5:

• O custo de Grandes Computações pode ser evitado pela dispersão da matriz de conexão entre as camadas.
• O classificador final será uma rede neural multicamada
• Na forma de sigmóides ou tanh, haverá não linearidade
• A média espacial dos mapas é usada na subamostra
• A extração de recursos espaciais é feita usando convolução
• Não-linearidade, Pooling e Convolution são as três camadas de sequência usadas na rede neural convolucional

Em poucas palavras, pode-se dizer que a Arquitetura de Rede Neural LeNet5 inspirou muitas pessoas e arquiteturas no campo do Deep Learning.

A lacuna no progresso da arquitetura de rede neural:

A rede neural não progrediu muito do ano de 1998 a 2010. Muitos pesquisadores foram melhorando lentamente, e muitas pessoas não notaram seu poder crescente. Com o surgimento de câmeras digitais e de telefones celulares baratas, a disponibilidade de dados aumentou. A GPU agora se tornou uma ferramenta de computação de uso geral, e as CPUs também se tornaram mais rápidas com o aumento do poder de computação. Naqueles anos, a taxa de progresso da rede neural foi prolongada, mas lentamente as pessoas começaram a perceber o crescente poder da rede neural.

2. Rede Dan Ciresan

A primeira implementação de redes neurais de GPU foi publicada por Jurgen Schmidhuber e Dan Claudiu Ciresan em 2010. Havia até 9 camadas da rede neural. Ele foi implementado em um processador gráfico NVIDIA GTX 280 e teve tanto para trás quanto para frente.

Aprenda cursos de AI ML das melhores universidades do mundo. Ganhe Masters, Executive PGP ou Advanced Certificate Programs para acelerar sua carreira.

3. AlexNet

Essa arquitetura de rede neural venceu a concorrência desafiadora da ImageNet por uma margem considerável. É uma versão muito mais ampla e aprofundada do LeNet. Alex Krizhevsky lançou em 2012.

Hierarquias e objetos complexos podem ser aprendidos usando essa arquitetura. A rede neural muito mais extensa foi criada escalando os insights do LeNet na arquitetura AlexNet.

As contribuições do trabalho são as seguintes:

• O tempo de treinamento foi reduzido usando GPUs NVIDIA GTX 580.
• Os efeitos de média do pooling médio são evitados e o pooling máximo é sobreposto.
• O overfitting do modelo é evitado ignorando seletivamente os neurônios individuais usando a técnica de dropout.
• Unidades lineares retificadas são usadas como não linearidades

Imagens maiores e conjuntos de dados mais massivos foram permitidos porque o tempo de treinamento era 10x mais rápido e a GPU oferecia um número mais considerável de núcleos do que as CPUs. O sucesso do AlexNet levou a uma revolução nas Ciências das Redes Neurais. Tarefas úteis foram resolvidas por grandes redes neurais, ou seja, redes neurais convolucionais. Agora, tornou-se o carro-chefe do Deep Learning.

4. Superação

Overfeat é um novo derivado do AlexNet que surgiu em dezembro de 2013 e foi criado pelo laboratório da NYU de Yann LeCun. Muitos artigos foram publicados sobre o aprendizado de caixas delimitadoras após conhecer o artigo proposto sobre caixas delimitadoras. Mas os objetos Segment também podem ser descobertos em vez de aprender caixas delimitadoras artificiais.

5. VGG

A primeira vez que as redes VGG de Oxford usaram filtros 3 × 3 menores em cada camada convolucional. Filtros 3×3 menores também foram usados ​​em combinação como uma sequência de circunvoluções.

VGG contrasta os princípios de LeNet como em LeNet. Características semelhantes em uma imagem foram capturadas usando grandes convoluções. No VGG, filtros menores foram usados ​​nas primeiras camadas da rede, o que foi evitado na arquitetura LeNet. No VGG, filtros grandes do AlexNet como 9 x 9 ou 11 x 11 não foram usados. A emulação pela percepção do efeito de campos receptivos maiores, como 7 x 7 e 5 x 5, foi possível devido à convolução múltipla de 3 x 3 em sequência. Foi também a vantagem mais significativa do VGG. Arquiteturas de rede recentes, como ResNet e Inception, estão usando essa ideia de várias convoluções 3 × 3 em série.

6. Rede em rede

Network-in-network é uma arquitetura de rede neural que fornece maior poder de combinação e possui uma visão simples e excelente. Uma maior força da combinação é fornecida aos recursos de uma camada convolucional usando convoluções 1 × 1.

7. GoogLeNet e Inception

GoogLeNet é a primeira arquitetura inicial que visa diminuir a carga de computação de redes neurais profundas. A categorização do conteúdo de frames e imagens de vídeo foi feita por meio de modelos de deep learning. Grandes implantações e eficiência de arquiteturas nos farms de servidores tornaram-se o principal interesse de grandes gigantes da internet como o Google. Muitas pessoas concordaram em 2014 com as redes neurais, e o aprendizado profundo não tem para onde voltar.

8. Camada de Gargalo

O tempo de inferência foi mantido baixo em cada camada pela redução do número de operações e recursos pela camada de gargalo de Inception. O número de recursos será reduzido para 4 vezes antes que os dados sejam passados ​​para os caros módulos de convolução. Este é o sucesso da arquitetura de camada Bottleneck porque economizou muito o custo de computação.

9. ResNet

A ideia do ResNet é direta, que é contornar a entrada para as próximas camadas e também alimentar a saída de duas camadas convolucionais sucessivas. Mais de cem e mil camadas da rede foram treinadas pela primeira vez no ResNet.

10. SqueezeNet

Os conceitos de Inception e ResNet foram refeitos no SqueezeNet na versão recente. As necessidades de algoritmos de compressão complexos foram removidas, e a entrega de parâmetros e tamanhos de rede pequenos tornaram-se possíveis com melhor design de arquitetura.

Bônus: 11. ENet

Adam Paszke projetou a arquitetura de rede neural chamada ENet. É uma rede muito leve e eficiente. Ele usa muito poucos cálculos e parâmetros na arquitetura, combinando todos os recursos das arquiteturas modernas. A análise de cena e a rotulagem de pixel foram executadas usando-o.

Conclusão

Aqui estão as arquiteturas de rede neural que são comumente usadas. Esperamos que este artigo tenha sido informativo para ajudá-lo a aprender redes neurais.

Você pode conferir nosso Programa PG Executivo em Aprendizado de Máquina e IA , que oferece workshops práticos práticos, mentor individual do setor, 12 estudos de caso e atribuições, status de ex-alunos do IIIT-B e muito mais.