10 лучших архитектур нейронных сетей в 2022 году, которым должны научиться инженеры машинного обучения

Двумя наиболее популярными и мощными алгоритмами являются Deep Learning и Deep Neural Networks. Алгоритмы глубокого обучения меняют мир, каким мы его знаем. Главный успех этих алгоритмов заключается в разработке архитектуры этих нейронных сетей. Давайте теперь обсудим некоторые известные архитектуры нейронной сети.

Популярные архитектуры нейронных сетей

1. Ленет5

LeNet5 — это архитектура нейронной сети, созданная Яном Лекуном в 1994 году. LeNet5 продвинула вперед область глубокого обучения. Можно сказать, что LeNet5 была самой первой сверточной нейронной сетью, сыгравшей ведущую роль в начале области глубокого обучения.

LeNet5 имеет очень фундаментальную архитектуру. По всему изображению будут распределены функции изображения. Подобные функции можно очень эффективно извлечь, используя обучаемые параметры со свертки. Когда LeNet5 был создан, процессоры были очень медленными, и для обучения нельзя было использовать графический процессор.

Основным преимуществом этой архитектуры является экономия вычислений и параметров. В обширной многослойной нейронной сети каждый пиксель использовался как отдельный вход, и LeNet5 контрастировал с этим. Между изображениями существует высокая пространственная корреляция, и использование одного пикселя в качестве различных входных признаков было бы недостатком этих корреляций и не использовалось бы в первом слое. Введение в глубокое обучение и нейронные сети с помощью Keras

Особенности LeNet5:

• Затрат на большие вычисления можно избежать, разрежив матрицу соединения между слоями.
• Окончательным классификатором будет многослойная нейронная сеть.
• В виде сигмоид или танх будет нелинейность
• В подвыборке используются пространственные средние значения карт.
• Извлечение пространственных признаков осуществляется с помощью свертки.
• Нелинейность, объединение и свертка — это три слоя последовательности, используемые в сверточной нейронной сети.

В нескольких словах можно сказать, что архитектура нейронной сети LeNet5 вдохновила многих людей и архитектур в области глубокого обучения.

Пробел в развитии архитектуры нейронной сети:

Нейронная сеть не сильно продвинулась с 1998 по 2010 год. Многие исследователи медленно совершенствовались, и многие люди не замечали их растущей мощности. С появлением дешевых цифровых камер и камер для мобильных телефонов увеличилась доступность данных. Графический процессор теперь стал универсальным вычислительным инструментом, а процессоры также стали быстрее с увеличением вычислительной мощности. В те годы скорость развития нейронной сети была продолжительной, но постепенно люди начали замечать растущую мощность нейронной сети.

2. Дэн Чиресан Нетто

Самая первая реализация нейронных сетей на GPU была опубликована Юргеном Шмидхубером и Дэном Клаудиу Чиресаном в 2010 году. В нейронной сети было до 9 слоев. Она была реализована на графическом процессоре NVIDIA GTX 280, и у нее была как обратная, так и прямая.

Изучите курсы AI ML в лучших университетах мира. Заработайте программы Masters, Executive PGP или Advanced Certificate Programs, чтобы ускорить свою карьеру.

3. АлексНет

Эта архитектура нейронной сети со значительным отрывом выиграла сложную конкуренцию ImageNet. Это гораздо более широкая и глубокая версия LeNet. Алекс Крижевский выпустил его в 2012 году.

С помощью этой архитектуры можно изучать сложные иерархии и объекты. Гораздо более обширная нейронная сеть была создана путем масштабирования идей LeNet в архитектуре AlexNet.

Рабочие взносы следующие:

• Время обучения было сокращено за счет использования графических процессоров NVIDIA GTX 580.
• Эффекты усреднения среднего объединения избегаются, а максимальное объединение перекрывается.
• Переобучения модели можно избежать, выборочно игнорируя отдельные нейроны с помощью техники отсева.
• Выпрямленные линейные единицы используются как нелинейности

Было разрешено использовать более крупные изображения и более массивные наборы данных, потому что время обучения было в 10 раз быстрее, а графический процессор предлагал более значительное количество ядер, чем центральные процессоры. Успех AlexNet привел к революции в науках о нейронных сетях. Полезные задачи решали большие нейронные сети, а именно сверточные нейронные сети. Теперь он стал рабочей лошадкой глубокого обучения.

4. Переигрывание

Overfeat — это новая производная от AlexNet, появившаяся в декабре 2013 года и созданная в лаборатории Нью-Йоркского университета Яном Лекуном. Было опубликовано много статей об изучении ограничивающих рамок после изучения статьи, предложенной ограничивающими рамками. Но объекты Segment также можно обнаружить, а не изучать искусственные ограничивающие рамки.

5. ВГГ

Впервые сети VGG из Оксфорда использовали меньшие фильтры 3×3 в каждом сверточном слое. Меньшие фильтры 3×3 также использовались в комбинации в виде последовательности сверток.

VGG противопоставляет принципы LeNet принципам LeNet. Подобные особенности на изображении были захвачены с помощью больших сверток. В VGG на первых уровнях сети использовались фильтры меньшего размера, чего не было в архитектуре LeNet. В VGG не использовались большие фильтры AlexNet вроде 9 х 9 или 11 х 11. Эмуляция путем понимания эффекта больших рецептивных полей, таких как 7 x 7 и 5 x 5, стала возможной из-за многократной свертки 3 x 3 в последовательности. Это также было самым значительным преимуществом VGG. Последние сетевые архитектуры, такие как ResNet и Inception, используют эту идею нескольких последовательных сверток 3 × 3.

6. Сеть в сети

Сеть в сети — это архитектура нейронной сети, которая обеспечивает более высокую комбинационную мощность и имеет простое и глубокое понимание. Более высокая прочность комбинации обеспечивается за счет использования сверточных слоев 1×1.

7. GoogLeNet и начало

GoogLeNet — это первая начальная архитектура, целью которой является снижение нагрузки на вычисления глубоких нейронных сетей. Категоризация содержимого видеокадров и изображений была выполнена с использованием моделей глубокого обучения. Крупные развертывания и эффективность архитектур на фермах серверов стали основным интересом крупных интернет-гигантов, таких как Google. В 2014 году многие люди согласились с нейронными сетями, что глубокое обучение никуда не денется.

8. Слой узкого места

Время вывода оставалось низким на каждом уровне за счет сокращения количества операций и функций узким местом начального уровня. Количество признаков будет уменьшено в 4 раза, прежде чем данные будут переданы в дорогостоящие модули свертки. Это успех архитектуры уровня узких мест, потому что она значительно снизила стоимость вычислений.

9. Ренет

Идея ResNet проста и состоит в том, чтобы обойти входные данные для следующих слоев, а также передать выходные данные двух последовательных сверточных слоев. В ResNet впервые было обучено более ста тысяч слоев сети.

10. Сожмите сеть

Концепции Inception и ResNet были переработаны в SqueezeNet в последнем выпуске. Потребность в сложных алгоритмах сжатия была устранена, а доставка параметров и небольшие размеры сети стали возможными благодаря лучшему дизайну архитектуры.

Бонус: 11. Инет

Адам Пашке разработал архитектуру нейронной сети под названием ENet. Это очень легкая и эффективная сеть. Он использует очень мало вычислений и параметров в архитектуре, сочетая в себе все возможности современных архитектур. С его помощью был выполнен анализ сцены и попиксельная маркировка.

Заключение

Вот наиболее часто используемые архитектуры нейронных сетей. Мы надеемся, что эта статья была информативной и помогла вам изучить нейронные сети.

Вы можете проверить нашу программу Executive PG в области машинного обучения и искусственного интеллекта , которая включает практические семинары, индивидуального отраслевого наставника, 12 тематических исследований и заданий, статус выпускника IIIT-B и многое другое.