2022년 ML 엔지니어가 배워야 할 상위 10개의 신경망 아키텍처

가장 인기 있고 강력한 두 가지 알고리즘은 딥 러닝과 심층 신경망입니다. 딥 러닝 알고리즘은 우리가 알고 있는 세상을 변화시키고 있습니다. 이러한 알고리즘의 주요 성공은 이러한 신경망 아키텍처의 설계에 있습니다. 이제 유명한 신경망 아키텍처에 대해 논의해 보겠습니다.

인기 있는 신경망 아키텍처

1. 르넷5

LeNet5는 1994년 Yann LeCun이 만든 신경망 아키텍처입니다. LeNet5는 딥 러닝 분야를 추진했습니다. LeNet5는 딥러닝 분야 초창기에 주도적인 역할을 한 최초의 컨볼루션 신경망이라고 할 수 있습니다.

LeNet5는 매우 기본적인 아키텍처를 가지고 있습니다. 전체 이미지에 걸쳐 이미지 기능이 배포됩니다. convolution과 함께 학습 가능한 매개변수를 사용하여 유사한 기능을 매우 효과적인 방식으로 추출할 수 있습니다. LeNet5가 생성되었을 때 CPU는 매우 느렸고 훈련을 돕기 위해 GPU를 사용할 수 없었습니다.

이 아키텍처의 주요 이점은 계산 및 매개변수를 절약할 수 있다는 것입니다. 광범위한 다층 신경망에서 각 픽셀은 별도의 입력으로 사용되었으며 LeNet5는 이를 대조했습니다. 이미지 간에 공간적으로 높은 상관 관계가 있으며 단일 픽셀을 다른 입력 기능으로 사용하는 것은 이러한 상관 관계의 단점이 되며 첫 번째 레이어에서 사용되지 않습니다. Keras를 사용한 딥 러닝 및 신경망 소개

LeNet5의 기능:

• 대규모 계산 비용은 레이어 간의 연결 행렬을 줄여서 피할 수 있습니다.
• 최종 분류기는 다층 신경망이 될 것입니다.
• sigmoids 또는 tanh의 형태로 비선형성이 있습니다.
• 지도의 공간 평균은 하위 샘플에서 사용됩니다.
• 공간적 특징 추출은 컨볼루션을 사용하여 수행됩니다.
• 비선형성, 풀링 및 컨볼루션은 컨볼루션 신경망에서 사용되는 세 가지 시퀀스 레이어입니다.

한마디로 LeNet5 Neural Network Architecture는 Deep Learning 분야의 많은 사람들과 아키텍처에 영감을 주었다고 할 수 있습니다.

신경망 아키텍처의 발전 격차:

1998년부터 2010년까지 신경망은 별로 발전하지 않았습니다. 많은 연구자들이 천천히 개선되고 있었고 많은 사람들이 그들의 증가하는 힘을 알아차리지 못했습니다. 값싼 디지털 카메라와 휴대폰 카메라의 등장으로 데이터 가용성이 높아졌습니다. 이제 GPU는 범용 컴퓨팅 도구가 되었고, CPU도 컴퓨팅 파워의 증가와 함께 더 빨라졌습니다. 그 동안 신경망의 발전 속도는 연장되었지만 점차 사람들은 신경망의 위력이 증가하는 것을 알아차리기 시작했습니다.

2. 댄 치레산 넷

GPU 신경망의 첫 번째 구현은 2010년 Jurgen Schmidhuber와 Dan Claudiu Ciresan에 의해 발표되었습니다. 신경망에는 최대 9개의 레이어가 있었습니다. NVIDIA GTX 280 그래픽 프로세서에서 구현되었으며, 앞뒤가 모두 있었습니다.

세계 최고의 대학에서 AI ML 과정 을 배우십시오 . 석사, 이그 제 큐 티브 PGP 또는 고급 인증 프로그램을 획득하여 경력을 빠르게 추적하십시오.

3. 알렉스넷

이 신경망 아키텍처는 ImageNet의 도전적인 경쟁에서 상당한 차이로 승리했습니다. 이것은 LeNet의 훨씬 더 광범위하고 심층적인 버전입니다. Alex Krizhevsky가 2012년에 출시했습니다.

이 아키텍처를 사용하여 복잡한 계층 및 개체를 학습할 수 있습니다. AlexNet 아키텍처에서 LeNet의 통찰력을 확장하여 훨씬 더 광범위한 신경망이 생성되었습니다.

작업 기여는 다음과 같습니다.

• GPU NVIDIA GTX 580을 사용하여 훈련 시간을 단축했습니다.
• 평균 풀링의 평균화 효과를 피하고 최대 풀링이 겹칩니다.
• 드롭아웃 기법을 사용하여 단일 뉴런을 선택적으로 무시함으로써 모델의 과적합을 방지합니다.
• 정류된 선형 단위는 비선형성으로 사용됩니다.

훈련 시간이 10배 더 빨랐고 GPU가 CPU보다 더 많은 코어를 제공했기 때문에 더 큰 이미지와 더 많은 데이터 세트를 사용할 수 있었습니다. AlexNet의 성공은 신경망 과학에 혁명을 가져왔습니다. 유용한 작업은 대규모 신경망, 즉 컨볼루션 신경망으로 해결되었습니다. 이제 딥 러닝의 핵심 요소가 되었습니다.

4. 오버핏

Overfeat는 2013년 12월에 나온 AlexNet의 새로운 파생 제품으로 Yann LeCun의 NYU 연구소에서 만들었습니다. 바운딩 박스 제안 논문을 학습한 후 바운딩 박스 학습에 대한 많은 논문이 발표되었습니다. 그러나 인공 경계 상자를 학습하는 대신 Segment 객체를 발견할 수도 있습니다.

5. VGG

Oxford의 VGG 네트워크는 처음으로 각 컨볼루션 레이어에서 더 작은 3x3 필터를 사용했습니다. 더 작은 3x3 필터도 일련의 회선으로 조합하여 사용되었습니다.

VGG는 LeNet에서와 같이 LeNet의 원칙을 대조합니다. 이미지의 유사한 기능은 큰 회선을 사용하여 캡처되었습니다. VGG에서는 네트워크의 첫 번째 계층에 더 작은 필터가 사용되었으며 이는 LeNet 아키텍처에서 피했습니다. VGG에서는 9 x 9 또는 11 x 11과 같은 AlexNet의 대형 필터를 사용하지 않았습니다. 7 x 7 및 5 x 5와 같은 더 큰 수용 필드의 효과에 대한 통찰력에 의한 에뮬레이션은 연속적으로 여러 3 x 3 컨볼루션 때문에 가능했습니다. VGG의 가장 큰 장점이기도 했습니다. ResNet 및 Inception과 같은 최근 네트워크 아키텍처는 직렬로 여러 3x3 컨볼루션이라는 아이디어를 사용하고 있습니다.

6. 네트워크 내 네트워크

Network-in-network는 더 높은 결합력을 제공하고 간단하고 뛰어난 통찰력을 제공하는 신경망 아키텍처입니다. 1x1 컨볼루션을 사용하여 컨볼루션 레이어의 특징에 더 높은 조합 강도를 제공합니다.

7. GoogLeNet과 시작

GoogLeNet은 심층 신경망의 계산 부담을 줄이는 것을 목표로 하는 최초의 시작 아키텍처입니다. 비디오 프레임 및 이미지 콘텐츠의 분류는 딥 러닝 모델을 사용하여 수행되었습니다. 서버 팜에서 아키텍처의 대규모 배포와 효율성은 Google과 같은 거대 인터넷 기업의 주요 관심사가 되었습니다. 많은 사람들이 2014년 신경망에 동의했으며 딥 러닝은 돌아갈 곳이 없습니다.

8. 병목 계층

Inception의 병목 계층에 의해 연산 및 기능의 수를 줄여 각 계층에서 추론 시간을 낮게 유지했습니다. 데이터가 값비싼 컨볼루션 모듈에 전달되기 전에 기능의 수는 4배로 줄어듭니다. 이것은 매우 큰 계산 비용을 절약했기 때문에 병목 계층 아키텍처의 성공입니다.

9. 레스넷

ResNet의 아이디어는 간단하며, 입력을 다음 레이어로 우회하고 두 개의 연속적인 컨볼루션 레이어의 출력을 공급하는 것입니다. 네트워크의 십만 개 이상의 레이어가 ResNet에서 처음으로 훈련되었습니다.

10. 스퀴즈넷

Inception 및 ResNet의 개념은 최근 릴리스의 SqueezeNet에서 다시 해시되었습니다. 복잡한 압축 알고리즘의 필요성이 제거되었으며 더 나은 아키텍처 설계로 매개변수 전달 및 작은 네트워크 크기가 가능해졌습니다.

보너스: 11. ENet

Adam Paszke는 ENet이라는 신경망 아키텍처를 설계했습니다. 매우 가볍고 효율적인 네트워크입니다. 모든 현대 아키텍처의 기능을 결합하여 아키텍처에서 매우 적은 수의 계산과 매개변수를 사용합니다. 이를 사용하여 장면 파싱 및 픽셀 단위 레이블링이 수행되었습니다.

결론

다음은 일반적으로 사용되는 신경망 아키텍처입니다. 이 기사가 신경망 학습에 도움이 되었기를 바랍니다.

실제 실습 워크샵, 일대일 업계 멘토, 12가지 사례 연구 및 과제, IIIT-B 동문 자격 등 을 제공하는 Machine Learning & AI의 Executive PG 프로그램을 확인할 수 있습니다.