สถาปัตยกรรมโครงข่ายประสาทเทียม 10 อันดับแรกในปี 2022 ที่วิศวกร ML ต้องเรียนรู้

อัลกอริธึมที่ได้รับความนิยมและทรงพลังที่สุดสองประการคือ Deep Learning และ Deep Neural Networks อัลกอริธึมการเรียนรู้เชิงลึกกำลังเปลี่ยนแปลงโลกตามที่เรารู้จัก ความสำเร็จหลักของอัลกอริทึมเหล่านี้อยู่ที่การออกแบบสถาปัตยกรรมของโครงข่ายประสาทเทียมเหล่านี้ ให้เราพูดถึงสถาปัตยกรรมโครงข่ายประสาทเทียมที่มีชื่อเสียง

สถาปัตยกรรมโครงข่ายประสาทเทียมยอดนิยม

1. LeNet5

LeNet5 เป็นสถาปัตยกรรมโครงข่ายประสาทเทียมที่สร้างขึ้นโดย Yann LeCun ในปี 1994 LeNet5 ขับเคลื่อนฟิลด์การเรียนรู้เชิงลึก อาจกล่าวได้ว่า LeNet5 เป็นโครงข่ายประสาทเทียมเครือข่ายแรกที่มีบทบาทนำในตอนต้นของฟิลด์การเรียนรู้เชิงลึก

LeNet5 มีสถาปัตยกรรมพื้นฐานมาก ทั่วทั้งภาพจะถูกกระจายด้วยคุณสมบัติของภาพ คุณลักษณะที่คล้ายคลึงกันสามารถดึงออกมาได้อย่างมีประสิทธิภาพโดยใช้พารามิเตอร์ที่เรียนรู้ได้ด้วยการบิด เมื่อ LeNet5 ถูกสร้างขึ้น ซีพียูนั้นช้ามาก และไม่สามารถใช้ GPU เพื่อช่วยในการฝึกอบรมได้

ข้อได้เปรียบหลักของสถาปัตยกรรมนี้คือการบันทึกการคำนวณและพารามิเตอร์ ในโครงข่ายประสาทเทียมแบบหลายชั้นที่กว้างขวาง แต่ละพิกเซลถูกใช้เป็นอินพุตที่แยกจากกัน และ LeNet5 เปรียบเทียบสิ่งนี้ มีความสัมพันธ์เชิงพื้นที่สูงระหว่างรูปภาพและการใช้พิกเซลเดียว เนื่องจากคุณสมบัติอินพุตที่แตกต่างกันจะเป็นข้อเสียของความสัมพันธ์เหล่านี้และจะไม่ถูกนำมาใช้ในเลเยอร์แรก ความรู้เบื้องต้นเกี่ยวกับการเรียนรู้เชิงลึกและโครงข่ายประสาทเทียมกับ Keras

คุณสมบัติของ LeNet5:

• ค่าใช้จ่ายของการคำนวณขนาดใหญ่สามารถหลีกเลี่ยงได้โดยการแบ่งเมทริกซ์การเชื่อมต่อระหว่างเลเยอร์
• ตัวแยกประเภทสุดท้ายจะเป็นโครงข่ายประสาทหลายชั้น
• ในรูป sigmoid หรือ tanh จะมีความไม่เชิงเส้น
• ค่าเฉลี่ยเชิงพื้นที่ของแผนที่ถูกใช้ในตัวอย่างย่อย
• การแยกคุณสมบัติเชิงพื้นที่ทำได้โดยใช้การบิด
• Non-linearity, Pooling และ Convolution เป็นสามลำดับชั้นที่ใช้ในโครงข่ายประสาทเทียม

กล่าวสั้นๆ ได้ว่า LeNet5 Neural Network Architecture เป็นแรงบันดาลใจให้ผู้คนและสถาปัตยกรรมจำนวนมากในด้านการเรียนรู้เชิงลึก

ช่องว่างในความคืบหน้าของสถาปัตยกรรมโครงข่ายประสาทเทียม:

โครงข่ายประสาทเทียมไม่คืบหน้ามากนักตั้งแต่ปี 2541 ถึง 2553 นักวิจัยหลายคนค่อยๆ พัฒนาขึ้น และหลายคนไม่สังเกตเห็นพลังที่เพิ่มขึ้นของพวกเขา ด้วยการเพิ่มขึ้นของกล้องดิจิตอลและโทรศัพท์มือถือราคาถูก ความพร้อมใช้งานของข้อมูลจึงเพิ่มขึ้น ปัจจุบัน GPU กลายเป็นเครื่องมือคอมพิวเตอร์เอนกประสงค์ และซีพียูก็เร็วขึ้นด้วยพลังประมวลผลที่เพิ่มขึ้น ในช่วงหลายปีที่ผ่านมา อัตราความคืบหน้าของโครงข่ายประสาทเทียมยืดเยื้อ แต่ผู้คนเริ่มสังเกตเห็นพลังที่เพิ่มขึ้นของโครงข่ายประสาทอย่างช้าๆ

2. แดน ซิเรซาน เน็ต

การใช้งาน GPU Neural nets ครั้งแรกได้รับการเผยแพร่โดย Jurgen Schmidhuber และ Dan Claudu Ciresan ในปี 2010 มีเครือข่ายประสาทมากถึง 9 ชั้น มันถูกนำไปใช้กับโปรเซสเซอร์กราฟิก NVIDIA GTX 280 และมีทั้งแบบย้อนกลับและไปข้างหน้า

เรียนรู้ หลักสูตร AI ML จากมหาวิทยาลัยชั้นนำของโลก รับ Masters, Executive PGP หรือ Advanced Certificate Programs เพื่อติดตามอาชีพของคุณอย่างรวดเร็ว

3. AlexNet

สถาปัตยกรรมโครงข่ายประสาทเทียมนี้ชนะการแข่งขันที่ท้าทายของ ImageNet ด้วยอัตรากำไรขั้นต้น เป็นเวอร์ชันที่กว้างกว่าและเจาะลึกมากขึ้นของ LeNet Alex Krizhevsky เปิดตัวในปี 2012

สามารถเรียนรู้ลำดับชั้นและวัตถุที่ซับซ้อนได้โดยใช้สถาปัตยกรรมนี้ โครงข่ายประสาทเทียมที่กว้างขวางยิ่งขึ้นถูกสร้างขึ้นโดยการปรับขนาดข้อมูลเชิงลึกของ LeNet ใน AlexNet Architecture

เงินสมทบงานมีดังนี้

• เวลาฝึกอบรมลดลงโดยใช้ GPU NVIDIA GTX 580
• หลีกเลี่ยงการใช้เอฟเฟกต์เฉลี่ยของการรวมกันโดยเฉลี่ย และการรวมกันสูงสุดจะซ้อนทับกัน
• หลีกเลี่ยงการใช้แบบจำลองมากเกินไปโดยเลือกเพิกเฉยต่อเซลล์ประสาทเพียงตัวเดียวโดยใช้เทคนิคการออกกลางคัน
• หน่วยเชิงเส้นตรงที่ถูกแก้ไขถูกใช้เป็นความไม่เชิงเส้น

อิมเมจที่ใหญ่ขึ้นและชุดข้อมูลขนาดใหญ่ขึ้นได้รับอนุญาตให้ใช้ เนื่องจากเวลาในการฝึกเร็วขึ้น 10 เท่า และ GPU เสนอจำนวนคอร์มากกว่าซีพียู ความสำเร็จของ AlexNet นำไปสู่การปฏิวัติใน Neural Network Sciences งานที่เป็นประโยชน์ได้รับการแก้ไขโดยโครงข่ายประสาทเทียมขนาดใหญ่ ได้แก่ โครงข่ายประสาทเทียม ตอนนี้ได้กลายเป็นงานของการเรียนรู้เชิงลึก

4. เกินกำลัง

Overfeat เป็นอนุพันธ์ใหม่ของ AlexNet ที่เปิดตัวในเดือนธันวาคม 2013 และถูกสร้างขึ้นโดยห้องปฏิบัติการ NYU จาก Yann LeCun เอกสารจำนวนมากได้รับการตีพิมพ์เกี่ยวกับกรอบการเรียนรู้หลังจากเรียนรู้บทความที่เสนอกรอบขอบเขต แต่วัตถุเซ็กเมนต์ยังสามารถค้นพบได้แทนที่จะเรียนรู้กล่องล้อมรอบเทียม

5. VGG

ครั้งแรกที่เครือข่าย VGG จากอ็อกซ์ฟอร์ดใช้ตัวกรองขนาด 3×3 ที่เล็กกว่าในแต่ละเลเยอร์ที่เกิดการบิดเบี้ยว ตัวกรองขนาด 3×3 ที่เล็กกว่ายังใช้ร่วมกันเป็นลำดับของการบิด

VGG แตกต่างกับหลักการของ LeNet เช่นเดียวกับใน LeNet คุณลักษณะที่คล้ายคลึงกันในรูปภาพถูกจับโดยใช้การบิดเบี้ยวขนาดใหญ่ ใน VGG มีการใช้ตัวกรองขนาดเล็กกว่าในเลเยอร์แรกของเครือข่าย ซึ่งหลีกเลี่ยงได้ในสถาปัตยกรรม LeNet ใน VGG ไม่ได้ใช้ตัวกรองขนาดใหญ่ของ AlexNet เช่น 9 x 9 หรือ 11 x 11 การจำลองโดยข้อมูลเชิงลึกของผลกระทบของฟิลด์ที่เปิดกว้างมากขึ้น เช่น 7 x 7 และ 5 x 5 เป็นไปได้เนื่องจากการบิด 3 x 3 หลายครั้งตามลำดับ ยังเป็นข้อได้เปรียบที่สำคัญที่สุดของ VGG สถาปัตยกรรมเครือข่ายล่าสุด เช่น ResNet และ Inception กำลังใช้แนวคิดนี้ในการบิด 3×3 หลายชุดในซีรีส์

6. เครือข่ายในเครือข่าย

Network-in-network เป็นสถาปัตยกรรมโครงข่ายประสาทเทียมที่ให้พลังการรวมกันที่สูงขึ้นและมีความเข้าใจที่ง่ายและยอดเยี่ยม การรวมกันที่มีความแข็งแรงสูงขึ้นนั้นมอบให้กับคุณสมบัติของชั้นการม้วนงอโดยใช้การบิดแบบ 1×1

7. GoogLeNet และ Inception

GoogLeNet เป็นสถาปัตยกรรมการเริ่มต้นครั้งแรกซึ่งมีจุดมุ่งหมายเพื่อลดภาระในการคำนวณเครือข่ายประสาทเทียมระดับลึก การจัดหมวดหมู่เฟรมวิดีโอและเนื้อหารูปภาพทำได้โดยใช้โมเดลการเรียนรู้เชิงลึก การปรับใช้ขนาดใหญ่และประสิทธิภาพของสถาปัตยกรรมบนเซิร์ฟเวอร์ฟาร์มกลายเป็นความสนใจหลักของยักษ์ใหญ่ด้านอินเทอร์เน็ตรายใหญ่ เช่น Google หลายคนเห็นด้วยในปี 2014 โครงข่ายประสาทเทียม และการเรียนรู้เชิงลึกไม่มีที่ไหนที่จะย้อนกลับไปได้

8. คอขวด Layer

เวลาการอนุมานนั้นต่ำในแต่ละเลเยอร์โดยการลดจำนวนการดำเนินการและคุณสมบัติโดยเลเยอร์คอขวดของ Inception จำนวนคุณสมบัติจะลดลงเหลือ 4 เท่า ก่อนที่ข้อมูลจะถูกส่งไปยังโมดูล Convolution ที่มีราคาแพง นี่คือความสำเร็จของสถาปัตยกรรมเลเยอร์คอขวดเนื่องจากช่วยประหยัดค่าใช้จ่ายในการคำนวณได้มาก

9. ResNet

แนวคิดของ ResNet นั้นตรงไปตรงมา และนั่นคือการเลี่ยงผ่านอินพุตไปยังเลเยอร์ถัดไป และเพื่อป้อนเอาต์พุตของเลเยอร์ที่ซ้อนกันสองชั้นที่ต่อเนื่องกัน เครือข่ายมากกว่าหนึ่งแสนชั้นได้รับการฝึกอบรมใน ResNet เป็นครั้งแรก

10. บีบเน็ต

แนวคิดของ Inception และ ResNet ได้รับการแฮชอีกครั้งใน SqueezeNet ในรีลีสล่าสุด ความต้องการของอัลกอริธึมการบีบอัดที่ซับซ้อนได้ถูกลบออกไปแล้ว และการส่งพารามิเตอร์และขนาดเครือข่ายขนาดเล็กก็เป็นไปได้ด้วยการออกแบบสถาปัตยกรรมที่ดีขึ้น

โบนัส: 11. ENet

Adam Paszke ออกแบบสถาปัตยกรรมโครงข่ายประสาทเทียมที่เรียกว่า ENet เป็นเครือข่ายที่มีน้ำหนักเบาและมีประสิทธิภาพ ใช้การคำนวณและพารามิเตอร์น้อยมากในสถาปัตยกรรมโดยรวมคุณลักษณะของสถาปัตยกรรมสมัยใหม่ทั้งหมด การแยกวิเคราะห์ฉากและการติดฉลากตามพิกเซลทำได้โดยใช้มัน

บทสรุป

นี่คือสถาปัตยกรรมโครงข่ายประสาทเทียมที่ใช้กันทั่วไป เราหวังว่าบทความนี้จะให้ข้อมูลในการช่วยให้คุณเรียนรู้โครงข่ายประสาทเทียม

คุณสามารถตรวจสอบ Executive PG Program ของเราใน Machine Learning & AI ซึ่ง จัดให้มีการประชุมเชิงปฏิบัติการเชิงปฏิบัติ ที่ปรึกษาในอุตสาหกรรมแบบตัวต่อตัว กรณีศึกษาและการมอบหมาย 12 กรณี สถานะศิษย์เก่า IIIT-B และอื่นๆ