أهم 10 بنى للشبكات العصبية في 2022 يحتاج مهندسو ML إلى التعلم

اثنان من الخوارزميات الأكثر شيوعًا وقوة هما التعلم العميق والشبكات العصبية العميقة. تعمل خوارزميات التعلم العميق على تغيير العالم كما نعرفه. يتمثل النجاح الرئيسي لهذه الخوارزميات في تصميم بنية هذه الشبكات العصبية. دعونا الآن نناقش بعض هندسة الشبكات العصبية الشهيرة.

بنى الشبكات العصبية الشعبية

1. LeNet5

LeNet5 هي بنية شبكة عصبية تم إنشاؤها بواسطة Yann LeCun في عام 1994. ودفعت LeNet5 مجال التعلم العميق. يمكن القول أن LeNet5 كانت أول شبكة عصبية تلافيفية لها دور قيادي في بداية مجال التعلم العميق.

LeNet5 لديه بنية أساسية للغاية. عبر الصورة بأكملها سيتم توزيعها مع ميزات الصورة. يمكن استخراج ميزات مماثلة بطريقة فعالة للغاية باستخدام معلمات قابلة للتعلم مع التلافيف. عندما تم إنشاء LeNet5 ، كانت وحدات المعالجة المركزية بطيئة جدًا ، ولا يمكن استخدام أي GPU للمساعدة في التدريب.

الميزة الرئيسية لهذه البنية هي توفير الحساب والمعلمات. في شبكة عصبية واسعة متعددة الطبقات ، تم استخدام كل بكسل كمدخل منفصل ، وقارن LeNet5 ذلك. هناك ارتباطات مكانية عالية بين الصور واستخدام البكسل الفردي حيث أن ميزات الإدخال المختلفة ستكون عيبًا لهذه الارتباطات ولن يتم استخدامها في الطبقة الأولى. مقدمة في التعلم العميق والشبكات العصبية باستخدام Keras

ميزات LeNet5:

• يمكن تجنب تكلفة الحسابات الكبيرة عن طريق تجنيب مصفوفة الاتصال بين الطبقات.
• سيكون المصنف النهائي عبارة عن شبكة عصبية متعددة الطبقات
• في شكل sigmoids أو tanh ، سيكون هناك non-linearity
• يتم استخدام المتوسط ​​المكاني للخرائط في العينة الفرعية
• يتم استخراج الميزات المكانية باستخدام الالتواء
• اللاخطية ، والتجميع ، والتفاف هي طبقات التسلسل الثلاث المستخدمة في الشبكة العصبية التلافيفية

باختصار ، يمكن القول أن LeNet5 Neural Network Architecture ألهم العديد من الأشخاص والبنى في مجال التعلم العميق.

الفجوة في تقدم بنية الشبكة العصبية:

لم تتقدم الشبكة العصبية كثيرًا من عام 1998 إلى 2010. كان العديد من الباحثين يتحسنون ببطء ، ولم يلاحظ الكثير من الناس قوتهم المتزايدة. مع ظهور الكاميرات الرقمية والهواتف المحمولة الرخيصة ، ازداد توافر البيانات. أصبحت GPU الآن أداة حوسبة للأغراض العامة ، وأصبحت وحدات المعالجة المركزية أيضًا أسرع مع زيادة قوة الحوسبة. في تلك السنوات ، كان معدل تقدم الشبكة العصبية طويلاً ، لكن ببطء بدأ الناس يلاحظون القوة المتزايدة للشبكة العصبية.

2. دان سيريسان نت

تم نشر أول تطبيق لشبكات GPU العصبية بواسطة Jurgen Schmidhuber و Dan Claudiu Ciresan في عام 2010. كان هناك ما يصل إلى 9 طبقات من الشبكة العصبية. تم تنفيذه على معالج رسوميات NVIDIA GTX 280 ، وكان له كلا من الخلف والأمام.

تعلم دورات AI ML من أفضل الجامعات في العالم. احصل على درجة الماجستير أو برنامج PGP التنفيذي أو برامج الشهادات المتقدمة لتسريع مسار حياتك المهنية.

3. AlexNet

فازت بنية الشبكة العصبية هذه بالمنافسة الصعبة لشبكة ImageNet بهامش كبير. إنها نسخة أوسع وأكثر عمقًا من LeNet. أصدره Alex Krizhevsky في عام 2012.

يمكن تعلم التسلسلات الهرمية والكائنات المعقدة باستخدام هذه البنية. تم إنشاء الشبكة العصبية الأكثر شمولاً من خلال توسيع نطاق رؤى LeNet في AlexNet Architecture.

مساهمات العمل كالتالي:

• تم تقليل وقت التدريب باستخدام وحدات معالجة الرسومات NVIDIA GTX 580.
• يتم تجنب تأثيرات متوسط ​​التجميع ، ويتداخل الحد الأقصى للتجميع.
• يتم تجنب فرط النموذج عن طريق تجاهل الخلايا العصبية المفردة بشكل انتقائي باستخدام تقنية التسرب.
• تستخدم الوحدات الخطية المصححة كوحدات غير خطية

تم السماح باستخدام صور أكبر ومجموعات بيانات ضخمة لأن وقت التدريب كان أسرع بـ 10 مرات وتوفر وحدة معالجة الرسومات عددًا أكبر من النوى من وحدات المعالجة المركزية (CPU). أدى نجاح AlexNet إلى ثورة في علوم الشبكة العصبية. تم حل المهام المفيدة عن طريق الشبكات العصبية الكبيرة ، وهي الشبكات العصبية التلافيفية. لقد أصبح الآن العمود الفقري للتعلم العميق.

4. الإفراط في تناول الطعام

Overfeat هو مشتق جديد من AlexNet ظهر في ديسمبر 2013 وتم إنشاؤه بواسطة مختبر جامعة نيويورك من Yann LeCun. تم نشر العديد من الأوراق حول تعلم المربعات المحيطة بعد تعلم المربعات المحيطة المقترحة. ولكن يمكن أيضًا اكتشاف كائنات المقطع بدلاً من تعلم المربعات المحيطة الاصطناعية.

5. VGG

في المرة الأولى التي استخدمت فيها شبكات VGG من أكسفورد مرشحات أصغر 3 × 3 في كل طبقات تلافيفية. تم أيضًا استخدام مرشحات أصغر 3 × 3 معًا كسلسلة من التلافيف.

يتناقض VGG مع مبادئ LeNet كما في LeNet. تم التقاط ميزات مماثلة في صورة باستخدام تلافيف كبيرة. في VGG ، تم استخدام مرشحات أصغر في الطبقات الأولى من الشبكة ، والتي تم تجنبها في بنية LeNet. في VGG ، لم يتم استخدام مرشحات كبيرة من AlexNet مثل 9 × 9 أو 11 × 11. كانت المحاكاة من خلال البصيرة لتأثير الحقول الاستقبالية الأكبر مثل 7 × 7 و 5 × 5 ممكنة بسبب الالتواء المتعدد 3 × 3 بالتسلسل. كانت أيضًا أهم ميزة لـ VGG. تستخدم بنيات الشبكات الحديثة مثل ResNet و Inception فكرة التلافيف المتعددة 3 × 3 في السلسلة.

6. الشبكة في الشبكة

Network-in-network هي بنية شبكة عصبية توفر قوة اندماجية أعلى وتتمتع برؤية بسيطة ورائعة. يتم توفير قوة أعلى للجمع لميزات الطبقة التلافيفية باستخدام التلافيف 1 × 1.

7. GoogLeNet و Inception

GoogLeNet هي أول هندسة إنشائية تهدف إلى تقليل عبء حساب الشبكات العصبية العميقة. تم تصنيف إطارات الفيديو ومحتوى الصور باستخدام نماذج التعلم العميق. أصبحت عمليات النشر الكبيرة وكفاءة البنى في مجموعات الخوادم هي الاهتمام الرئيسي لعمالقة الإنترنت الكبار مثل Google. اتفق الكثير من الناس في عام 2014 على الشبكات العصبية ، والتعلم العميق ليس مكانًا للعودة إليه.

8. طبقة عنق الزجاجة

تم الحفاظ على وقت الاستدلال منخفضًا في كل طبقة عن طريق تقليل عدد العمليات والميزات بواسطة طبقة عنق الزجاجة في البداية. سيتم تقليل عدد الميزات إلى 4 مرات قبل أن يتم تمرير البيانات إلى وحدات الالتفاف باهظة الثمن. هذا هو نجاح بنية طبقة Bottleneck لأنها وفرت تكلفة الحساب بشكل كبير جدًا.

9. ResNet

إن فكرة ResNet واضحة ومباشرة ، وهي تجاوز المدخلات إلى الطبقات التالية وأيضًا لتغذية مخرجات طبقتين تلافيفيتين متتاليتين. تم تدريب أكثر من مائة ألف طبقة من طبقات الشبكة لأول مرة في شبكة ResNet.

10. SqueezeNet

تم إعادة تجزئة مفاهيم التأسيس و ResNet في SqueezeNet في الإصدار الأخير. تمت إزالة احتياجات خوارزميات الضغط المعقدة ، وأصبح تسليم المعلمات وأحجام الشبكات الصغيرة ممكنًا مع تصميم أفضل للهندسة المعمارية.

المكافأة: 11. ENet

صمم Adam Paszke بنية الشبكة العصبية المسماة ENet. إنها شبكة خفيفة الوزن وفعالة للغاية. يستخدم عددًا قليلاً جدًا من الحسابات والمعلمات في العمارة من خلال الجمع بين جميع ميزات البنى الحديثة. تم إجراء تحليل المشهد ووضع العلامات حسب البكسل باستخدامه.

خاتمة

فيما يلي بنيات الشبكة العصبية المستخدمة بشكل شائع. نأمل أن تكون هذه المقالة مفيدة في مساعدتك على تعلم الشبكات العصبية.

يمكنك التحقق من برنامج PG التنفيذي الخاص بنا في Machine Learning & AI ، والذي يوفر ورش عمل عملية ومرشد صناعي فردي و 12 دراسة حالة ومهمة وحالة خريجي IIIT-B والمزيد.