أهم 10 أوامر Hadoop [مع الاستخدامات]
نشرت: 2021-01-29في هذا العصر ، مع وجود كميات هائلة من البيانات ، أصبح من الضروري التعامل معها. تعد البيانات التي تنشأ من المؤسسات التي لديها عملاء متنامون أكبر بكثير من أي أداة تقليدية لإدارة البيانات يمكن تخزينها. إنه يترك لنا مسألة إدارة مجموعات أكبر من البيانات ، والتي يمكن أن تتراوح من الجيجابايت إلى البيتابايت ، دون استخدام جهاز كمبيوتر واحد كبير أو أداة تقليدية لإدارة البيانات.
هذا هو المكان الذي يسلط الضوء على إطار عمل Apache Hadoop. قبل الغوص في تنفيذ أوامر Hadoop ، دعونا نفهم بإيجاز إطار عمل Hadoop وأهميته.
جدول المحتويات
ما هو Hadoop؟
يستخدم Hadoop بشكل شائع من قبل مؤسسات الأعمال الكبرى لحل العديد من المشكلات ، من تخزين غيغابايت كبيرة (جيجا بايت) من البيانات كل يوم إلى عمليات الحوسبة على البيانات.
يُعرّف Hadoop تقليديًا على أنه إطار عمل برمجي مفتوح المصدر يستخدم لتخزين البيانات وتطبيقات المعالجة ، ويبرز بشكل كبير من غالبية أدوات إدارة البيانات التقليدية. إنه يحسن قوة الحوسبة ويوسع حد تخزين البيانات عن طريق إضافة عدد قليل من العقد في إطار العمل ، مما يجعله قابلاً للتطوير بدرجة كبيرة. إلى جانب ذلك ، تتم حماية عمليات البيانات والتطبيقات الخاصة بك من أعطال الأجهزة المختلفة.
يتبع Hadoop بنية السيد والعبد لتوزيع البيانات وتخزينها باستخدام MapReduce و HDFS. كما هو موضح في الشكل أدناه ، تم تصميم البنية بطريقة محددة لأداء عمليات إدارة البيانات باستخدام أربع عقد أساسية ، وهي الاسم والبيانات والماستر والتابعة. تم تصميم المكونات الأساسية لبرنامج Hadoop مباشرة فوق الإطار. المكونات الأخرى تتكامل مباشرة مع القطاعات.
مصدر
أوامر Hadoop
تُظهر الميزات الرئيسية لإطار Hadoop طبيعة متماسكة ، ويصبح أكثر سهولة في الاستخدام عندما يتعلق الأمر بإدارة البيانات الضخمة باستخدام أوامر Hadoop التعليمية. فيما يلي بعض أوامر Hadoop الملائمة التي تسمح بإجراء عمليات متنوعة ، مثل الإدارة ومعالجة ملفات مجموعات HDFS. غالبًا ما تكون قائمة الأوامر هذه مطلوبة لتحقيق نتائج عملية معينة.
1. Hadoop تاتش
hadoop fs -touchz / directory / filename
يسمح هذا الأمر للمستخدم بإنشاء ملف جديد في كتلة HDFS. يشير "الدليل" في الأمر إلى اسم الدليل حيث يرغب المستخدم في إنشاء الملف الجديد ، ويشير "اسم الملف" إلى اسم الملف الجديد الذي سيتم إنشاؤه عند الانتهاء من الأمر.
2. أمر اختبار Hadoop
hadoop fs -test - [defsz] <path>
هذا الأمر المحدد يحقق الغرض من اختبار وجود ملف في مجموعة HDFS. يجب تعديل الأحرف من "[defsz]" في الأمر حسب الحاجة. فيما يلي وصف موجز لهذه الشخصيات:
- د -> يتحقق مما إذا كان دليلًا أم لا
- هـ -> يتحقق مما إذا كان مسارًا أم لا
- f -> للتحقق مما إذا كان ملفًا أم لا
- s -> للتحقق مما إذا كان مسارًا فارغًا أم لا
- ص -> يتحقق من وجود المسار وقراءة إذن
- w -> للتحقق من وجود المسار وإذن الكتابة
- z -> يتحقق من حجم الملف
3. Hadoop أمر نصي
hadoop fs -text <src>
يكون الأمر النصي مفيدًا بشكل خاص لعرض ملف zip المخصص بتنسيق نصي. وهي تعمل من خلال معالجة ملفات المصدر وتوفير محتواها في تنسيق نص عادي مفكك.
4. Hadoop البحث عن الأمر
hadoop fs - ابحث عن <path>… <expression>
يستخدم هذا الأمر بشكل عام لغرض البحث عن الملفات في مجموعة HDFS. يقوم بمسح التعبير المحدد في الأمر مع جميع الملفات الموجودة في المجموعة ، ويعرض الملفات التي تطابق التعبير المحدد.
قراءة: أفضل أدوات Hadoop
5. Hadoop Getmerge Command
hadoop fs -getmerge <src> <localdest>
يسمح الأمر Getmerge بدمج ملف واحد أو عدة ملفات في دليل معين في نظام ملفات HDFS. يقوم بتجميع الملفات في ملف واحد موجود في نظام الملفات المحلي. يمثل "src" و "localdest" معنى وجهة المصدر والوجهة المحلية.
6. قيادة عد Hadoop
hadoop fs -count [خيارات] <path>
كما هو واضح من اسمه ، يقوم أمر Hadoop count بحساب عدد الملفات والبايتات في دليل معين. هناك العديد من الخيارات المتاحة التي تعدل الإخراج حسب المتطلبات. هذه كالتالي:
- q -> يعرض الحصة الحد الأقصى لعدد الأسماء واستخدام المساحة
- u -> يعرض فقط الحصة النسبية والاستخدام
- h -> يعطي حجم الملف
- ت -> يعرض الرأس
7. Hadoop AppendToFile الأمر
hadoop fs -appendToFile <localsrc> <dest>
يسمح للمستخدم بإلحاق محتوى ملف واحد أو أكثر في ملف واحد على ملف الوجهة المحدد في نظام ملفات HDFS. عند تنفيذ هذا الأمر ، يتم إلحاق ملفات المصدر المحددة بمصدر الوجهة وفقًا لاسم الملف المحدد في الأمر.
8. Hadoop ls Command
hadoop fs -ls / path
يعرض الأمر ls في Hadoop قائمة الملفات / المحتويات في دليل محدد ، أي المسار. عند إضافة "R" قبل / المسار ، سيعرض الإخراج تفاصيل المحتوى ، مثل الأسماء والحجم والمالك وما إلى ذلك لكل ملف محدد في الدليل المحدد.
9. Hadoop mkdir Command
hadoop fs -mkdir / path / directory_name
الميزة الفريدة لهذا الأمر هي إنشاء دليل في نظام ملفات HDFS إذا كان الدليل غير موجود. بالإضافة إلى ذلك ، إذا كان الدليل المحدد موجودًا ، فستظهر رسالة الإخراج خطأ يشير إلى وجود الدليل.
10. Hadoop chmod القيادة
hadoop fs -chmod [-R] <mode> <path>
يتم استخدام هذا الأمر عند الحاجة إلى تغيير أذونات الوصول إلى ملف معين. عند إعطاء الأمر chmod ، يتم تغيير إذن الملف المحدد. ومع ذلك ، من المهم أن تتذكر أنه سيتم تعديل الإذن عندما ينفذ مالك الملف هذا الأمر.
اقرأ أيضًا: دروس إمبالا هادوب
خاتمة
بدءًا بالمسألة المهمة المتعلقة بتخزين البيانات التي تواجهها المؤسسات الكبرى في عالم اليوم ، ناقش هذا المقال الحل لتخزين البيانات المحدود من خلال تقديم Hadoop وتأثيره على تنفيذ عمليات إدارة البيانات باستخدام أوامر Hadoop. للمبتدئين في Hadoop ، يتم وصف لمحة عامة عن إطار العمل جنبًا إلى جنب مع مكوناته وبنيته.
بعد قراءة هذه المقالة ، يمكن للمرء أن يشعر بسهولة بالثقة بشأن معرفته في جانب إطار Hadoop والأوامر المطبقة عليه. شهادة PG الحصرية من upGrad في البيانات الضخمة: تقدم upGrad برنامجًا خاصًا بالصناعة لمدة 7.5 شهرًا للحصول على شهادة PG في البيانات الضخمة حيث ستنظم البيانات الضخمة وتحللها وتفسرها مع IIIT-Bangalore.
تم تصميمه بعناية للمهنيين العاملين ، وسيساعد الطلاب على اكتساب المعرفة العملية وتعزيز دخولهم في أدوار البيانات الضخمة.
يسلط الضوء على البرنامج:
- تعلم اللغات والأدوات ذات الصلة
- تعلم المفاهيم المتقدمة للبرمجة الموزعة ومنصات البيانات الضخمة وقاعدة البيانات والخوارزميات وتعدين الويب
- شهادة معتمدة من IIIT بنغالور
- المساعدة في التنسيب ليتم استيعابها في أفضل الشركات متعددة الجنسيات
- 1: 1 الإرشاد لتتبع تقدمك ومساعدتك في كل نقطة
- العمل على المشاريع الحية والتعيينات
الأهلية : الرياضيات / هندسة البرمجيات / الإحصاء / خلفية التحليلات
تحقق من دورات هندسة البرمجيات الأخرى لدينا في upGrad.