واحدة من أكثر الميزات جاذبية لإطار Hadoop هو استخدام معدات السلع . ومع ذلك ، يؤدي هذا إلى تعطل DataNode بشكل متكرر في مجموعة Hadoop. ميزة أخرى مدهشة في Hadoop Framework هي سهولة القياس وفقًا للنمو السريع في حجم البيانات . نظرًا لهذين السببين ، فإن أحد أكثر المهام شيوعًا لمسؤول Hadoop هو إجراء عمولة (إضافة) و يلجأ (إزالة) عقد البيانات في Hadoop Cluster.
Talend Open studio لتكامل البيانات
عقد التكليف وإيقاف التشغيل في مجموعة Hadoop:
يوضح الرسم البياني أعلاه عملية خطوة بخطوة لإلغاء تفويض DataNode في الكتلة.
المهمة الأولى هي تحديث استبعاد 'ملفات لكليهما HDFS (hdfs-site.xml) و MapReduce (mapred-site.xml).
ملف 'استبعاد':
- لتتبع الوظائف يحتوي على قائمة بالمضيفين الذين يجب أن يستبعدهم متعقب الوظائف. إذا كانت القيمة فارغة ، فلن يتم استبعاد أي مضيفين.
- لـ Namenode يحتوي على قائمة بالمضيفين غير المسموح لهم بالاتصال بـ Namenode.
فيما يلي نموذج التكوين لملف الاستبعاد في hdfs-site.xml و mapred-site.xml:
hdfs- site.xml
dfs.hosts.exclude
/ الوطن / هادوب / يستبعد
صحيح
mapred-site.xml
mapred.hosts.exclude
/ الوطن / هادوب / يستبعد
صحيح
ملحوظة: يجب تحديد اسم المسار الكامل للملفات.
وبالمثل ، لدينا ملفات 'include':
- لتتبع الوظائف تحتوي على قائمة بالعقد التي قد تتصل بـ JobTracker. إذا كانت القيمة فارغة ، يُسمح لجميع المضيفات.
- لـ Namenode تحتوي على قائمة بالمضيفين المسموح لهم بالاتصال بـ Namenode. إذا كانت القيمة فارغة ، يُسمح لجميع المضيفات.
ال ' dfsadmin 'و' مراد تقوم أوامر 'بتحديث التكوين بالتغييرات لإعلامهم بالعقدة الجديدة.
ال ' عبيد يحتوي ملف 'على الخادم الرئيسي على قائمة بجميع عقد البيانات. يجب أيضًا تحديث هذا لضمان حدوث أي مشكلات في بداية / إيقاف البرنامج الخفي hadoop.
تتمثل الخطوة المهمة في عملية عمولة عقدة البيانات في تشغيل Cluster Balancer.
> موازن هادوب - العتبة 40
موازن يحاول توفير توازن إلى حد معين بين عقد البيانات عن طريق نسخ بيانات الكتلة من العقد القديمة إلى العقد التي تم تكليفها حديثًا.
إذن ، هذه هي الطريقة التي يمكنك القيام بها - التكليف و وقف التشغيل العقد في Hadoop Cluster.
لديك سؤال لنا؟ يرجى ذكر ذلك في قسم التعليقات وسنعاود الاتصال بك.
روابط ذات علاقة: