عقد التكليف وإيقاف التشغيل في مجموعة Hadoop

هل تعرف كيفية إضافة أو إزالة العقد في Hadoop Cluster؟ إليك منشور مدونة لتقوم به - عقد التكليف وإيقاف التشغيل في مجموعة Hadoop.

واحدة من أكثر الميزات جاذبية لإطار Hadoop هو استخدام معدات السلع . ومع ذلك ، يؤدي هذا إلى تعطل DataNode بشكل متكرر في مجموعة Hadoop. ميزة أخرى مدهشة في Hadoop Framework هي سهولة القياس وفقًا للنمو السريع في حجم البيانات . نظرًا لهذين السببين ، فإن أحد أكثر المهام شيوعًا لمسؤول Hadoop هو إجراء عمولة (إضافة) و يلجأ (إزالة) عقد البيانات في Hadoop Cluster.

Talend Open studio لتكامل البيانات

عقد التكليف وإيقاف التشغيل في مجموعة Hadoop:

إيقاف تشغيل (إزالة) عقد البيانات في مجموعة Hadoop





يوضح الرسم البياني أعلاه عملية خطوة بخطوة لإلغاء تفويض DataNode في الكتلة.

المهمة الأولى هي تحديث استبعاد 'ملفات لكليهما HDFS (hdfs-site.xml) و MapReduce (mapred-site.xml).



ملف 'استبعاد':

  • لتتبع الوظائف يحتوي على قائمة بالمضيفين الذين يجب أن يستبعدهم متعقب الوظائف. إذا كانت القيمة فارغة ، فلن يتم استبعاد أي مضيفين.
  • لـ Namenode يحتوي على قائمة بالمضيفين غير المسموح لهم بالاتصال بـ Namenode.

فيما يلي نموذج التكوين لملف الاستبعاد في hdfs-site.xml و mapred-site.xml:

hdfs- site.xml




dfs.hosts.exclude
/ الوطن / هادوب / يستبعد
صحيح

mapred-site.xml


mapred.hosts.exclude
/ الوطن / هادوب / يستبعد
صحيح

ملحوظة: يجب تحديد اسم المسار الكامل للملفات.

وبالمثل ، لدينا ملفات 'include':

  • لتتبع الوظائف تحتوي على قائمة بالعقد التي قد تتصل بـ JobTracker. إذا كانت القيمة فارغة ، يُسمح لجميع المضيفات.
  • لـ Namenode تحتوي على قائمة بالمضيفين المسموح لهم بالاتصال بـ Namenode. إذا كانت القيمة فارغة ، يُسمح لجميع المضيفات.

ال ' dfsadmin 'و' مراد تقوم أوامر 'بتحديث التكوين بالتغييرات لإعلامهم بالعقدة الجديدة.

ال ' عبيد يحتوي ملف 'على الخادم الرئيسي على قائمة بجميع عقد البيانات. يجب أيضًا تحديث هذا لضمان حدوث أي مشكلات في بداية / إيقاف البرنامج الخفي hadoop.

تتمثل الخطوة المهمة في عملية عمولة عقدة البيانات في تشغيل Cluster Balancer.

> موازن هادوب - العتبة 40

موازن يحاول توفير توازن إلى حد معين بين عقد البيانات عن طريق نسخ بيانات الكتلة من العقد القديمة إلى العقد التي تم تكليفها حديثًا.

إذن ، هذه هي الطريقة التي يمكنك القيام بها - التكليف و وقف التشغيل العقد في Hadoop Cluster.

لديك سؤال لنا؟ يرجى ذكر ذلك في قسم التعليقات وسنعاود الاتصال بك.

روابط ذات علاقة: