keyerror: "أ"
Hadoop Job Tacker
Job Tracker هو البرنامج الخفي الرئيسي لكل من إدارة موارد الوظيفة وجدولة / مراقبة الوظائف. يعمل كحلقة وصل بين Hadoop وتطبيقك.
العملية
ينسخ المستخدم الملفات أولاً إلى نظام الملفات الموزعة (DFS) ، قبل إرسال المهمة إلى العميل. ثم يتلقى العميل ملفات الإدخال هذه. سيتلقى المستخدم الانقسامات أو الكتل بناءً على ملفات الإدخال.يمكن للعميلخلق الانقسامات أو الكتل في الرجلنير هو بريفلأن هناك اعتبارات معينة وراء ذلك. إذا تم إجراء تحليل على البيانات الكاملة ، فسوف تقسم البيانات إلى تقسيمات. لا يتم نسخ الملفات من خلال العميل ، ولكن يتم نسخها باستخدام flume أو Sqoop أو أي عميل خارجي.
بمجرد نسخ الملفات إلى DFS ويتفاعل العميل مع DFS ،ستعمل الانقسامات على تشغيل MapReduce jأوب. يتم تقديم الوظيفة من خلال أداة تعقب الوظائف. متتبع الوظيفة هو البرنامج الخفي الرئيسي الذي يعمل على نفس العقدةأشواطهذه الوظائف المتعددة على عقد البيانات. ستكون هذه البيانات مستلقية على عقد بيانات مختلفة ، لكن من مسؤولية متعقب الوظيفة الاهتمام بذلك.
بعد أن يقدم العميل علىمتعقب الوظيفة ، تتم تهيئة الوظيفة في قائمة انتظار المهام ويقوم متعقب الوظائف بإنشاء خرائط وتقليلها. استنادًا إلى البرنامج الموجود في وظيفة الخريطة وتقليل الوظيفة ، سيتم إنشاء مهمة الخريطة وتقليل المهمة. سيتم تشغيل هذين على تقسيم الإدخال. ملاحظة: عند إنشائه بواسطة العملاء ، فإن تقسيم الإدخال هذا يحتوي على البيانات بأكملها.
يحتوي كل تقسيم إدخال على وظيفة خريطة قيد التشغيل فيه وينتقل إخراج مهمة الخريطة إلى مهمة تقليل. يقوم متعقب الوظائف بتشغيل المسار على بيانات معينة. يمكن أن يكون هناك العديد من التكرارات لذلك فهو يختار البيانات المحلية ويدير المهمة على تلك المهمة المحددة. متتبع المهام هو الذي يقوم بالفعل بتشغيل المهمة على عقدة البيانات. سوف تعقب الوظائف اجتيازمعلوماتإلى متعقب المهام وسيقوم متعقب المهام بتشغيل الوظيفة على عقدة البيانات.
بمجرد تعيين الوظيفة لمتتبع المهام ، هناك نبضات قلب مرتبطة بكل متتبع مهمة ومتعقب وظيفة. يرسل إشارات لمعرفة ما إذا كانت عقد البيانات لا تزال على قيد الحياة. غالبًا ما يكون الاثنان متزامنين نظرًا لوجود احتمال أن تتلاشى العقد.
لديك سؤال لنا؟ أذكرها في قسم التعليقات وسنعاود الاتصال بك.
كيفية تغيير المضاعفة إلى كثافة العمليات في جافا
المنشورات ذات الصلة:
سلسلة فيبوناتشي العودية في جافا