مع زيادة اعتماد Hadoop في حلول تكنولوجيا المعلومات للمؤسسات التقليدية وزيادة عدد تطبيقات Hadoop في بيئة الإنتاج ، أصبحت الحاجة إلى خبراء Hadoop للعمليات والإدارة لرعاية مجموعات Hadoop الكبيرة أمرًا حيويًا.
مسؤوليات مسؤول Hadoop:
- مسؤول عن التنفيذ والإدارة المستمرة للبنية التحتية Hadoop.
- التوافق مع فريق هندسة الأنظمة لاقتراح ونشر بيئات الأجهزة والبرامج الجديدة المطلوبة لـ Hadoop ولتوسيع البيئات الحالية.
- العمل مع فرق تسليم البيانات لإعداد مستخدمي Hadoop الجدد. تتضمن هذه المهمة إعداد مستخدمي Linux ، وإعداد مبادئ Kerberos واختبار وصول HDFS و Hive و Pig و MapReduce للمستخدمين الجدد.
- صيانة المجموعة بالإضافة إلى إنشاء وإزالة العقد باستخدام أدوات مثل Ganglia و Nagios و Cloudera Manager Enterprise و Dell Open Manage وأدوات أخرى.
- ضبط أداء مجموعات Hadoop وإجراءات Hadoop MapReduce.
- شاشة الأداء الوظيفي لمجموعة Hadoop وتخطيط القدرات
- مراقبة اتصال كتلة Hadoop والأمن
- إدارة ومراجعة ملفات سجل Hadoop.
- إدارة نظام الملفات ومراقبته.
- دعم وصيانة HDFS.
- العمل بجد مع فرق البنية التحتية والشبكة وقاعدة البيانات والتطبيق وذكاء الأعمال لضمان جودة عالية للبيانات وتوافرها.
- التعاون مع فرق التطبيقات لتثبيت نظام التشغيل وتحديثات Hadoop والتصحيحات وترقيات الإصدار عند الحاجة.
- نقطة اتصال لتصعيد البائع
إدارة Hadoop هي مهنة مجزية ومربحة مع الكثير من فرص النمو. إذا كانت مسؤوليات الوظيفة المذكورة أعلاه تهمك ، فقد حان الوقت لتنمية المهارات مع إدارة Hadoop والحصول على المسار الوظيفي لمدير Hadoop.
ما هي البيانات الضخمة و hadoop
مسؤوليات DBA التي يؤديها مسؤول Hadoop:
- نمذجة البيانات وتصميمها وتنفيذها على أساس المعايير المعترف بها.
- تثبيت البرامج وتكوينها.
- النسخ الاحتياطي واستعادة قاعدة البيانات.
- اتصال وأمن قواعد البيانات.
- مراقبة الأداء وضبطه.
- إدارة مساحة القرص.
- تصحيحات البرامج وترقياتها.
- أتمتة المهام اليدوية.
مسؤوليات تطوير DWH التي يقوم بها مسؤول Hadoop:
تشمل المسؤوليات الوظيفية لمسؤولي DWH تطوير واختبار ومراقبة الوظائف المجمعة للمهام التالية:
- تأكد من سلامة المرجع.
- نفذ تنفيذ المفتاح الأساسي.
- إنجاز إعادة صياغة البيانات.
- تحميل كميات كبيرة من البيانات في الوقت المناسب.
الآن بعد أن تعرفت على مسؤوليات الوظيفة لمدير Hadoop ، دعنا نلقي نظرة على المهارات المطلوبة لتكون واحدًا.
المهارات المطلوبة لتصبح مسؤول Hadoop:
- الخبرة التشغيلية العامة مثل المهارات الجيدة لاستكشاف الأخطاء وإصلاحها ، وفهم قدرة النظام ، والاختناقات ، وأساسيات الذاكرة ، ووحدة المعالجة المركزية ، ونظام التشغيل ، والتخزين ، والشبكات.
- مهارات Hadoop مثل HBase و Hive و Pig و Mahout ، إلخ.
- المتطلبات الأكثر أهمية هي: يجب أن يكونوا قادرين على نشر مجموعة Hadoop ، وإضافة العقد وإزالتها ، وتتبع المهام ، ومراقبة الأجزاء المهمة من الكتلة ، وتكوين إمكانية عالية لعقد الاسم ، وجدولتها وتهيئتها وأخذ النسخ الاحتياطية
- معرفة جيدة بنظام Linux حيث يعمل Hadoop على Linux.
- الإلمام بإدارة التكوين مفتوح المصدر وأدوات النشر مثل Puppet أو Chef و Linux.
- معرفة استكشاف الأخطاء وإصلاحها تطبيقات Java الأساسية ميزة إضافية.
قامت Edureka برعاية دورة تدريبية خاصة بإدارة Hadoop. انقر فوق الزر أدناه لبدء استخدام إدارة Hadoop وتعلم كيف تساعدك الدورة في أن تصبح مسؤول Hadoop.
المنشورات ذات الصلة:
كائنات متغيرة وغير قابلة للتغيير في جافا