تثبيت Hadoop: إعداد مجموعة Hadoop أحادية العقدة

تثبيت Hadoop: إعداد مجموعة Hadoop أحادية العقدة

من مدوناتنا السابقة على ، يجب أن يكون لديك فكرة نظرية حول Hadoop و HDFS وبنيته.ولكن للحصول أنت بحاجة إلى معرفة عملية جيدة.آمل أن تكون قد أحببت مدونتنا السابقة على ، الآن سوف آخذك من خلال المعرفة العملية حول Hadoop و HDFS. الخطوة الأولى للأمام هي تثبيت Hadoop.

هناك طريقتان لتثبيت Hadoop ، أي عقدة واحدة و متعدد العقدة .

كتلة عقدة واحدة يعني أن DataNode واحد فقط يقوم بتشغيل وإعداد كافة NameNode و DataNode و ResourceManager و NodeManager على جهاز واحد. يستخدم هذا لأغراض الدراسة والاختبار. على سبيل المثال ، دعنا نفكر في عينة مجموعة بيانات داخل صناعة الرعاية الصحية. لذلك ، لاختبار ما إذا كانت وظائف Oozie قد حددت جدولًا لجميع العمليات مثل جمع البيانات وتجميعها وتخزينها ومعالجتها في تسلسل مناسب ، فإننا نستخدم مجموعة عقدة واحدة. يمكنه اختبار سير العمل المتسلسل بسهولة وكفاءة في بيئة أصغر مقارنة بالبيئات الكبيرة التي تحتوي على تيرابايت من البيانات الموزعة عبر مئات الأجهزة.

أثناء وجوده في أ كتلة متعددة العقدة ، هناك أكثر من DataNode قيد التشغيل ويتم تشغيل كل DataNode على أجهزة مختلفة. تُستخدم الكتلة متعددة العقدة عمليًا في المؤسسات لتحليل البيانات الضخمة. بالنظر إلى المثال أعلاه ، في الوقت الفعلي عندما نتعامل مع بيتابايت من البيانات ، يجب توزيعها عبر مئات الأجهزة لتتم معالجتها. وبالتالي ، هنا نستخدم مجموعة العقدة المتعددة.

في هذه المدونة ، سأوضح لك كيفية تثبيت Hadoop على مجموعة عقدة واحدة.

المتطلبات الأساسية

• صندوق افتراضي : يستخدم لتثبيت نظام التشغيل عليه.
• نظام التشغيل : يمكنك تثبيت Hadoop على أنظمة تشغيل Linux. يشيع استخدام Ubuntu و CentOS. في هذا البرنامج التعليمي ، نستخدم CentOS.
• جافا : تحتاج إلى تثبيت حزمة Java 8 على نظامك.
• حدوب : أنت تحتاج حزمة Hadoop 2.7.3.

قم بتثبيت Hadoop

الخطوة 1: انقر هنا لتنزيل حزمة Java 8. احفظ هذا الملف في دليل منزلك.

الخطوة 2: قم باستخراج ملف Java Tar.

أمر : tar -xvf jdk-8u101-linux-i586.tar.gz

التين: تثبيت Hadoop - استخراج ملفات جافا

الخطوه 3: قم بتنزيل حزمة Hadoop 2.7.3.

أمر : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz

التين: تثبيت Hadoop - تنزيل Hadoop

الخطوة الرابعة: استخراج ملف القطران Hadoop.

أمر : tar -xvf hadoop-2.7.3.tar.gz

التين: تثبيت Hadoop - استخراج ملفات Hadoop

برنامج تعليمي لمطور فريق المبيعات للمبتدئين

الخطوة الخامسة: أضف مسارات Hadoop و Java في ملف bash (.bashrc).

افتح . باشرك ملف. الآن ، أضف Hadoop و Java Path كما هو موضح أدناه.

أمر : vi .bashrc

التين: تركيب Hadoop - إعداد متغير البيئة

ثم احفظ ملف bash وأغلقه.

لتطبيق كل هذه التغييرات على Terminal الحالي ، قم بتنفيذ أمر المصدر.

أمر : المصدر. bashrc

التين: تركيب Hadoop - تحديث متغيرات البيئة

للتأكد من تثبيت Java و Hadoop بشكل صحيح على نظامك ويمكن الوصول إليه من خلال Terminal ، على سبيل المثالقم بتنفيذ أوامر إصدار جافا ونسخة هادوب.

أمر : جافا-الإصدار

التين: تثبيت Hadoop - التحقق من إصدار Java

أمر : هادوبالإصدار

التين: تثبيت Hadoop - التحقق من إصدار Hadoop

الخطوة 6 : قم بتحرير ملف .

أمر: قرص مضغوط hadoop-2.7.3 / etc / hadoop /

أمر: ls

توجد جميع ملفات تكوين Hadoop بتنسيق hadoop-2.7.3 / etc / hadoop الدليل كما ترى في اللقطة أدناه:

التين: تثبيت Hadoop - ملفات تكوين Hadoop

الخطوة 7 : افتح الموقع الأساسي xml وتحرير الخاصية المذكورة أدناه داخل علامة التكوين:

الموقع الأساسي xml يُعلم Hadoop daemon حيث يعمل NameNode في الكتلة. يحتوي على إعدادات تكوين Hadoop core مثل إعدادات الإدخال / الإخراج الشائعة في HDFS و MapReduce.

أمر : السادس - site.xml

الشكل: تثبيت Hadoop - تكوين core-site.xml

fs.default.name hdfs: // localhost: 9000

الخطوة الثامنة: تعديل hdfs- site.xml وتحرير الخاصية المذكورة أدناه داخل علامة التكوين:

hdfs- site.xml يحتوي على إعدادات التكوين لعناصر HDFS (مثل NameNode و DataNode و Secondary NameNode). يتضمن أيضًا عامل النسخ وحجم الكتلة لـ HDFS.

أمر : vi hdfs-site.xml

الشكل: تثبيت Hadoop - تكوين hdfs-site.xml

التكرار 1 dfs.permission false

الخطوة 9 : قم بتحرير ملف mapred-site.xml ملف وتعديل الخاصية المذكورة أدناه داخل علامة التكوين:

mapred-site.xml يحتوي على إعدادات التكوين لتطبيق MapReduce مثل عدد JVM التي يمكن تشغيلها بالتوازي ، وحجم المخطط وعملية المخفض ، ونواة وحدة المعالجة المركزية المتاحة لعملية ، وما إلى ذلك.

في بعض الحالات ، لا يتوفر ملف mapred-site.xml. لذلك ، يتعين علينا إنشاء ملف mapred-site.xmlباستخدام نموذج mapred-site.xml.

أمر : cp mapred-site.xml.template mapred-site.xml

أمر : نحن مابريد-موقع.xml.

الشكل: تثبيت Hadoop - تكوين mapred-site.xml

mapreduce.framework.name الغزل

الخطوة 10: تعديل موقع الغزل .xml وتحرير الخاصية المذكورة أدناه داخل علامة التكوين:

موقع الغزل .xml يحتوي على إعدادات تكوين ResourceManager و NodeManager مثل حجم إدارة ذاكرة التطبيق ، والعملية المطلوبة في البرنامج والخوارزمية ، إلخ.

أمر : vi موقع الغزل. xml

التين: تثبيت Hadoop - تكوين yarn-site.xml

yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler

الخطوة 11: تعديل hadoop-env.sh وأضف مسار Java كما هو مذكور أدناه:

hadoop-env.sh يحتوي على متغيرات البيئة المستخدمة في البرنامج النصي لتشغيل Hadoop مثل مسار Java الرئيسي ، إلخ.

أمر : نحن هادوب-الحسد.ش

التين: تثبيت Hadoop - تكوين hadoop-env.sh

الخطوة 12: انتقل إلى دليل Hadoop الرئيسي وقم بتنسيق NameNode.

أمر : قرص مضغوط

أمر : قرص مضغوط hadoop-2.7.3

أمر : بن / هادوب الغرض-تنسيق

التين: تثبيت Hadoop - تنسيق NameNode

يؤدي هذا إلى تنسيق HDFS عبر NameNode. يتم تنفيذ هذا الأمر لأول مرة فقط. يعني تنسيق نظام الملفات تهيئة الدليل المحدد بواسطة متغير dfs.name.dir.

لا تقم أبدًا بتنسيق نظام ملفات Hadoop وتشغيله. ستفقد جميع بياناتك المخزنة في HDFS.

الخطوة 13: بمجرد تهيئة NameNode ، انتقل إلى دليل hadoop-2.7.3 / sbin وابدأ جميع العناصر الشريرة.

أمر: قرص مضغوط hadoop-2.7.3 / sbin

إما أن تبدأ كل الشياطين بأمر واحد أو أن تفعل ذلك بشكل فردي.

أمر: ./ start-all.sh

الأمر أعلاه هو مزيج من start-dfs.sh ، start-yarn.sh & mr-jobhistory-daemon.sh

أو يمكنك تشغيل جميع الخدمات بشكل فردي على النحو التالي:

البداية NameNode:

NameNode هو حجر الزاوية في نظام ملفات HDFS. يحتفظ بشجرة الدليل لجميع الملفات المخزنة في HDFS ويتتبع كل الملفات المخزنة عبر الكتلة.

أمر: ./hadoop-daemon.sh غرض البدء

التين: تثبيت Hadoop - بدء NameNode

بدء DataNode:

عند بدء التشغيل ، يتصل DataNode بـ Namenode ويستجيب للطلبات الواردة من Namenode لعمليات مختلفة.

أمر: ./hadoop-daemon.sh ابدأ datanode

كيفية تحويل سلسلة إلى تاريخ في جافا

التين: تثبيت Hadoop - بدء DataNode

بدء ResourceManager:

ResourceManager هو المسؤول الذي يحكم على جميع موارد الكتلة المتاحة وبالتالي يساعد في إدارة التطبيقات الموزعة التي تعمل على نظام YARN. يتمثل عملها في إدارة كل NodeManagers و ApplicationMaster لكل تطبيق.

أمر: ./غزل-daemon.sh ابدأ في إدارة الموارد

التين: تثبيت Hadoop - بدء ResourceManager

بدء NodeManager:

NodeManager في كل إطار عمل للآلة هو الوكيل المسؤول عن إدارة الحاويات ومراقبة استخدام مواردها والإبلاغ عن ذلك إلى ResourceManager.

أمر: ./غزل-daemon.sh ابدأ nodemanager

التين: تثبيت Hadoop - بدء تشغيل NodeManager

بدء JobHistoryServer:

JobHistoryServer هو المسؤول عن خدمة جميع الطلبات المتعلقة بسجل العمل من العميل.

أمر : ./mr-jobhistory-daemon.sh ابدأ historyserver

الخطوة 14: للتحقق من تشغيل جميع خدمات Hadoop ، قم بتشغيل الأمر أدناه.

أمر: jps

التين: تركيب Hadoop - فحص Daemons

الخطوة 15: افتح الآن متصفح Mozilla وانتقل إلى مضيف محلي : 50070 / dfshealth.html للتحقق من واجهة NameNode.

التين: تثبيت Hadoop - بدء WebUI

تهانينا ، لقد نجحت في تثبيت مجموعة Hadoop ذات العقدة الواحدة دفعة واحدة.في مدونتنا القادمة من ، سنغطي كيفية تثبيت Hadoop على مجموعة متعددة العقد أيضًا.

الآن بعد أن فهمت كيفية تثبيت Hadoop ، تحقق من ملف من Edureka ، وهي شركة تعليمية موثوقة عبر الإنترنت مع شبكة تضم أكثر من 250000 متعلم راضٍ منتشرين في جميع أنحاء العالم. تساعد الدورة التدريبية لشهادة Edureka Big Data Hadoop المتعلمين على أن يصبحوا خبراء في مجال HDFS ، و Yarn ، و MapReduce ، و Pig ، و Hive ، و HBase ، و Oozie ، و Flume ، و Sqoop باستخدام حالات الاستخدام في الوقت الفعلي في مجال البيع بالتجزئة ، والوسائط الاجتماعية ، والطيران ، والسياحة ، والمالية

لديك سؤال لنا؟ يرجى ذكر ذلك في قسم التعليقات وسنعاود الاتصال بك.