في هذه المدونة ، دعنا نرى كيفية إنشاء Spark لإصدار Hadoop محدد.
سوف نتعلم أيضًا كيفية بناء Spark باستخدام HIVE و YARN.
بيانات تدفق التحكم في جافا
بالنظر إلى أن لديك Hadoop ، jdk ، mvn و اذهب مثبتة مسبقًا ومهيأة مسبقًا على نظامك.
افتح متصفح Mozilla وتحميل شرارة باستخدام الرابط أدناه.
https://edureka.wistia.com/medias/k14eamzaza/
افتح المحطة.
الأمر: tar -xvf Downloads / spark-1.1.1.tgz
الأمر: ls
افتح دليل spark-1.1.1.
يمكنك فتح pom.xml ملف. يمنحك هذا الملف معلومات حول جميع ملفات التبعيات انت تحتاج.
لا تقم بتحريره للبقاء بعيدا عن المشاكل.
الأمر: cd spark-1.1.1 /
الأمر: sudo gedit sbt / sbt-launch-lib.bash
قم بتحرير الملف على النحو التالي ، وحفظه وإغلاقه.
نقوم بتقليل الذاكرة لتجنب مشكلة مساحة كومة الكائن كما هو مذكور في اللقطة أدناه.
الآن ، قم بتشغيل الأمر أدناه في المحطة لإنشاء شرارة لـ Hadoop 2.2.0 باستخدام HIVE و YARN.
الأمر: ./sbt/sbt -P غزل -P خلية نحل -فادوب -2.2-د الإصدار = 2.2.0 -D تخطي الاختبارات المجسم
ملاحظة: إصدار My Hadoop هو 2.2.0 ، يمكنك تغييره وفقًا لإصدار Hadoop الخاص بك.
لإصدارات Hadoop الأخرى
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0.5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-فادوب 0.23 -Dhadoop. الإصدار = 0.23.7
# Apache Hadoop 2.3.X
- فادوب 2.3 - الإصدار = 2.3.0
# Apache Hadoop 2.4.X
-فادوب -2.4 -Dhadoop.version = 2.4.0
سيستغرق التجميع والتعبئة بعض الوقت ، يرجى الانتظار حتى يكتمل.
اثنين من الجرار شرارة التجمع 1.1.1-hadoop2.2.0.jar و أمثلة شرارة 1.1.1-hadoop2.2.0.jar يتم إنشاؤه.
مسار شرارة التجمع 1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
مسار أمثلة شرارة 1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
تهانينا ، لقد نجحت في بناء Spark for Hive & Yarn.
لديك سؤال لنا؟ يرجى ذكرها في قسم التعليقات وسنعاود الاتصال بك.
المنشورات ذات الصلة:
اباتشي سبارك مع Hadoop- لماذا يهم؟