خلية وغزل مكهرب بواسطة سبارك



في مدونة Apache Spark والبيانات الضخمة هذه ، دعونا نرى كيفية إنشاء Spark لإصدار Hadoop محدد. سوف نتعلم أيضًا كيفية بناء Spark لـ YARN و HIVE.

في هذه المدونة ، دعنا نرى كيفية إنشاء Spark لإصدار Hadoop محدد.

سوف نتعلم أيضًا كيفية بناء Spark باستخدام HIVE و YARN.





KM

بيانات تدفق التحكم في جافا

بالنظر إلى أن لديك Hadoop ، jdk ، mvn و اذهب مثبتة مسبقًا ومهيأة مسبقًا على نظامك.



configure-Building-Yarn-and-Hive-on-Spark

افتح متصفح Mozilla وتحميل شرارة باستخدام الرابط أدناه.

https://edureka.wistia.com/medias/k14eamzaza/



افتح المحطة.

الأمر: tar -xvf Downloads / spark-1.1.1.tgz

الأمر: ls

افتح دليل spark-1.1.1.

يمكنك فتح pom.xml ملف. يمنحك هذا الملف معلومات حول جميع ملفات التبعيات انت تحتاج.

لا تقم بتحريره للبقاء بعيدا عن المشاكل.

الأمر: cd spark-1.1.1 /

الأمر: sudo gedit sbt / sbt-launch-lib.bash

قم بتحرير الملف على النحو التالي ، وحفظه وإغلاقه.

نقوم بتقليل الذاكرة لتجنب مشكلة مساحة كومة الكائن كما هو مذكور في اللقطة أدناه.

الآن ، قم بتشغيل الأمر أدناه في المحطة لإنشاء شرارة لـ Hadoop 2.2.0 باستخدام HIVE و YARN.

الأمر: ./sbt/sbt -P غزل -P خلية نحل -فادوب -2.2-د الإصدار = 2.2.0 -D تخطي الاختبارات المجسم

ملاحظة: إصدار My Hadoop هو 2.2.0 ، يمكنك تغييره وفقًا لإصدار Hadoop الخاص بك.

لإصدارات Hadoop الأخرى

# Apache Hadoop 2.0.5-alpha

-Dhadoop.version = 2.0.5-alpha

#Cloudera CDH 4.2.0

-Dhadoop.version = 2.0.0-cdh4.2.0

# Apache Hadoop 0.23.x

-فادوب 0.23 -Dhadoop. الإصدار = 0.23.7

# Apache Hadoop 2.3.X

- فادوب 2.3 - الإصدار = 2.3.0

# Apache Hadoop 2.4.X

-فادوب -2.4 -Dhadoop.version = 2.4.0

سيستغرق التجميع والتعبئة بعض الوقت ، يرجى الانتظار حتى يكتمل.

اثنين من الجرار شرارة التجمع 1.1.1-hadoop2.2.0.jar و أمثلة شرارة 1.1.1-hadoop2.2.0.jar يتم إنشاؤه.

مسار شرارة التجمع 1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar

مسار أمثلة شرارة 1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar

تهانينا ، لقد نجحت في بناء Spark for Hive & Yarn.

لديك سؤال لنا؟ يرجى ذكرها في قسم التعليقات وسنعاود الاتصال بك.

المنشورات ذات الصلة:

اباتشي سبارك مع Hadoop- لماذا يهم؟