لقد تعلمنا كيف بناء خلية وغزل على سبارك . الآن دعونا نجرب أمثلة Hive and Yarn على Spark.
جافا هي علاقة
مثال الخلية على سبارك
سنقوم بتشغيل مثال على Hive على Spark. سننشئ جدولًا ونحمِّل البيانات في هذا الجدول وننفذ استعلامًا بسيطًا. عند العمل مع Hive ، يجب على المرء إنشاء ملف HiveContext الذي يرث من SQLContext .
أمر: cd spark-1.1.1.1 تحديث
أمر: ./bin/spark-shell
قم بإنشاء ملف إدخال 'عينة' في الدليل الرئيسي الخاص بك على النحو التالي لقطة (علامة التبويب مفصولة).
أمر: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
أمر: sqlContext.sql ('إنشاء جدول إذا لم يكن EXISTS test (الاسم STRING ، الترتيب الداخلي) تنسيق الصف الحقول المحددة التي تم إنهاؤها بواسطة' الخطوط التي تم إنهاؤها بواسطة '
'')
أمر: sqlContext.sql ('LOAD DATA LOCAL INPATH' / home / edureka / sample 'INTO TABLE test')
أمر: sqlContext.sql (“حدد * من اختبار أين رتبة<5”).collect().foreach(println)
مثال على الغزل على سبارك
سنقوم بتشغيل مثال SparkPi على Yarn. يمكننا نشر Yarn على Spark في وضعين: وضع المجموعة ووضع العميل. في وضع مجموعة الغزل ، يعمل برنامج تشغيل Spark داخل عملية رئيسية للتطبيق تتم إدارتها بواسطة Yarn على الكتلة ، ويمكن للعميل الابتعاد بعد بدء التطبيق. في وضع yarn-client ، يتم تشغيل برنامج التشغيل في عملية العميل ، ويتم استخدام التطبيق الرئيسي فقط لطلب الموارد من Yarn.
أمر: cd spark-1.1.1.1 تحديث
أمر: SPARK_JAR = ... SparkPi - عدد - المنفذين 1 - ذاكرة السائق 2 جم - ذاكرة منفذ 1 جم - نوى منفذ 1 أمثلة / هدف / scala-2.10 / شرارة أمثلة 1.1.1-hadoop2.2.0.jar
بعد تنفيذ الأمر أعلاه ، يرجى الانتظار لبعض الوقت حتى تحصل على نجح رسالة.
تصفح المضيف المحلي: 8088 / عنقود وانقر على تطبيق Spark.
متصفح db لمراجعة sqlite
انقر فوق السجلات .
انقر فوق stdout للتحقق من الإخراج.
لنشر Yarn على Spark في وضع العميل ، ما عليك سوى إنشاء - وضع النشر مثل 'عميل'. الآن ، أنت تعرف كيفية بناء Hive and Yarn على Spark. كما قمنا بتدريبات عملية عليهم.
لديك سؤال لنا؟ يرجى ذكرها في قسم التعليقات وسنعاود الاتصال بك.
هي درجة الماجستير درجة الدراسات العليا
المنشورات ذات الصلة
اباتشي سبارك مع Hadoop- لماذا يهم؟