برمجة الخنازير: قم بإنشاء أول برنامج نصي لخنزير أباتشي

برمجة الخنازير: قم بإنشاء أول برنامج نصي لخنزير أباتشي

في منطقتنا ، سنتعلم الآن كيفية إنشاء برنامج نصي من Apache Pig. تُستخدم نصوص Apache Pig لتنفيذ مجموعة من أوامر Apache Pig بشكل جماعي. هذا يساعد في تقليل الوقت والجهد المستثمر في كتابة وتنفيذ كل أمر يدويًا أثناء القيام بذلك في برمجة Pig.إنه أيضًا جزء لا يتجزأ من .هذه المدونة عبارة عن دليل خطوة بخطوة لمساعدتك في إنشاء أول نص برمجي Apache Pig.

أوضاع تنفيذ البرنامج النصي Apache Pig

وضع المحلي : في 'الوضع المحلي' ، يمكنك تنفيذ البرنامج النصي الخنزير في نظام الملفات المحلي. في هذه الحالة ، لا تحتاج إلى تخزين البيانات في نظام ملفات Hadoop HDFS ، بدلاً من ذلك يمكنك العمل مع البيانات المخزنة في نظام الملفات المحلي نفسه.

وضع MapReduce : في 'وضع MapReduce' ، يجب تخزين البيانات في نظام ملفات HDFS ويمكنك معالجة البيانات بمساعدة البرنامج النصي الخنزير.

برنامج Apache Pig Script في وضع MapReduce

لنفترض أن مهمتنا هي قراءة البيانات من ملف البيانات وعرض المحتويات المطلوبة على الجهاز كمخرج.

يحتوي ملف البيانات النموذجي على البيانات التالية:

PL تعليمي SQL للمبتدئين مع أمثلة

احفظ الملف النصي باسم 'information.txt'

يحتوي ملف البيانات النموذجي على خمسة أعمدة الاسم الاول ، الكنية ، رقم المحمول ، مدينة و و مهنة مفصوله ب مفتاح التبويب . مهمتنا هي قراءة محتوى هذا الملف من HDFS وعرض جميع أعمدة هذه السجلات.

لمعالجة هذه البيانات باستخدام Pig ، يجب أن يكون هذا الملف موجودًا في Apache Hadoop HDFS.

أمر : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka

الخطوة 1: كتابة نص خنزير

أنشئ ملف نصي Apache Pig وافتحه في محرر (مثل gedit).

أمر : sudo gedit /home/edureka/output.pig

سيقوم هذا الأمر بإنشاء ملف 'output.pig' داخل الدليل الرئيسي لمستخدم edureka.

لنكتب بعض أوامر PIG في ملف output.pig.

A = LOAD '/edureka/information.txt' باستخدام PigStorage ('') كـ (FName: chararray، LName: chararray، MobileNo: chararray، City: chararray، Profession: chararray) B = FOREACH A create FName، MobileNo، Profession DUMP ب

أحفظ وأغلق الملف.

• يقوم الأمر الأول بتحميل الملف 'information.txt' إلى المتغير A مع مخطط غير مباشر (FName ، LName ، MobileNo ، City ، Profession).
• يقوم الأمر الثاني بتحميل البيانات المطلوبة من المتغير A إلى المتغير B.
• يعرض السطر الثالث محتوى المتغير B على المحطة / وحدة التحكم.

الخطوة 2: قم بتنفيذ البرنامج النصي Apache Pig

لتنفيذ البرنامج النصي الخنزير في وضع HDFS ، قم بتشغيل الأمر التالي:

أمر : pig /home/edureka/output.pig

بعد انتهاء التنفيذ ، راجع النتيجة. تُظهر هذه الصور أدناه النتائج وخريطتها الوسيطة وتقليل الوظائف.

تظهر الصورة أدناه أن البرنامج النصي تم تنفيذه بنجاح.

الصورة أدناه تظهر نتيجة السيناريو الخاص بنا.

ما هي الأمثلة في جافا

تهانينا على تنفيذك لأول برنامج نصي من Apache Pig بنجاح!

أنت تعرف الآن كيفية إنشاء وتنفيذ البرنامج النصي Apache Pig. ومن ثم ، فإن مدونتنا التالية في سوف تغطي كيفية قم بإنشاء UDF (وظائف محددة من قبل المستخدم) في Apache Pig وتنفيذه في وضع MapReduce / HDFS.

الآن بعد أن أنشأت Apache Pig Script ونفذته ، تحقق من ملف من Edureka ، وهي شركة تعليمية موثوقة عبر الإنترنت مع شبكة تضم أكثر من 250000 متعلم راضٍ منتشرين في جميع أنحاء العالم. تساعد الدورة التدريبية لشهادة Edureka Big Data Hadoop المتعلمين على أن يصبحوا خبراء في مجال HDFS ، و Yarn ، و MapReduce ، و Pig ، و Hive ، و HBase ، و Oozie ، و Flume ، و Sqoop باستخدام حالات الاستخدام في الوقت الفعلي على البيع بالتجزئة ، والوسائط الاجتماعية ، والطيران ، والسياحة ، والمجال المالي.

لديك سؤال لنا؟ يرجى ذكر ذلك في قسم التعليقات وسنعاود الاتصال بك.