Apache Falcon: منصة جديدة لإدارة البيانات لنظام Hadoop البيئي



Apache Falcon عبارة عن نظام أساسي جديد لإدارة البيانات لنظام Hadoop الإيكولوجي الذي يبسط معالجة الأعلاف على متن الطائرة وإدارة التغذية على مجموعات hadoop. تعلم كيفية إعداده.

Apache Falcon هو إطار عمل لإدارة دورة حياة البيانات في مجموعات Hadoop. يقوم بإنشاء علاقة بين البيانات المختلفة وعناصر المعالجة في بيئة Hadoop ، كما يوفر خدمات إدارة التغذية مثل الاحتفاظ بالتغذية ، والتكرار عبر المجموعات ، والأرشفة ، إلخ.





دعونا أولاً نناقش كيفية إعداد Apache Falcon. قم بتشغيل الأمر التالي لتنزيل git repository of Falcon:

أمر: git clone https://git-wip-us.apache.org/repos/asf/falcon.git falcon



git-command-apache-falcon

لتشغيل الصقر ، تحتاج إلى بنائه أولاً.

أمر: الصقر القرص المضغوط



أمر: تصدير MAVEN_OPTS = ”- Xmx1024m -XX: MaxPermSize = 256m -noverify” && mvn clean install -DskipTests

أمر: تجميع نظيف mvn: التجميع - اختبارات التخطي - السحب

بمجرد بناء الصقر ، ستجد حزمة فالكون داخل دليل / falcon / distro / target /.

تبدو أوامر بناء الصقر سهلة للغاية ، ولكنك ستواجه الكثير من المشكلات قبل أن ترى رسالة Build Success. لقد واجهت الكثير من المشكلات أثناء إنشائه لـ Hadoop-2.2.0

لتخطي معاناة بناء Falcon ، سأقدم لك حزمة فالكون مبنية بنجاح ، والتي يمكنك تنزيلها باستخدام الرابط أدناه.

https://edureka.wistia.com/medias/xw5cfzqmho/download؟media_file_id=124642564

قم بفك ضغط الملف للحصول على دليل falcon-0.10.

أمر: قم بفك ضغط falcon-0.10-SNAPSHOT.zip

قم بتعيين متغيرات بيئة flacon في ملف bashrc.

أمر: sudo gedit .bashrc

أمر: المصدر. bashrc

يمكنك الذهاب إلى دليل الصقر والاطلاع على الملفات والأدلة الموجودة بداخله.

أمر: cd falcon-0.10-سناب شوت /

أمر: ls

يمكنك العثور على نصوص الصقور داخل دليل bin.

قم بتشغيل الأمر أدناه لبدء تشغيل Falcon.

أمر: ./bin/falcon-start

سترى برنامج خفي جديد FalconServer يعمل الآن.

الأمر: jps

أمر: ./bin/falcon admin -version

افتح متصفحك وانتقل إلى المضيف المحلي: 15000 . يمكنك رؤية واجهة المستخدم على الويب Falcon.

لديك سؤال لنا؟ أذكرها في قسم التعليقات وسنعاود الاتصال بك.

كيف أقوم بتجميع برنامج جافا

المنشورات ذات الصلة:

التنقيب في Apache Drill