Hadoop ، كما نعلم جميعًا ، هو فتى البيانات الضخمة. كإطار برمجي قادر على معالجة نسب البيانات الضخمة ، شق Hadoop طريقه إلى أعلى قائمة CIO Buzzwords.
ومع ذلك ، فإن الارتفاع غير المسبوق في مكدس الذاكرة قد أدخل النظام البيئي للبيانات الضخمة إلى بديل جديد للتحليلات. يتم استبدال طريقة MapReduce للتحليلات بنهج جديد يسمح بالتحليلات داخل إطار Hadoop وخارجه. Apache Spark هو الوجه الجديد لتحليلات البيانات الضخمة.
لقد اعتمد عشاق البيانات الضخمة Apache Spark كأكثر محرك حوسبة للبيانات الضخمة في العالم. إنه يطرد MapReduce و Java بسرعة من مناصبهم ، وتعكس اتجاهات الوظائف هذا التغيير. وفقًا لمسح أجرته TypeSafe ، يقوم 71٪ من مطوري Java العالميين حاليًا بالتقييم أو البحث حول Spark ، وقد بدأ 35٪ منهم بالفعل في استخدامه. خبراء Spark مطلوبون حاليًا ، وفي الأسابيع التالية ، من المتوقع أن يمر عدد فرص العمل المتعلقة بـ Spark فقط من خلال السقف.
كيفية إنهاء البرنامج في جافا
إذن ، ما الذي يجعل Apache Spark يظهر على رأس كل قائمة مهام مديري تقنية المعلومات؟
فيما يلي بعض الميزات المثيرة للاهتمام لـ Apache Spark:
- تكامل Hadoop - يمكن أن يعمل Spark مع الملفات المخزنة في HDFS.
- سبارك التفاعلية شل - سبارك مكتوب بلغة سكالا ، وله نسخته الخاصة من مترجم سكالا.
- جناح سبارك التحليلي - يأتي Spark مزودًا بأدوات لتحليل الاستعلام التفاعلي ومعالجة الرسوم البيانية وتحليلها على نطاق واسع والتحليل في الوقت الفعلي.
- مجموعات البيانات الموزعة المرنة (RDDs) - RDDs هي كائنات موزعة يمكن تخزينها مؤقتًا في الذاكرة ، عبر مجموعة من عقد الحساب. هم كائنات البيانات الأساسية المستخدمة في Spark.
- الموزعين العاملين - إلى جانب MapReduce ، هناك العديد من العوامل الأخرى التي يمكن للمرء استخدامها على RDD.
التزمت منظمات مثل NASA و Yahoo و Adobe بـ Spark. هذا ما يجب أن يقوله جون تريبير ، التحالف ورئيس النظام البيئي في Databricks ، 'إن اعتماد Apache Spark من قبل الشركات الكبيرة والصغيرة ينمو بمعدل مذهل عبر مجموعة واسعة من الصناعات ، والطلب على المطورين ذوي الخبرة المعتمدة سريع اتباع الدعوى '. لم يكن هناك وقت أفضل لتعلم Spark إذا كانت لديك خلفية في Hadoop.
نظمت Edureka دورة تدريبية خاصة حول Apache Spark & Scala ، شارك في إنشائها ممارسون في الصناعة الواقعية. للحصول على تجربة تعليم إلكتروني مباشر متميزة إلى جانب المشاريع ذات الصلة بالصناعة ، تحقق من الدورة التدريبية الخاصة بنا. ستبدأ الدُفعات الجديدة قريبًا ، لذا تحقق من الدورة هنا: .
لديك سؤال لنا؟ يرجى ذكر ذلك في قسم التعليقات وسنعاود الاتصال بك.
المنشورات ذات الصلة: