معالجة البيانات الضخمة باستخدام Apache Spark & ​​Scala



لقد ظهر Apache Spark كتطور كبير في معالجة البيانات الضخمة.

إعلان مجموعة من العناصر في جافا

توقيت الهند: 7:00 صباحًا - 08:00 صباحًا ، 17 أكتوبر 2014





توقيت المحيط الهادي الصيفي: 6:30 م - 7:30 م ، 16 أكتوبر 2014

مقاعد محدودة !! املأ النموذج على اليمين وحجز مكانك اليوم.



مرحبًا بالجميع ، نحن نجري ندوة مجانية عبر الإنترنت على Apache Spark و Scala في 18 أكتوبر 2014. عنوان الندوة على الويب هو 'معالجة البيانات الضخمة باستخدام Apache Spark and Scala' . في هذه الندوة عبر الويب ، ستتم مناقشة الموضوعات الأساسية المتعلقة بـ Apache Spark و Scala. يمكن توضيح أي استفسارات أو شكوك أثناء الجلسة.

الموضوعات التي سيتم تغطيتها:

  • ما هي البيانات الضخمة؟
  • ما هو سبارك؟
  • لماذا سبارك؟
  • نظام سبارك البيئي
  • ملاحظة حول سكالا
  • لماذا سكالا؟
  • مرحبا سبارك - عملي

لماذا سبارك؟

Apache Spark هو إطار عمل حوسبة عنقودية مفتوح المصدر لمجموعات مجتمع Hadoop. إنه مؤهل ليكون أحد أفضل محركات تحليل البيانات والمعالجة للبيانات واسعة النطاق بسرعته التي لا تضاهى ، وسهولة الاستخدام ، والتحليلات المعقدة. فيما يلي المزايا والميزات التي تجعل Apache Spark نجاحًا متقاطعًا في التحليلات التشغيلية والاستقصائية:

  • البرامج التي تم تطويرها عبر Spark تعمل 100 مرة أسرع من تلك المطورة في Hadoop MapReduce.
  • تجمع Spark 80 من المشغلين رفيعي المستوى.
  • يتيح Spark Streaming معالجة البيانات في الوقت الفعلي.
  • GraphX ​​هي مكتبة للحسابات الرسومية.
  • MLib هي مكتبة التعلم الآلي لـ Spark.
  • مكتوبًا بشكل أساسي في Scala ، يمكن تضمين Spark في أي نظام تشغيل قائم على JVM ، وفي نفس الوقت يمكن أيضًا استخدامه في طريقة REPL (القراءة والتقييم والمعالجة والتحميل).
  • لديها قدرات قوية للتخزين المؤقت واستمرار القرص.
  • يسمح Spark SQL له بالتعامل بكفاءة مع استعلامات SQL
  • يمكن نشر Apache Spark من خلال Apache Mesos أو Yarn في HDFS أو HBase أو Cassandra أو Spark Cluster Manager (مدير المجموعة الخاص بشركة Spark).
  • تحاكي Spark النمط الوظيفي لـ Scala ومجموعات API ، وهي ميزة رائعة لمطوري Scala و Java.

الحاجة إلى Apache Spark:

تقدم Spark فوائد هائلة للصناعة من حيث السرعة ، ومجموعة متنوعة من المهام التي يمكن أن تؤديها ، والمرونة ، وتحليل بيانات الجودة ، والفعالية من حيث التكلفة ، وما إلى ذلك ، وهي احتياجات اليوم. يقدم حلول تحليل البيانات الضخمة المتطورة في الوقت الحقيقي لصناعة تكنولوجيا المعلومات ، لتلبية الطلب المتزايد من العملاء. تستفيد التحليلات في الوقت الفعلي من إمكانات الأعمال إلى أكوام. إن توافقه مع Hadoop يجعل من السهل جدًا على الشركات اعتماده بسرعة. هناك حاجة ماسة للخبراء والمطورين المتعلمين من Spark ، لأن هذه تقنية جديدة نسبيًا ، يتم تبنيها بشكل متزايد.