سرعان ما أصبحت Apache Hadoop هي التقنية المفضلة للمؤسسات التي تستثمر في البيانات الضخمة ، حيث تعمل على تشغيل بنية بيانات الجيل التالي. نظرًا لأن Hadoop يعمل كمنصة بيانات قابلة للتطوير ومحرك حسابي ، فقد ظهر علم البيانات مرة أخرى كمحور أساسي للابتكار المؤسسي ، مع حلول البيانات المطبقة مثل توصية المنتجات عبر الإنترنت والكشف الآلي للاحتيال وتحليل آراء العملاء.
في هذه المقالة ، نقدم نظرة عامة على علم البيانات وكيفية الاستفادة من Hadoop لمشاريع علوم البيانات واسعة النطاق.
hadoop الأدوار والمسؤوليات الإدارية
كيف يكون Hadoop مفيدًا لعلماء البيانات؟
Hadoop هو نعمة لعلماء البيانات. دعونا نلقي نظرة على كيفية مساعدة Hadoop في زيادة إنتاجية علماء البيانات. يتمتع Hadoop بقدرة فريدة حيث يمكن تخزين جميع البيانات واسترجاعها من مكان واحد. وبهذه الطريقة يمكن تحقيق ما يلي:
- القدرة على تخزين جميع البيانات بتنسيق RAW
- تقارب صومعة البيانات
- سيجد علماء البيانات استخدامات مبتكرة لأصول البيانات المجمعة.
مفتاح قوة Hadoop:
- تقليل الوقت والتكلفة - يساعد Hadoop في تقليل الوقت والتكلفة بشكل كبير لبناء منتجات البيانات على نطاق واسع.
- الحساب متزامن مع البيانات - تم تصميم نظام البيانات والحساب للعمل معًا.
- بأسعار معقولة على نطاق واسع - يمكن استخدام عقد الأجهزة 'السلعية' ، وهي ذاتية الشفاء ، وممتازة في المعالجة المجمعة لمجموعات البيانات الكبيرة.
- مصممة لكتابة واحدة وقراءات متعددة - لا توجد عمليات كتابة عشوائية ومُحسَّن لتحقيق الحد الأدنى من البحث على محركات الأقراص الثابتة
لماذا Hadoop مع علم البيانات؟
السبب الأول: استكشف مجموعات البيانات الكبيرة
السبب الأول والأهم هو أن المرء يستطيع استكشف مجموعات البيانات الكبيرة مباشرة مع Hadoop دمج Hadoop في ال تدفق تحليل البيانات .
يتم تحقيق ذلك من خلال استخدام إحصائيات بسيطة مثل:
- يعني
- الوسيط
- كمي
- ما قبل المعالجة: grep ، regex
يمكن للمرء أيضًا استخدام أخذ العينات / التصفية المخصصة لتحقيق ذلك عشوائي: مع أو بدون استبدال ، عينة بواسطة مفتاح فريد و K-fold Cross-validation.
السبب الثاني: القدرة على استخراج مجموعات البيانات الكبيرة
تواجه خوارزميات التعلم ذات مجموعات البيانات الكبيرة تحدياتها الخاصة. التحديات هي:
- البيانات لن تتناسب مع الذاكرة.
- يستغرق التعلم وقتًا أطول بكثير.
عند استخدام Hadoop ، يمكن للمرء أداء وظائف مثل توزيع البيانات عبر العقد في مجموعة Hadoop وتنفيذ خوارزمية موزعة / متوازية. للتوصيات ، يمكن استخدام خوارزمية Alternate Least Square وللتجميع يمكن استخدام K-Means.
السبب رقم 3: إعداد البيانات على نطاق واسع
نعلم جميعًا أن 80٪ من أعمال علوم البيانات تتضمن 'إعداد البيانات'. يعد Hadoop مثاليًا لإعداد الدُفعات وتنظيف مجموعات البيانات الكبيرة.
السبب الرابع: تسريع الابتكار المستند إلى البيانات:
هياكل البيانات التقليدية لها عوائق أمام السرعة. يستخدم RDBMS مخطط على الكتابة وبالتالي فإن التغيير مكلف. إنه أيضًا ملف حاجز عالي للابتكار القائم على البيانات.
java cast string حتى الآن
يستخدم Hadoop 'المخطط عند القراءة' مما يعني وقت أسرع للابتكار وبالتالي يضيف أ حاجز منخفض على الابتكار القائم على البيانات.
لذلك لتلخيص الأسباب الأربعة الرئيسية التي تجعلنا بحاجة إلى Hadoop مع Data Science سيكون:
- منجم مجموعات البيانات الكبيرة
- استكشاف البيانات مع مجموعات البيانات الكاملة
- المعالجة المسبقة على نطاق واسع
- دورات بيانات أسرع
لذلك نرى أنه يمكن للمؤسسات الاستفادة من Hadoop لصالحها في استخراج البيانات وجمع النتائج المفيدة منها.
مثال كتلة ثابتة في جافا
لديك سؤال لنا؟؟ يرجى ذكرها في قسم التعليقات وسنعاود الاتصال بك.
المنشورات ذات الصلة: