إذا كنت بالفعل من صناعة تكنولوجيا المعلومات ، يجب أن تدرك ذلك البيانات الكبيرة هو حديث اليوم. سواء كان الأمر يتعلق بشركات ناشئة جديدة تأتي بنماذج أعمال مبتكرة ، أو ينتقل زملاؤك للانضمام إلى تلك الشركات الناشئة ، لسبب ما ، مراع أكثر اخضرارا يبدو أن البيانات الكبيرة صناعة.
إذا كنت تتساءل عن السبب ، فأوصيك بقراءة هذا حتى النهاية لأنها يمكن أن تكون مدونة ذاتية الاستكشاف ، تقودك إلى ما تريده.
فلماذا كل هذاالضجيجالمحيط البيانات الكبيرة؟
هل هو مجرد مجال آخر سوف يستقبل اللاجئين من جميع المجالات الأخرى بشكل مؤقت؟ أم أنها ستكون هنا على المدى الطويل؟
إذا كنت سأخمن ، فسأقول أنه ليس فقط سيكون هنا على المدى الطويل ، ولكن صناعة البيانات الضخمة ستكون في مركز التقدم التكنولوجي.
لأن كل شيء عنالبيانات!
تمامًا مثل الشمسيرتفعمنالشرقومجموعاتفي الالغرب، سيؤدي الاستخدام المستمر للأجهزة الحاسوبية / غير الحاسوبية إلى فورة بيانات لا يمكن إدارتها.
عندما تتجاوز هذه البيانات عتبة التعامل معها بواسطة Excel أو أي نظام إدارة قاعدة بيانات ، فإننا نطلق عليها الاسم البيانات الكبيرة .
فكر ، ما هو آخر منتج اشتريته من Amazon؟ أيهما يمكن أن يكون المنتج التالي الذي قد تشتريه بناءً على النشاط السابق؟ يتم تخزين الإجابات على هذه الأسئلة في البيانات الضخمة.
هل هناك اتجاه متزايد وراء المنتج؟ أم أن هناك اتجاه هبوطي؟ هل يشتري العميل 'جوارب' عندما يشتري 'أحذية'؟ هذه أسئلة متعلقة بحل مشاكل الأعمال.
ويمكن أن تكون هذه الأسئلة سهلة أجاب باستخدام تحليلات البيانات الضخمة .
بعد كل شيء ، ما هو استخدام البيانات ، عندما لا تكون كذلك تحليل ذلك؟
إذن ، البيانات الضخمةتماما عنتحليلات؟ليس تمامًا ، لكن Analytics هي الجائزة النهائية.
تيارات رئيسية أخرى في البيانات الضخمة هيتخزينوإدارة.
هذا هو المكان الذي يمكنك المساهمة فيه كمحترف. يمكنك تولي دور أي من:
- مهندس البيانات الضخمة
- مهندس حلول البيانات الضخمة
وتأكد من أن البيانات الضخمة التي يتم إنشاؤها متاحة دائمًا ويمكن استخدامها للتحليلات في وقت لاحق. لذلك يقودنا هذا إلى السؤال والجحيم
أين يتم تخزين البيانات الضخمة؟
هل يمكن تخزينها في ملفملف اكسل؟ هل يمكن تخزينها في ملفنظام قاعدة البيانات العلائقية؟
كل ما يمكن أن يرصده ناجيوس
قطعا لا!
إذا كان من الممكن أن يكون ، فسيكون!
وأن يطلق عليهم شيئًا مختلفًا معًا. ربما شيء من هذا القبيلاكسل البياناتأوRDBMS- البيانات:د
وهذا سيعيدنا إلى الخطوة 1 : - لماذا لا يمكن إدارة البيانات الضخمة باستخدام Excel؟ لانالبيانات الضخمة شديدة السخونة بحيث يتعذر على Excel التعامل معها. وحتى أنظمة إدارة قواعد البيانات الأخرى في واقع الأمر.
إذن ما هو البديل؟
للتعامل مع البيانات الضخمة ، لدينا حدوب . قد تكون على علم بهذه الكلمة أيضًا. لكن ، قد تتساءل ، كيف تعمل بالضبط؟
بالنسبة للمبتدئين ، HADOOP هو منتجمؤسسة أباتشي. Apache هي منظمة أمريكية غير ربحية تدعم تطوير البرمجيات مفتوحة المصدر.
يتم تعريف Hadoop على أنه إطار عمل برمجة مفتوح المصدر قائم على Java يدعم معالجة وتخزين مجموعات البيانات الكبيرة للغاية في بيئة الحوسبة الموزعة.
ما الذي يمكن أن يفعله Hadoop ، لكن لا يستطيع Excel فعله؟
معالجة وفهم البيانات غير المهيكلة!يمكن بسهولة التعامل مع البيانات المنظمة التي تكون في شكل جدول أو بطريقة أخرى. يمكن لبرنامج Excel القيام بذلك ، وكذلك يمكن لأي RDBMS أخرى.
ولكن عندما تنخفض قابلية القراءة وتصبح البيانات غير منظمة ، فهذا هو مكان البيانات الضخمةأدوات مثل Hadoopأحرز هدفا. مثال على البيانات غير المهيكلة سجل النظام . صورة عينة أدناه.
هذه السجلات بالتأكيد غير قابلة للاستعلام باستخدام Excel.
يمكن لـ Hadoop ، مثل أدوات البيانات الكبيرة ، فهم البيانات كما هي ، من خلال اكتشاف الأنماط وتشكيل العلاقات بين الحقول المختلفة. وبمجرد أن تصبح البيانات ذات لمسة علائقية ، فإنها تصبح كذلكجاهز للتحليلات.
التحليلات هي ما سيحدث تأثيرًا تجاريًا على المؤسسة! سوف تستفيد حياتك المهنية إلى حد كبير من خلال مشاركتها في مجال البيانات الضخمة هذا.
' هل يمكنني جعله بمثابة Hadoop-er؟ '
... قد يكون السؤال التالي الذي يدور في ذهنك. وأعتقد بحق ، أن البيانات الضخمة هي سوق حار أكثر من أي وقت مضى ، وأهمية كما كانت دائمًا.
جافا لديها علاقة
بدون Hadoop ، ستواجه الشركات صعوبة في التعامل مع البيانات الضخمة. وبدون المهنيين المهرة مثلك ، ستواجه الشركات صعوبة في التعامل مع Hadoop.
هناك تقرير يقول أن هناك عجزًا في المواهب في هذا المجال ، عجز المواهب يعني انخفاض المهنيين ولكن الطلب مرتفع. وهذا على نطاق عالمي ولا يقتصر على منطقة جغرافية معينة.
هل تريد ارقام
إلى معهد ماكينزي العالمي تشير الدراسة إلى أن الولايات المتحدة ستواجه نقصًا يبلغ حوالي 190 ألف عالم بيانات و 1.5 مليون مدير ومحلل يمكنهم فهم واتخاذ القرارات باستخدام البيانات الضخمة بحلول عام 2018.
نصيحة مهنية لك؟ تصفح عندما يكون المد منخفضًا!
لكن هل أنت محدد فقط هادوب ؟
ليس صحيحا. هناك عدد من الأدوات لمعالجة البيانات الضخمة ، وتعتبر Hadoop واحدة من أفضلها. لكن ليس في كل مرة!
هناك أوقات لا يكون فيها Hadoop هو الأفضل. على سبيل المثال ، إذا كنت شخصًا غير تقني ولا يجيد كتابة برامج MapReduce.
في مثل هذه الحالات ، يمكنك استخدام ملفاتTALEND، والذي يمنحك واجهة مستخدم رسومية للقيام بكل ما كنت ستفعله باستخدام MapReduce.
لكتابة أكواد Java أبسط ، يمكنك استخدامخنزير.
إذا كنت ترغب في تشغيل استعلامات مثل SQL على البيانات الكبيرة ، إذنخلية نحليمكن استخدامها.
إذا كنت تريد استخدام البيانات المخزنة في قاعدة بيانات NoSQL ، إذنHBaseيمكن استخدامها.
لإجراء التحليلات في الوقت الفعلي ، يمكنك استخدامشرارة.
هذه هي أدوات البيانات الكبيرة ، التي تسير جنبًا إلى جنب مع Hadoop ، لكنها لا تحل محل Hadoop على الإطلاق. إنها إضافات Hadoop للبيانات الضخمة.
إلى جانب ذلك ، هناك عدة أدوات أخرى مثل SQOOP ، FLUME ، OOZIE ، إلخ والتي يمكن دمجها مع إطار عمل Hadoop لحل مشاكل العمل المختلفة.
ماذا تتوقع الصناعة منك بصفتك خبيرًا في البيانات الضخمة؟
الصناعة في حاجة ماسة إلى مهندسو البيانات الكبار الذين يمكنهم إنشاء حل بيانات ضخمة شامل لمؤسساتهم. مهندسو البيانات الضخمة هم أولئك الذين لديهم خبرة في جميع الأدوات المذكورة مسبقًا.
هذه شهادة من متعلم من Edureka دورة:
اصبح ال بدءًا من تدريب شهادة البيانات الكبيرة و Hadoop من Edureka والذي يساعد المتعلمين على أن يصبحوا خبراء في مجال HDFS والغزل و MapReduce و Pig و Hive و HBase و Oozie و Flume و Sqoop باستخدام حالات الاستخدام في الوقت الفعلي على البيع بالتجزئة والوسائط الاجتماعية والطيران والسياحة والمجال المالي .