عندما كنت أصغر سنًا ، كنت أحب سلسلة أفلام حرب النجوم. لقد أحببته كثيرًا لدرجة أنه كان لدي شريط فيديو لكل واحد منهم. اعتدت مشاهدتهم مرارا وتكرارا. ثم جاء وقت مشغلات DVD واضطررت إلى الحصول على هذه الأفلام مرة أخرى على DVD. لم يكن لدي أي مخاوف بشأن شراء المجموعة بأكملها مرة أخرى في DVD لأنني أردت تجربة التكنولوجيا الجديدة والاستمرار في الاستمتاع بأفلامي المفضلة أيضًا. كانت الأمور رائعة حتى ظهرت تقنية جديدة أخرى ، وهي بلو راي. بعد أن اشتريت الأفلام مرتين بالفعل ، لم أكن أتطلع لشرائها مرة أخرى. لبعض الوقت ، لم أبذل أي جهد 'لتحديث' نفسي ، معتقدة أنني سأكون بخير بدون هذه التكنولوجيا. وأنا بخير. لم يؤثر ذلك على حياتي على أي حال. لكن كان بإمكاني أن أرى تغييراً في الاتجاه ولم أتمكن من مشاركة أفلامي مع أصدقائي ، كما كانوا يفعلون مع بعضهم البعض. لقد شعرت حقا بالإهمال.
أخيرًا خرجت وحصلت على الفيلم في Blu-ray. أتذكر ذلك ليس لأنني أحب الفيلم ، ولكن بسبب حقيقة أن جودة الفيديو كانت مذهلة. وفوق كل ذلك ، حصلت على مجموعة الأفلام الكاملة في قرص Blu-ray واحد.
تكون الحاجة أو الرغبة في البقاء على اطلاع أقوى عندما يتعلق الأمر بمهنتنا حيث أن المخاطر أكبر. لقد أصبح من الضروري أن تظل في صدارة اللعبة.
4 أسباب عملية لتعلم Hadoop 2.0:
على الرغم من أنه أمر لا مفر منه ، فقد أصبح البقاء على اطلاع دائم في مهنتنا جزءًا مهمًا من حياتنا. بقدر ما قد يبدو الأمر مخيفًا ، فلا داعي للقلق لأن التقنيات لا تتغير حقًا بهذه السرعة أو بشكل جذري. لكن المحادثات والمعلومات حول هذه التقنيات والأشياء التي يمكننا القيام بها بها تكتسب وضوحًا. فيما يلي بعض الأسباب التي تجعلك على اطلاع دائم:
رقم 1: لا تنشغل بنفسك
قد يجعلك عدم الاهتمام بآخر التحديثات في التكنولوجيا تبدو وكأنك غزال عالق في مصباح أمامي. ليست بالضبط صورة مبهجة لقدراتك المهنية. كونك على اطلاع بالمستجدات سيجعلك تحظى باحترام أقرانك لمهاراتك المهنية. قد لا تكون هناك حاجة لتنفيذ كل شيء جديد تتعلمه ولكن إدراك التحديثات أمر حتمي.
على سبيل المثال ، عندما يكون هناك حديث على Hadoop ، يمكنك السماح لزملائك بمعرفة أن Hadoop 2.5.0 يحتوي على تحسينات في المصادقة عند استخدام خادم وكيل HTTP. وأيضًا في الإصدار نفسه من Hadoop ، هناك شرط للكتابة مباشرة إلى الجرافيت.
يصبح من الضروري أن تكون على اطلاع بآخر التحديثات عندما تفكر المؤسسات في الهجرة إلى Hadoop. و 'المعرفة' يمكن أن تحدث فرقًا كبيرًا في حياتك المهنية.
# 2: امتلاك ميزة تنافسية
يتم احترام المهنيين المهرة في مجالاتهم. والبقاء على اطلاع هو أفضل طريقة لتكون في القمة. تعكس حاجتك للبقاء على اطلاع دائم شغفك بعملك. من خلال تطوير الخبرة في وظيفتك ومجال عملك ، ستكسب ثقة واحترام الأشخاص من حولك. من منظور القيادة ، هذا لا يقدر بثمن!
حتى إذا كانت مؤسستك لا تزال تعمل مع Hadoop 1.0 ، فإن معرفة أحدث ميزات Hadoop 2 ستبقيك على المسار الصحيح لأنه جديد نسبيًا وبالتأكيد أفضل. كونك أول من يتعلم هذا سوف يمنحك ميزة على أقرانك.
# 3: فرص جديدة
إنها حقيقة محزنة أن دورنا الحالي يتغير باستمرار. مع مرور الوقت ، تأتي المسؤوليات والفرص الإضافية للقيام بمهام جديدة. من خلال مواكبة أحدث اتجاهات الصناعة ، فأنت في أفضل وضع لاغتنام هذه الفرص.
تبحث شركات مثل Macy's و Lockheed Martin و California Creative Solutions و Capital One و CSpring و CACI International Inc. و Oracle و Yahoo! و American Express و BlueHawk و Aetna و Lawrence Livmore National Laboratory وغيرها الكثير عن الأشخاص المهرة في أحدث ميزات Hadoop 2 ، مثل YARN.
# 4: اتخذ قرارات أفضل
ستسمح لك المعلومات الإضافية باتخاذ قرارات مستنيرة وقرارات أفضل. سيساعدك على التعرف على الفرص وإضافة قيمة إلى استراتيجية مؤسستك.
يحتوي Hadoop 2 على ميزات تعمل على تحسين السرعة وتقليل التكلفة. يمكن أن يؤدي اقتراح خيارات لتحسين الأداء وزيادة السرعة بالتأكيد إلى تعزيز إنتاجية المؤسسة. فيما يلي بعض ميزات Hadoop 2 التي ستفيد المنظمة والاقتراح منها سيعزز حياتك المهنية أيضًا.
دعم تشغيل Hadoop على Microsoft Windows
توزيع مبسط لثنائيات MapReduce عبر HDFS في ذاكرة التخزين المؤقت الموزعة YARN.
دعم محسّن للتطبيقات الجديدة على YARN مع Application History Server و Application Timeline Server
دعم HTTPS الكامل في HDFS
تكامل Kerberos لمتجر المخطط الزمني لـ YARN.
ما هو القارئ المخزن
دعم التسلسل الهرمي للتخزين غير المتجانس في HDFS.
ذاكرة التخزين المؤقت في الذاكرة لبيانات HDFS مع الإدارة المركزية والإدارة.
توزيع مبسط لثنائيات MapReduce عبر HDFS في ذاكرة التخزين المؤقت الموزعة YARN.
هناك أكثر من مجرد أسباب عملية للبقاء على اطلاع دائم وهناك أسباب فنية أيضًا. يحتوي Hadoop على العديد من الميزات المفيدة للمؤسسات. إن إلقاء نظرة متعمقة عليها سيمنحك صورة واضحة لما هو مفيد.
ما هو آخر تحديث في Hadoop؟
يمر كل منتج بمراحل مختلفة من الإصدارات ويخرج بإصدارات مختلفة منه. Hadoop ليس استثناء وقد توصل إلى Hadoop 2.0. لقد توصلت مؤسسة Apache إلى إصدارات لاحقة من Hadoop مثل Hadoop 2.1.0 و Hadoop 2.4.0 ووصلت إلى Hadoop 2.5.1 ، وهو أحدث إصدار تم إصداره في سبتمبر 2014.
لماذا تم إصدار Hadoop 2؟
مع الإصدار الجديد تأتي الميزات المضافة والأخطاء الثابتة. لذلك في كل مرة تستخدم فيها إصدارًا معينًا من Hadoop وتعتقد أنه يمكن إضافة ميزة معينة أو أن بعض الأخطاء بحاجة إلى الإصلاح ، فأنت تدع الرجال في مؤسسة Apache يعرفون عنها. يعمل هؤلاء الأشخاص بدورهم عليه ويقدمون لك منتجًا أفضل في الإصدار التالي.
Hadoop 2 - ليس مجرد رقم
Hadoop 2 ليس فقط أحدث إصدار من Hadoop. إلى حد كبير ، إنها هندسة من الجيل الثاني. يصر آرون مورثي ، المؤسس والمهندس المعماري في موزع Hadoop Hortonworks ، على أن التمييز مهم لأن مقدار إعادة الهندسة المطلوبة لنقل Hadoop إلى ما بعد معالجة الدُفعات وإلى عالم التحليلات في الوقت الفعلي كان كبيرًا.
دعونا نناقش كيف يختلف Hadoop 2.0 عن سابقه Hadoop 1.0. من الواضح أن الإصدار الذي تم إصداره لاحقًا سيكون أفضل من الإصدار السابق. فيما يلي أربعة تحسينات رئيسية في Hadoop 2.0 عبر Hadoop 1.x:
اتحاد HDFS - قابلية التوسع الأفقي لـ NameNode
NameNode High Availability - لم يعد NameNode نقطة واحدة من نقاط الفشل
YARN - القدرة على معالجة تيرابايت وبيتابايت من البيانات المتوفرة في HDFS باستخدام تطبيقات غير MapReduce مثل MPI و GIRAPH
مدير الموارد - يقسم الوظيفتين الرئيسيتين لـ JobTracker المثقل بالأعباء (إدارة الموارد وجدولة / مراقبة الوظائف) إلى شيطانين منفصلين: مدير موارد عالمي و ApplicationMaster لكل تطبيق
هناك ميزات إضافية مثل جدولة السعة (تمكين دعم متعدد الإيجارات في Hadoop) ، لقطة البيانات ، ودعم Windows ، والوصول إلى NFS ، مما يتيح زيادة اعتماد Hadoop في الصناعة لحل مشاكل البيانات الكبيرة.
Hadoop 2.X مقابل Hadoop 1.X
دعونا نجري مقارنة صغيرة ونرى كيف يكون Hadoop 2.0 أفضل ويختلف عن Hadoop 1.0
لماذا يُفضل Hadoop 2 على Hadoop 1.0؟
يقدم Hadoop 2.0 تحسينات في الأداء تفيد التقنيات ذات الصلة في نظام Hadoop البيئي. إلى جانب الميزات الرائدة لـ HDFS وهندسة الجيل الثاني (YARN) ، هناك أسباب أكثر وأكثر لتفضيل Hadoop 2 على Hadoop 1.0:
لم يعد Hadoop 2 يحتوي على قيود اللغة. بمعنى ، يمكن لمجموعة واسعة من المحترفين الآن استخدام Hadoop.
باستخدام Hadoop 2 ، يتم التغلب على عقبات مثل نقص برامج MapReduce.
مرتين أسرع من Hadoop 1.0
ضعف عائد الاستثمار مع الأجهزة الموجودة.
مع YARN ، تكون واجهة برمجة التطبيقات أكثر انفتاحًا ومرونة.
يوسع Hadoop 2 إمكانيات استخدام Hadoop في مشاريع البيانات الكبيرة.
كود فيبوناتشي C ++
باستخدام Hadoop 2 ، يمكن للمطورين الآن أداء مجموعة كبيرة ومتنوعة من مهام معالجة البيانات ، بما يتجاوز نطاق Hadoop السابق لمعالجة الدُفعات.
يقدم فرصًا جديدة لمديري المعلومات ويعالج أوجه القصور في الإصدارات السابقة.
يتميز هذا الإصدار الجديد بميزة فريدة تتمثل في تشغيل أحمال عمل متعددة على نفس مجموعة Hadoop.
لم يعد Hadoop مقيدًا بميزة واحدة. يمتد تطبيقه الآن إلى ما وراء HDFS و MapReduce.
الفوائد الرئيسية لـ YARN
نحن ندرك أن YARN هي هندسة معمارية من الجيل الثاني ، دعنا نرى ما يجعلها رائعة للغاية.
مقياس
نماذج وخدمات البرمجة الجديدة
استخدام الكتلة المحسن
رشاقة
أكثر بكثير من جافا
و أكثر من ذلك بكثير
الطلب على مهارات Hadoop 2
تقوم المنظمات الآن بإطلاق Hadoop 2. أو تجربته. وبالتالي ، هناك حاجة إلى محترفين ماهرين في Hadoop 2. بدأت العديد من المؤسسات بالفعل في البحث داخليًا عن أشخاص للعمل مع Hadoop. هناك مؤشرات واضحة على أن YARN آخذ في الارتفاع وسيحل في النهاية محل الطلب على مهارة MapReduce.
فيما يلي بعض الآراء حول الطلب الحالي والمتوقع لمهارات Hadoop:
وفقًا لمحللين من Gartner ، يعد Hadoop 2 تطورًا حيويًا حيث وجدت الشركات الكبرى في جميع أنحاء العالم أن Hadoop سيغير قواعد اللعبة في إدارة البيانات الكبيرة.
وفقًا لـ Eric Kavanagh ، من مجموعة Bloor ، اكتسب Hadoop 2.0 قوة جذب بين العاملين في مجال المعلومات الذين يسعون إلى الجدل حول البيانات الكبيرة.
يستمر اعتماد Hadoop 2.0 في الارتفاع ويدخل الآن مرحلة النضج.
تدرك المنظمات فوائد YARN وهي متحمسة لذلك.
إليك لقطة من فرص العمل لـ Hadoop 2.0 / YARN في إنديد.كوم
من الذي ينتقل إلى Hadoop 2 أو لديه بالفعل؟
ياهو:
ياهو! ، الرائد في كل شيء قام Hadoop بتطبيق YARN (0.23.x). وفقًا لمورثي ، تعالج مجموعة ياهو المكونة من 35000 عقدة الآن 130-150 وظيفة في اليوم مقارنة بـ50-60 قبل YARN.
عند الحديث عن الأداء الممتاز ، يقتبس مورثي ، 'عندما يكون لديك 2x أكثر من 35000 إلى 40000 عقدة ، فهذا أمر استثنائي'. وأضاف أيضًا: 'إنها قصة مقنعة جدًا أن تخبر رئيس قسم المعلومات أنه إذا قمت للتو بترقية برنامجك من Hadoop 1 إلى Hadoop 2 ، فسترى تحسينات مضاعفة في الإنتاجية في وظائفك.'
موقع ئي باي:
تمتلك eBay واحدة من أكبر مجموعات Hadoop في الصناعة ، حيث توجد البيانات بالبيتابايت. لقد قاموا أيضًا بترحيل مجموعاتهم إلى Hadoop 2.
خاتمة:
نظرًا لأن Hadoop 2 أصبح ناضجًا وأسهل في التنفيذ ، فهم يقنعون المتشككين حتى أن المزيد والمزيد من المنظمات تهاجر إلى Hadoop 2.0. هناك أسباب وجيهة لتجنب إصدارات 1.x. ولكن مع Hadoop 2 ، حتى غير المؤمنين يفكرون فيه لأنه يمكن استخدامه لمجموعة واسعة من الاستخدامات. تعلم Hadoop 2.0 وتنفيذه لإجراء عمليات حسابية على البيانات الكبيرة ، سوف تفتح البوابات لمهنة متقدمة تقنيًا ومجزية ماليًا.
لديك سؤال لنا؟ يرجى ذكرها في قسم التعليقات وسنعاود الاتصال بك.
كيفية التصريح عن مجموعة ديناميكية في جافا
المنشورات ذات الصلة: