بمساهمة بريثفيراج بوس
تكون متغيرات البث مفيدة عندما تحتاج مجموعات البيانات الكبيرة إلى التخزين المؤقت في المنفذين. تشرح هذه المدونة كيفية البدء.
تحديد مسار الفصل لجافا
ما هي متغيرات البث؟
متغيرات البث في Apache Spark هي آلية لمشاركة المتغيرات عبر المنفذين التي من المفترض أن تكون للقراءة فقط. بدون متغيرات البث ، سيتم شحن هذه المتغيرات إلى كل منفذ لكل تحويل وإجراء ، وقد يتسبب ذلك في زيادة الحمل على الشبكة. ومع ذلك ، مع متغيرات البث ، يتم شحنها مرة واحدة لجميع المنفذين ويتم تخزينها مؤقتًا للرجوع إليها في المستقبل.
حالة استخدام متغيرات البث
تخيل أنه أثناء إجراء التحويل ، نحتاج إلى البحث عن جدول كبير من الرموز البريدية / الرموز السرية. هنا ، ليس من الممكن إرسال جدول البحث الكبير في كل مرة إلى المنفذين ، ولا يمكننا الاستعلام عن قاعدة البيانات في كل مرة. يجب أن يكون الحل هو تحويل جدول البحث هذا إلى متغيرات البث وسيقوم Spark بتخزينه مؤقتًا في كل منفذ للرجوع إليه في المستقبل.
لنأخذ مثالاً بسيطًا لفهم المفاهيم المذكورة أعلاه. لدينا ملف CSV بأسماء الدول وعواصمها. يمكن العثور على ملف CSV هنا .
بافتراض أننا نقوم بمعالجة البيانات الديموغرافية للبلدان وأننا بحاجة إلى الحصول على رأس مال هذا البلد. في هذه الحالة يمكننا تحويل البيانات الموجودة في ملف CSV إلى متغير بث.
أولاً نقوم بتحميل ملف CSV في الخريطة ، إذا تم العثور على الملف ، فستعود الطريقة بعض الدول) وإلا فإنه يعود لا شيء .
بعد التحميل الناجح لملف CSV ، نقوم بتحويل الخريطة إلى متغير بث واستخدامه في برنامجنا.
في مقتطف الشفرة أعلاه نقوم بتحميل ملف CSV على الخريطة بلدان ثم نقوم بتحويل تلك الخريطة إلى متغير بث البلدان . بعد ذلك ، نقوم بإنشاء RDD من مفاتيح بلدان . في ال searchCountryDetails الطريقة التي نبحث فيها عن جميع البلدان بدءًا من حرف محدد من قبل المستخدم وتقوم الطريقة بإرجاع RDD للدول مع عواصمها. متغير البث كونتري كاش يستخدم للبحث عن العواصم.
بهذه الطريقة لا نحتاج إلى إرسال بيانات CSV كاملة في كل مرة نحتاج فيها إلى البحث.
رمز searchCountryDetails هو مبين أدناه ،
يمكن العثور على شفرة المصدر بالكامل هنا .
لديك سؤال لنا؟ أذكرها في قسم التعليقات وسنعاود الاتصال بك.
المنشورات ذات الصلة: