في عالم اليوم، البيانات هي المكون الرئيسي من تطبيقات الإنترنت وعادة ما يشمل ما يلي:
- زيارات الصفحة والنقرات
- أنشطة المستخدم
- الأحداث المقابلة لعمليات تسجيل الدخول
- أنشطة الشبكات الاجتماعية مثل الإعجابات والمشاركة والتعليقات
- المقاييس الخاصة بالتطبيقات (مثل السجلات ووقت تحميل الصفحة والأداء وما إلى ذلك)
هذه يمكن استخدام البيانات لتشغيل التحليلات في الوقت الفعلي تخدم أغراضًا مختلفة ، بعضها:
- توصيل الإعلانات
- تتبع سلوكيات المستخدم غير الطبيعية
- عرض البحث على أساس الصلة
- عرض التوصيات بناء على الأنشطة السابقة
مشكلة: ليس من السهل جمع جميع البيانات حيث يتم إنشاء البيانات من مصادر مختلفة بتنسيقات مختلفة
المحلول: تتمثل إحدى طرق حل هذه المشكلة في استخدام نظام المراسلة. توفر أنظمة المراسلة تكاملاً سلسًا بين التطبيقات الموزعة بمساعدة الرسائل.
أباتشي كافكا:
Apache Kafka هو نظام مراسلة اشتراك للنشر الموزع تم تطويره في الأصل في LinkedIn وأصبح لاحقًا جزءًا من مشروع Apache. كافكا سريع ورشيق وقابل للتطوير وموزع حسب التصميم.
عمارة كافكا والمصطلحات:
الموضوع: يسمى تدفق الرسائل التي تنتمي إلى فئة معينة موضوعًا
منتج : يمكن أن يكون المنتج أي تطبيق يمكنه نشر رسائل إلى موضوع ما
ما هو مترجم جيت في جافا
مستهلك : يمكن أن يكون المستهلك أي تطبيق يشترك في الموضوعات ويستهلك الرسائل
الوسيط: مجموعة كافكا هي مجموعة من الخوادم ، كل منها يسمى الوسيط
كافكا قابل للتطوير ويسمح بإنشاء أنواع متعددة من العناقيد.
- مجموعة وسيط واحد عقدة واحدة
- مجموعة وسيط متعددة عقدة واحدة
- مجموعة وسيط متعدد العقد
وسيط عقدة واحدة
ما هو دور ZooKeeper؟
ينسق كل وسيط كافكا مع وسطاء كافكا الآخرين باستخدام ZooKeeper. يتم إخطار المنتجين والمستهلكين من خلال خدمة ZooKeeper حول وجود وسطاء جدد أو فشل الوسيط في نظام كافكا.
عقدة متعددة وسطاء
عقد متعدد الوسطاء
كافكا @ ينكدين
LinkedIn Newsfeed مدعوم من كافكا
توصيات LinkedIn مدعومة من قبل كافكا
يتم تشغيل إشعارات LinkedIn بواسطة كافكا
ملحوظة: بصرف النظر عن هذا ، يستخدم LinkedIn كافكا للعديد من المهام الأخرى مثل مراقبة السجل ، ومقاييس الأداء ، وتحسين البحث ، من بين أمور أخرى.
من غيرك يستخدم كافكا؟
تحويل البيانات: يستخدم DataSift كافكا كمجمع لرصد الأحداث ولتتبع استهلاك المستخدمين لتدفقات البيانات في الوقت الفعلي
ووغا: يستخدم Wooga كافكا لتجميع ومعالجة بيانات التتبع من جميع ألعابهم على Facebook (المستضافة لدى مزودين مختلفين) في موقع مركزي
الخلية الإسفنجية: تستخدم Spongecell كافكا لتشغيل تحليلاتها بالكامل وخط أنابيب المراقبة الذي يقود تطبيقات الوقت الفعلي وتطبيقات ETL
لوغلي: Loggly هي أشهر إدارة سجلات تستند إلى السحابة في العالم. يستخدم كافكا لجمع السجلات.
دراسة مقارنة: كافكا مقابل ActiveMQ مقابل RabbitMQ
يحتوي كافكا على تنسيق تخزين أكثر كفاءة ، ففي المتوسط ، تحتوي كل رسالة على 9 بايت في كافكا ، مقابل 144 بايت في ActiveMQ
في كل من ActiveMQ و RabbitMQ ، يحافظ الوسطاء على حالة تسليم كل رسالة عن طريق الكتابة إلى القرص ، ولكن في حالة كافكا ، لا توجد كتابة على القرص ، مما يجعلها أسرع.
مع التبني الواسع لكافكا في الإنتاج ، يبدو أنه حل واعد لحل مشاكل العالم الحقيقي. يمكن أن يساعدك تدريب Apache Kafka على التقدم عن نظرائك في مهنة التحليلات في الوقت الفعلي. ابدأ مع برنامج تعليمي Apache Kafka هنا .
لديك سؤال لنا؟ يرجى ذكر ذلك في قسم التعليقات وسنعاود الاتصال بك.
المنشورات ذات الصلة: