إسناد إعلاني بحجم التيرابايت، يعود إلى ما يقارب الوقت الفعلي

محرّك شبه لحظي لحساب العائد على الإنفاق الإعلاني (ROAS)، يعالج بيانات استقطاب المستخدمين بأحجام تُقاس بالتيرابايت. مبني على AWS باستخدام Apache Spark، ويتولى مسارات ETL (الاستخراج والتحويل والتحميل) من GCS إلى Iceberg.

المشكلة

كان مسار بيانات استقطاب المستخدمين في المنصة يعالج تيرابايتات من بيانات الألعاب مع تراجع كبير في الأداء وتكاليف غير متوقعة لنقل البيانات إلى خارج السحابة (egress). وتمثّل السبب الجذري في سلوك التقييم الكسول (lazy evaluation) في Spark والتخزين المؤقت غير السليم لإطارات البيانات (DataFrame)، وهو ما لم تكشفه أدوات المراقبة القائمة.

كيف بنيناه

دقّقت Bayseian البنية الكاملة لمسار Spark على AWS، وحدّدت مشكلات التقييم الكسول والتخزين المؤقت، وأعادت بناء مسار ETL من GCS إلى Iceberg بخطط تنفيذ صحيحة واستراتيجيات تقسيم وسياسات تخزين مؤقت سليمة.

ما الذي تغيّر

تعافى أداء المسار بدرجة كبيرة مع انخفاض تكاليف نقل البيانات إلى خارج السحابة. وأصبح إسناد العائد على الإنفاق الإعلاني شبه اللحظي يعمل بالإنتاجية المطلوبة لعمليات استقطاب المستخدمين في بيئة الإنتاج.