Motor de ROAS (retorno de la inversión publicitaria) casi en tiempo real que procesa datos de adquisición de usuarios a escala de terabytes. Construido en AWS con Apache Spark, gestiona flujos ETL de GCS a Iceberg.
El problema
El flujo de datos de adquisición de usuarios de la plataforma procesaba terabytes de datos de videojuegos con una degradación significativa del rendimiento y costos inesperados de salida de datos de la nube (egress). La causa raíz era el comportamiento de evaluación diferida (lazy evaluation) de Spark y un almacenamiento en caché inadecuado de los DataFrame, algo que el monitoreo existente no detectaba.
Cómo lo construimos
Bayseian auditó toda la arquitectura del flujo de Spark en AWS, identificó los problemas de evaluación diferida y de caché, y reconstruyó el ETL de GCS a Iceberg con planes de ejecución correctos, estrategias de particionamiento y políticas de caché adecuadas.
Qué cambió
El rendimiento del flujo se recuperó de forma significativa y se redujeron los costos de salida de datos de la nube. La atribución de ROAS casi en tiempo real ahora procesa al ritmo requerido para las operaciones de adquisición de usuarios en producción.
