Big Data & Cloud Analytics

En proyectos con más de cien modelos dbt en BigQuery, los tests pasan del millar. Si un dato no los pasa, no llega a la capa gold. Arquitectura medallion, de la ingesta al cuadro de mando.

Hablemos de tus datos

«Los modelos de datos evolucionan más despacio que el código, y el daño de un mal modelo es sigiloso. No sabrás que estás en peligro hasta que sea demasiado tarde. Así que tómate el tiempo de hacer las cosas bien. Ve despacio para ir más rápido y más seguro a largo plazo.»

— Joe Reis

Una plataforma de datos tiene que aguantar años de negocio, cambios de esquema y picos de campaña.

Nosotros la construimos como se construye el software serio. Cada transformación versionada en git, cada dato con su test, cada flujo con su alerta.

Nuestro fuerte es lo analítico, y usamos dbt a los dos lados: en el warehouse y en la base operacional.

dbt ≠ pipeline

dbt es la T del ELT y lo tratamos como se trata el buen software, el patrón que el sector llama analytics engineering. Pero la herramienta es solo una pieza: la ingesta, la orquestación y la vigilancia van aparte, y nuestro valor está en montar y operar el conjunto completo.

metricas_fiables.sql ✕▶ Ejecutar

-- ¿de qué números te fías?
SELECT metrica, linaje, ultima_ejecucion
FROM `gold.metricas_de_negocio`
WHERE fiable = TRUE;
-- en un proyecto: 1.646 tests sobre 111 modelos dbt

✓ Consulta completada (1,4 s) · el linaje de cada métrica, de la ingesta al análisis

Fila	metrica	linaje	ultima_ejecucion
1	ventas_del_dia	completo	hace 4 min
2	stock_por_almacen	completo	hace 4 min
3	margen_por_promocion	completo	hace 4 min

El dato que no cuadra no llega a gold. Ahí está el gobierno.

Donde más hemos profundizado. En la nube de Google, BigQuery como warehouse y dbt en las transformaciones.
De la pizarra a la publicación. Lo que damos por terminado (nuestra definition of done) se decide mucho antes del código, al diseñar la base de datos con el modelado clásico del sector, nomenclatura estándar, homogeneización y normalización del dato. Es más análisis que desarrollo, y es donde se gana la fiabilidad.
El testeo es la parte que casi todo el mundo se salta. En los proyectos grandes, los tests se cuentan por miles. Unit tests que corren antes de publicar y data tests que se ejecutan cada día, con cada carga.
Arquitectura por capas. El patrón medallion separa el dato crudo del verificado, cada capa con su propósito y su control de acceso.
La infraestructura también es código. Terraform levanta los mismos datasets, permisos y entornos en desarrollo y en producción.
Tiempo real cuando el negocio lo pide. Ingesta con Pub/Sub y Dataflow para los flujos que no pueden esperar a la carga nocturna.

dbt en BigQuery y en Oracle

En lo analítico trabajamos con dbt Cloud sobre BigQuery. Y cuando la transformación nace en la capa operacional, sobre una base relacional como Oracle, la gestionamos con dbt Core y el adaptador que mantiene Oracle, con mejoras nuestras.

Los mismos tests y el mismo versionado a los dos lados, sin peajes entre equipos. Al cuadro de mando, el dato llega ya probado.

Conectamos BigQuery con tu tienda online, con tu ERP y con el edge.

Hablemos de ingeniero a ingeniero.

Trae el problema como esté. Te responde quien va a escribir el código.

Cuéntanos tu proyecto