Data Engineering Design Patters - Data Quality & Observability - [C09 & C10]

Capítulo 9: Data Quality Design Patterns

La calidad de los datos es esencial para mantener la confianza entre productores y consumidores de datasets. Cuando los datos son incompletos, inexactos o inconsistentes, se pierde credibilidad y valor analítico.

Este capítulo presenta patrones de diseño para enfrentar los problemas de calidad de datos, organizados en tres categorías principales:
1. Quality Enforcement: estrategias para garantizar la calidad antes de que los datos defectuosos lleguen a los consumidores.
2. Schema Quality: cómo manejar cambios en el esquema que pueden romper pipelines o generar errores en la interpretación de los datos.
3. Quality Observation: técnicas para monitorear y detectar nuevos problemas a lo largo del tiempo, asegurando que las reglas de control sigan siendo válidas en el futuro.


Capítulo 10: Data Observability Design Patterns

Los patrones de observabilidad de datos complementan a los de calidad de datos, brindando una visión completa y en tiempo real del estado de los pipelines y sistemas de datos.

Mientras los patrones de calidad se centran en validar los datos, los de observabilidad permiten detectar fallos, interrupciones o anomalías operativas, incluso cuando los jobs no llegan a ejecutarse.

Estos patrones se basan en dos pilares principales:
1. Detección (Detection): identifica problemas relacionados con los datos o el tiempo, como interrupciones en flujos (por ejemplo, fallos en un job AWAP) o ejecuciones más lentas de lo esperado.
2. Trazabilidad (Tracking): permite entender las dependencias y relaciones entre datasets, columnas y procesos, revelando cómo se generan y transforman los datos dentro de la organización.


----------------------------------------
Este es un evento de la comunidad Data Wizard Club. Únete a nuestra comunidad en:
👾 Discord:   / discord  
💼 LinkedIn:   / data-wizard-club  

🔔 ¡Suscríbete para más contenido sobre certificaciones cloud, data y tecnología!