En el mundo del dato, la calidad lo es todo. Un modelo de machine learning entrenado con datos incorrectos, un dashboard que muestra información errónea o un informe que toma decisiones basadas en datos incompletos pueden tener consecuencias devastadoras, desde pérdidas financieras hasta daños reputacionales irreparables. Great Expectations nace para resolver este problema, ofreciendo un marco sistemático, automatizado y colaborativo para garantizar que los datos cumplan con los estándares de calidad definidos por la organización en cada etapa del pipeline de datos.
Great Expectations (GX) es un framework open source escrito en Python que permite definir, documentar y ejecutar pruebas de calidad de datos de manera automatizada y reproducible. Fue creado en 2017 por la empresa Great Expectations y desde entonces se ha convertido en el estándar de facto para Data Quality as Code, siendo adoptado por miles de organizaciones en todo el mundo, desde startups hasta empresas Fortune 500. Su enfoque en la calidad como parte integral del desarrollo de pipelines de datos, y no como un paso posterior, ha revolucionado la forma en que los equipos de datos garantizan la fiabilidad de su información.
La filosofía de GX es sencilla pero poderosa: los datos deben cumplir una serie de expectativas (reglas de calidad) que tú defines. Si no las cumplen, el pipeline falla y el equipo es notificado de forma inmediata, permitiendo una respuesta rápida y la corrección de los problemas antes de que los datos incorrectos lleguen a los consumidores. Pero además, GX genera una documentación HTML hermosa y navegable que sirve como catálogo vivo de calidad de datos, proporcionando una visión clara y actualizada del estado de los datos en todo momento, facilitando la auditoría y la comunicación de la calidad de los datos a los stakeholders de negocio.
Existen muchas herramientas de calidad de datos, pero GX destaca por varias razones fundamentales. Es open source y gratuito, sin costes de licencia y con una comunidad activa y un desarrollo continuo que garantiza la evolución y mejora constante de la herramienta. Ofrece más de 50 expectativas predefinidas, desde validaciones básicas como not_null y unique hasta avanzadas como distribuciones estadísticas, valores aceptados y patrones de regex, cubriendo la mayoría de los casos de uso comunes. La documentación automática es una de sus características más diferenciales, generando un sitio HTML con el estado de calidad de todos tus datasets que puede ser compartido y consultado por todo el equipo. La integración nativa con SQL, Spark, pandas, Airflow, dbt y prácticamente cualquier tecnología del ecosistema de datos hace que GX sea extremadamente versátil y fácil de incorporar en arquitecturas existentes. Finalmente, es extensible, permitiendo crear expectativas personalizadas en Python para casos de uso específicos que no estén cubiertos por las expectativas predefinidas.
La instalación es sencilla con pip: pip install great_expectations. Para iniciar un proyecto, se ejecuta great_expectations init, que crea la estructura de directorios necesaria: great_expectations.yml para la configuración global, expectations/ para los archivos de expectativas en formato JSON, checkpoints/ para la configuración de checkpoints, datasources/ para las conexiones a fuentes de datos, y uncommitted/ para archivos temporales no versionados. Esta estructura organizada facilita la gestión del proyecto y la colaboración en equipo.
Los conceptos fundamentales de Great Expectations son la base de su funcionamiento. Las Expectativas son el corazón de GX, reglas de validación que defines sobre tus datos. Ejemplos incluyen expect_column_values_to_not_be_null("email") para asegurar que el email no sea nulo, expect_column_values_to_be_between("edad", 0, 120) para verificar que la edad esté en un rango válido, y expect_column_values_to_be_in_set("pais", ["ES", "MX", "AR"]) para garantizar que el país sea uno de los valores permitidos. Las expectativas pueden ser simples o complejas, y se pueden combinar para crear validaciones robustas que cubran todos los aspectos críticos de los datos.
El Data Context es el objeto central que gestiona toda la configuración del proyecto, incluyendo la ubicación de los datos, las expectativas que se aplican y el almacenamiento de los resultados de las validaciones. Proporciona una interfaz unificada para interactuar con GX y es el punto de entrada para todas las operaciones de la herramienta. Un Checkpoint es un conjunto de validaciones que se ejecutan juntas, permitiendo agrupar expectativas por tabla, por pipeline o por dominio de datos. Los checkpoints facilitan la ejecución de validaciones en diferentes contextos y la gestión de la calidad en diferentes etapas del pipeline. Los Data Docs son la documentación HTML generada automáticamente, que incluye el estado de cada expectativa, los resultados de las validaciones y métricas de calidad, proporcionando una vista completa y accesible de la calidad de los datos para todo el equipo.
Un ejemplo práctico completo de uso de GX implica cargar los datos con pandas, convertirlos a un DataFrame de Great Expectations y definir las expectativas correspondientes. Por ejemplo, para un dataset de clientes, se verificaría que el email y el nombre no sean nulos, que la edad esté entre 18 y 99 años, que el país sea uno de los permitidos, que el email tenga un formato válido mediante regex, y que el id_cliente sea único. Finalmente, se ejecuta la validación y se obtienen los resultados, pudiendo actuar en consecuencia si alguna expectativa falla.
La integración con Apache Airflow es una de las más potentes, permitiendo ejecutar validaciones como parte de un DAG. Se puede crear un DataContext y obtener el checkpoint correspondiente para ejecutar las validaciones, y si fallan, lanzar una excepción para que el DAG falle y el equipo sea notificado. Esta integración convierte la calidad de datos en un paso obligatorio en el pipeline de datos, garantizando que solo los datos que cumplen con los estándares de calidad lleguen a los consumidores.
Si usas dbt, Great Expectations es el complemento perfecto. dbt ya tiene tests de calidad, pero GX ofrece validaciones mucho más avanzadas, incluyendo análisis estadísticos y validaciones de distribuciones. Se puede utilizar dbt para tests de negocio y lógica de transformación, y Great Expectations para validaciones estadísticas y de calidad general, logrando una cobertura de calidad total y complementaria.
La comparativa con alternativas muestra las fortalezas de GX. Soda es más simple y rápido de implementar, pero menos flexible y con menos características. dbt tests tiene integración nativa con dbt pero está limitado al ecosistema dbt. Apache Griffin es escalable para big data pero complejo de configurar. Monte Carlo ofrece observabilidad de datos completa pero es comercial y costoso. Great Expectations se posiciona como una opción open source, flexible y con una gran comunidad, ideal para organizaciones que buscan una herramienta de calidad de datos potente y extensible.
Las mejores prácticas para Great Expectations incluyen empezar pequeño con las tablas más críticas, automatizar la ejecución de las validaciones integrando GX en los pipelines CI/CD, colaborar compartiendo los Data Docs con todo el equipo de datos y stakeholders, iterar añadiendo nuevas expectativas gradualmente a medida que se identifican nuevos riesgos, documentar el porqué de cada expectativa para que tenga sentido de negocio, y no ser demasiado estricto estableciendo umbrales razonables, ya que el 100% de calidad no siempre es necesario ni posible.
Los casos de uso reales abarcan múltiples industrias. En e-commerce, se valida que los precios de los productos no sean negativos y que los stocks sean coherentes entre sistemas. En banca, se verifica que las transacciones tengan el formato correcto y que los IBAN sean válidos. En healthcare, se asegura que los datos de pacientes estén completos y sean consistentes. En marketing, se valida que los emails estén en formato correcto y que los teléfonos tengan el prefijo adecuado. En todos los casos, Great Expectations proporciona una capa de confianza sobre los datos que permite tomar decisiones con mayor seguridad y reducir el riesgo de errores.
El futuro de Great Expectations es prometedor, con la herramienta en pleno crecimiento. La versión 1.0 fue lanzada en 2024 con importantes mejoras en rendimiento y usabilidad, y la comunidad está trabajando en una mayor integración con IA para generar expectativas automáticamente, mejor soporte para streaming y datos en tiempo real, y una observabilidad de datos más avanzada. Estos avances posicionan a Great Expectations como una herramienta fundamental en el ecosistema de datos moderno.
Great Expectations es una herramienta indispensable para cualquier equipo de datos que quiera garantizar la calidad de su activo más valioso. Su enfoque en Data Quality as Code y su capacidad para generar documentación viva lo convierten en una inversión que paga dividendos desde el primer día, mejorando la confianza en los datos, reduciendo el tiempo de resolución de problemas, y facilitando la colaboración y el cumplimiento normativo.
En Curaduriadedatos.com, recomendamos Great Expectations como la primera herramienta de calidad de datos que cualquier organización debería implementar. Empieza hoy y transforma la forma en que tu equipo confía en los datos, construyendo una cultura de calidad que impulse el éxito de tus proyectos de datos.