Python Data Builder

Esta herramienta ofrece un marco basado en Python para declarar, componer y ejecutar transformaciones de datos modulares como pipelines reproducibles. Apunta a equipos de análisis, plataformas de datos y equipos de producto que crean productos de datos que requieren pipelines versionables, testables y auditable. Resuelve scripts frágiles, dependencias poco claras y baja calidad de datos codificando transformaciones en Python, rastreando la procedencia y habilitando builds incrementales. Los casos de uso principales incluyen limpieza, enriquecimiento y agregación de datos de múltiples fuentes hacia tablas listas para análisis o stores de características. La herramienta enfatiza la reproducibilidad, la modularidad y la integración con CI/CD. La diferenciación reside en un enfoque Python-prioritario con pruebas sólidas, ejecución determinista y procedencia transparente.
Core Logic & Features: Las características requeridas incluyen transformaciones basadas en Python, definiciones explícitas de fuente/destino, resolución de dependencias DAG, ejecuciones incrementales, pruebas y validación de esquemas, y generación de artefactos y lineage. Las características opcionales/avanzadas incluyen ejecución paralela, plugins personalizados, ejecutores remotos, integración con almacenes de metadatos y programación avanzada. El sistema aplica verificaciones de contrato y ofrece componentes reutilizables para acelerar la construcción de pipelines. Las salidas son artefactos versionados y registros; las entradas son módulos Python, configs YAML/JSON y especificaciones de entorno. Está diseñado para flujos de trabajo de datos autónomos y probados que pueden revisarse y repetirse.
Inputs & Outputs: Las entradas incluyen una ruta de módulo Python o definiciones de transformación en el repositorio, un bloque de fuentes/configuración, destinos y una especificación de entorno. Las salidas comprenden conjuntos de datos transformados, artefactos emitidos, un informe de ejecución y datos de lineage exportados a stores de metadatos. Los resultados de validación, métricas de calidad de datos y sellos de tiempo acompañan cada ejecución.
Algoritmos y Cálculos: El motor construye un DAG, realiza un orden topológico y ejecuta los pasos en consecuencia. Detecta cambios mediante hashes de archivos o sellos de tiempo para habilitar ejecuciones incrementales. Usa patrones de escritura idempotentes, validación de esquemas y controles de calidad de datos opcionales. Puede paralelizar transformaciones independientes y recoge métricas para observabilidad.
Errores y Casos Borde: Maneja entradas ausentes, dependencias circulares, fuentes externas no disponibles y errores de transformación con informes de errores deterministas. Aplica timeouts, reintentos y fallos parciales cuando se permite. Incluye estrategias de fallback y provenance clara para depuración.
Industria/Región & Localización: Alineado con marcas de tiempo ISO 8601, tipos de datos comunes y formatos sensibles a la región. Garantiza consistencia de unidades en transformaciones y respeta contextos de zona horaria al leer fuentes.
Supuestos y Exclusiones: Supone entorno Python 3.8+ y uso de la biblioteca estándar; excluye runtimes SQL-only, streaming en tiempo real y componentes UI. No es un reemplazo directo de dbt; se centra en transformaciones nativas de Python y pipelines probadas.