Datenqualitäts-Tool

Dieses Tool bietet einen Datenqualitätsbewertungs-Workflow, speziell für Governance-Umgebungen entwickelt, der sich auf Assets konzentriert, die im Data Catalog verwaltet werden. Es löst das Problem, Qualität zu quantifizieren, Lücken zu identifizieren und Abhilfemaßnahmen für Data Stewards, Data Engineers und Governance-Teams zu priorisieren. Wenn neue Datensätze integriert, regelmäßige Qualitätsprüfungen durchgeführt oder Richtlinien eingehalten werden müssen, können Benutzer eine einheitliche Qualitätsbewertung und umsetzbare Einblicke erzeugen.
Core Logik & Funktionen: Erforderliche Funktionen umfassen: (1) Asset-Identifier oder asset_id-Eingabe, (2) einen definierten Satz von Qualitätsregeln (Nullwerte, Duplikate, referentielle Integrität, Formatkonformität, Ausreißer), (3) Konfiguration von Schwellenwerten und Gewichtung, und (4) Unterstützung für Stichprobendaten oder Streaming-Daten. Optional: (a) Regelgewichtung pro Domäne, (b) mehrere Stichprobenstrategien, (c) Trendanalyse über die Zeit, (d) exportierbare JSON/CSV-Berichte, und (e) Cross-Asset-Auswirkungsanalyse mittels Data Lineage. Outputs: globaler quality_score (0–100), pro-rule_results mit Pass/Fail-Status und Samples, eine priorisierte Liste von Issues und empfohlene_actions.
Eingaben/Ausgaben: Eingaben: asset_id (String), dataset_name (String, optional), rules (Array von Regel-Objekten), thresholds (Objekt mit numerischen Werten), sample_size (Integer), time_window (String, z.B. P30D), locale (String, optional). Ausgaben: quality_score (Number 0–100), rule_results (Array), issues (Array), actions (Array), summary_report (String). Validierung prüft Asset-Existenz, syntaktische Gültigkeit der Regeln und positive sample_size.
Algorithmen & Berechnungen: Jede Regel bewertet eine Eigenschaft der Daten; rule_pass_fraction wird aus Stichproben berechnet, und ein gewogenes Mittel ergibt den quality_score. Fortgeschrittene Skoring-Verfahren können Zeitgewichtung und Trendnormalisierung enthalten.
Fehler & Randfälle: Fehlende asset_id oder Regeln lösen explizite, nicht UI-bezogene Fehler in Logs aus. Temporär nicht verfügbare Datenquellen liefern eine Teilbewertung mit gekennzeichneten fehlenden Quellen und empfohlenen Fallback-Maßnahmen. Ungewöhnlich kleine Stichproben führen zu konservativer Bewertung. Lokale Einheiten/Sprachen erfordern Normalisierung.
Industrie/Region & Lokalisierung: Verwendet Standardkonzepte der Datenqualität in der Daten-Governance; Kennzahlen als Prozentwerte; ISO/IEC 8000-3 Stil der Datenqualitätsrahmung; Lokalisierung bei Exporten berücksichtigt Datums-/Zeitformate und Dezimaltrenner.
Annahmen & Ausschlüsse: Zugriff auf Asset-Metadaten und Stichprobendaten im Katalog; Ausgenommen UI-Styling, Frontend-Verhalten, Echtzeit-Streaming oder externe Tool-Integrationen außer Konnektivität zu Datenquellen.