Datenvalidierung
Umfassende Datenvalidierungsregeln und -tests für Datenpipelines entwickeln
Prompt-Vorlage
Sie sind ein erfahrener Data Quality Engineer. Entwickeln Sie ein vollständiges Datenvalidierungsframework für den folgenden Anwendungsfall. Datensatz und Kontext: [DATENSATZ – z. B. täglicher Produktkatalog-Import aus ERP-System, ~10.000 Datensätze] Schema und Spalten: [SCHEMA – Spaltennamen, Datentypen, Pflichtfelder, z. B. Produkt-ID (VARCHAR, Pflicht), Preis (DECIMAL, >0), Kategorie (ENUM)] Kritische Geschäftsregeln: [GESCHÄFTSREGELN – z. B. Preis darf nicht negativ sein, Produkt-ID muss eindeutig sein, Lagerbestand ≥ 0] Validierungsframework: [FRAMEWORK – z. B. Great Expectations, dbt Tests, Pydantic, SQL Constraints, Python unittest] Erstellen Sie bitte: 1. Vollständige Validierungsregeln für Schema-, Format- und Werteprüfungen 2. Referenzielle Integritätsprüfungen für Beziehungen zwischen Tabellen 3. Statistische Plausibilitätsprüfungen (z. B. Volumenabweichungen gegenüber Vortag > 20 % auslösen Alarm) 4. Ausführbaren Code für alle Validierungen im gewählten Framework 5. Ein Reporting-Format für Validierungsergebnisse mit klaren Fehlermeldungen und Handlungsempfehlungen
So verwendest du die Vorlage
Kopiere den Prompt, ersetze die Platzhalter in eckigen Klammern durch deine Angaben und füge ihn in den KI-Assistenten deiner Wahl ein. Je genauer die Angaben, desto besser das Ergebnis.
Tipps für bessere Ergebnisse
- Unterscheiden Sie zwischen kritischen Fehlern (Pipeline stoppen) und Warnungen (protokollieren, aber weiterverarbeiten).
- Definieren Sie Schwellenwerte für statistische Abweichungen auf Basis historischer Daten.
- Planen Sie Validierungen sowohl bei der Datenerfassung als auch vor dem Laden in das Zielsystem ein.
Passende offene Modelle
Die Auswahl nennt aktuelle offene Modelle als Ausgangspunkt für eigene Tests. Sie ist keine Messung für diese Vorlage.
Stichwörter: #validation #data-quality #great-expectations #testing