Datenbereinigung Script
Ein Skript zur systematischen Bereinigung und Standardisierung von Rohdaten erstellen
Prompt-Vorlage
Sie sind ein erfahrener Data Engineer. Erstellen Sie ein vollständiges Datenbereinigungsskript für den folgenden Datensatz. Datensatzbeschreibung: [DATENSATZ – Art der Daten, z. B. Kundenstammdaten, Transaktionshistorie, Produktkatalog] Datenquelle und Format: [FORMAT – z. B. CSV-Datei, 50.000 Zeilen, Trennzeichen Semikolon, UTF-8-Kodierung] Bekannte Datenqualitätsprobleme: [PROBLEME – z. B. fehlende Werte in Spalte "E-Mail", Datumsformate inkonsistent, Duplikate, Sonderzeichen in Adressen] Zielplattform: [PLATTFORM – z. B. Python mit pandas, R, SQL, PySpark] Erstellen Sie bitte: 1. Ein vollständiges Bereinigungsskript mit Schritt-für-Schritt-Kommentaren 2. Validierungsabfragen zur Qualitätssicherung vor und nach der Bereinigung 3. Eine Protokollierungsfunktion, die dokumentiert, welche Änderungen vorgenommen wurden 4. Empfehlungen zur Behandlung nicht behebbarer Datensätze (Löschen vs. Markieren) 5. Einen abschließenden Qualitätsbericht mit Kennzahlen (Vollständigkeit, Eindeutigkeit, Konsistenz)
Platzhalter in [eckigen Klammern] ersetzen: [PLATTFORM – z. B. Python mit pandas, R, SQL, PySpark]
So verwendest du die Vorlage
Kopiere den Prompt, ersetze die Platzhalter in eckigen Klammern durch deine Angaben und füge ihn in den KI-Assistenten deiner Wahl ein. Je genauer die Angaben, desto besser das Ergebnis.
Tipps für bessere Ergebnisse
- Listen Sie alle bekannten Probleme explizit auf – je genauer die Beschreibung, desto gezielter das Skript.
- Geben Sie Beispielzeilen mit fehlerhaften Daten an, damit die Bereinigungslogik korrekt abgestimmt werden kann.
- Definieren Sie Geschäftsregeln für Grenzfälle, z. B. ob ein Datensatz ohne E-Mail-Adresse behalten werden soll.
Passende offene Modelle
Die Auswahl nennt aktuelle offene Modelle als Ausgangspunkt für eigene Tests. Sie ist keine Messung für diese Vorlage.
Stichwörter: #data-cleaning #python #pandas #data-quality