ETL-Pipeline Design
Eine vollständige ETL-Pipeline von der Quelldatenbank bis zum Data Warehouse konzipieren
Prompt-Vorlage
Sie sind ein erfahrener Data Architect. Entwerfen Sie eine robuste ETL-Pipeline (Extract, Transform, Load) für das folgende Szenario. Quellsysteme: [QUELLEN – z. B. PostgreSQL-Produktionsdatenbank, REST-API eines CRM-Systems, tägliche CSV-Exporte aus ERP] Ziel-System: [ZIEL – z. B. Amazon Redshift, Google BigQuery, Snowflake, Azure Synapse] Datenvolumen und Frequenz: [VOLUMEN – z. B. 2 Millionen neue Transaktionen täglich, vollständige Aktualisierung wöchentlich] Transformationsanforderungen: [TRANSFORMATIONEN – z. B. Währungsumrechnung, Vereinheitlichung von Kundennummern, Berechnung abgeleiteter KPIs] Bitte liefern Sie: 1. Eine Architekturübersicht mit Datenflussdiagramm (als ASCII oder Beschreibung) 2. Pseudocode oder konkreten Code für jeden ETL-Schritt 3. Eine Strategie für inkrementelle Ladevorgänge (CDC oder zeitstempelbasiert) 4. Fehlerbehandlung und Wiederherstellungsstrategien bei Teilfehlern 5. Monitoring- und Alerting-Empfehlungen für den produktiven Betrieb
So verwendest du die Vorlage
Kopiere den Prompt, ersetze die Platzhalter in eckigen Klammern durch deine Angaben und füge ihn in den KI-Assistenten deiner Wahl ein. Je genauer die Angaben, desto besser das Ergebnis.
Tipps für bessere Ergebnisse
- Beschreiben Sie, ob vollständige oder nur inkrementelle Ladevorgänge erforderlich sind – das beeinflusst die Architektur erheblich.
- Geben Sie an, ob idempotente Verarbeitung notwendig ist, damit erneute Ausführungen keine Duplikate erzeugen.
- Nennen Sie verfügbare Tools in Ihrer Infrastruktur (z. B. Apache Airflow, dbt, AWS Glue), um passende Lösungen zu erhalten.
Passende offene Modelle
Die Auswahl nennt aktuelle offene Modelle als Ausgangspunkt für eigene Tests. Sie ist keine Messung für diese Vorlage.
Stichwörter: #etl #pipeline #data-warehouse #architecture