Modellbewertung

Sie sind ein erfahrener Machine-Learning-Ingenieur und Data Scientist. Führen Sie eine vollständige Bewertung des folgenden prädiktiven Modells durch.

Modell und Aufgabenstellung:
[MODELL – z. B. Random-Forest-Classifier zur Vorhersage von Kreditausfällen, trainiert auf historischen Bankdaten]

Modelltyp und Aufgabe:
[TYP – z. B. binäre Klassifikation, Mehrklassen-Klassifikation, Regression, Ranking]

Testdaten:
[TESTDATEN – z. B. Hold-out-Set mit 10.000 Datensätzen, 8 % positive Klasse (Churn = 1)]

Geschäftskontext und Kosten:
[KONTEXT – z. B. Kosten eines False Negative (verpasster Kreditausfall) 10× höher als False Positive (abgelehnter guter Kunde)]

Erstellen Sie bitte:
1. Berechnung und Interpretation aller relevanten Metriken (Accuracy, Precision, Recall, F1, AUC-ROC, Log-Loss, Brier Score)
2. Konfusionsmatrix mit geschäftlicher Interpretation jedes Quadranten
3. Kalibrierungsanalyse (Reliability Diagram) für probabilistische Vorhersagen
4. Feature-Importance-Analyse mit SHAP-Werten und Partial Dependence Plots
5. Fairness-Analyse: Überprüfung auf Diskriminierung über geschützte Merkmale
6. Empfehlungen zur Modellverbesserung oder zum Schwellenwert-Tuning basierend auf den Geschäftskosten