Sein Autor, Juhi Ramzai , sprach über effektive Methoden der Modellprüfung - PSI (Population Stability Index) und CSI (Characteristic Stability Index).
Nach der Freigabe eines Modells in die Produktion sollte eine regelmäßige Überwachung seiner Leistung durchgeführt werden, um sicherzustellen, dass das Modell immer noch auf dem neuesten Stand und zuverlässig ist. Zuvor schrieb ich einen Beitrag über die Modellvalidierung und die Überwachung der Leistung , in dem ich die Bedeutung dieser beiden Schritte hervorhob.
Kommen wir nun zum Hauptthema dieses Beitrags. Wir werden alles über PSI (Population Stability Index) und CSI (Stability Characteristics Index) erfahren, die einige der wichtigsten Überwachungsstrategien sind, die in vielen Bereichen, insbesondere im Bereich der Kreditrisikobewertung, angewendet werden.
Beide Metriken (PSI und CSI) konzentrieren sich auf Änderungen in der BEVÖLKERUNGSVERTEILUNG.
Die Grundidee hinter diesen Metriken ist, dass ein Prognosemodell am besten funktioniert, wenn sich die zum Trainieren verwendeten Daten in Bezug auf die wirtschaftlichen Bedingungen, die zugrunde liegenden Annahmen, den Kampagnenstil, den Fokus und nicht zu stark von den Validierungs- / OOT-Daten (außerhalb der Zeit) unterscheiden etc.
Zum Beispiel haben wir ein Modell entwickelt, um die Abwanderungsrate von Kreditkartennutzern in einem normalen wirtschaftlichen Umfeld vorherzusagen. Dann haben wir begonnen, dieses Modell zu testen, aber bereits unter den Bedingungen der Wirtschaftskrise. Es ist möglich, dass das Modell in diesem Fall keine genaue Prognose liefert, da es nicht in der Lage ist, die Tatsache zu erfassen, dass sich die Verteilung der Bevölkerung in verschiedenen Einkommenssegmenten erheblich ändern könnte (und dies zu einer hohen tatsächlichen Abwanderung von Nutzern führen könnte). Infolgedessen erhalten wir falsche Vorhersagen. Da wir dies jedoch bereits jetzt verstehen, können wir die Änderungen in der Verteilung der Bevölkerung zwischen der Entwicklungszeit (DEV-Zeit) und der gegenwärtigen Zeit überprüfen. Dies gibt uns eine klare Vorstellung davon, ob auf die vorhergesagten Ergebnisse des Modells vertraut werden kann oder nicht.Genau dies zeigen die wichtigen PSI- und CSI-Überwachungsmetriken.
Bevölkerungsstabilitätsindex (PSI)
Diese Metrik misst, wie stark sich die Verteilung einer Variablen zwischen zwei Stichproben im Laufe der Zeit geändert hat. Es wird häufig verwendet, um Änderungen der Populationsmerkmale zu überwachen und potenzielle Probleme mit der Modellleistung zu diagnostizieren. Wenn das Modell aufgrund signifikanter Änderungen der Bevölkerungsverteilung keine genauen Vorhersagen mehr macht, ist dies häufig ein guter Indikator.
Die obige Definition wird am besten in diesem Forschungsbericht erklärt . Ich habe am Ende dieses Beitrags auch einen Link dazu bereitgestellt.
Der Population Stability Index (PSI) wurde ursprünglich entwickelt, um Änderungen in der Verteilung zwischen Ad-hoc- und Entwicklungszeitstichproben bei der Bewertung des Kreditrisikos zu überwachen. Gegenwärtig ist die Verwendung des PSI-Index flexibler geworden, was es ermöglicht, Änderungen in beiden Verteilungen zu untersuchen, die mit Modellattributen und Populationen insgesamt verbunden sind, einschließlich der abhängigen und unabhängigen CSI-Variablen . Wir werden uns das im nächsten Abschnitt ansehen.
Der PSI spiegelt den Trend zur Veränderung der Gesamtbevölkerung wider, während sich der CSI normalerweise auf die einzelnen verwendeten Modellvariablen konzentriert.
Die
Änderung der Bevölkerungsverteilung kann folgende Ursachen haben:
- mit Veränderungen im wirtschaftlichen Umfeld wie der Wirtschaftskrise, COVID-19 usw.;
- Änderungen in Datenquellen;
- Änderungen in der Innenpolitik, die sich direkt oder indirekt auf die Verteilung der Bevölkerung auswirken;
- Datenintegrationsprobleme, die zu Datenfehlern führen können;
- Probleme beim Programmieren / Codieren, z. B. Implementierung des Modells oder Fehlen einiger wichtiger Schritte im Code zur Bewertung der Qualität des Modells.
Da eine Änderung der Verteilung nicht mit einer Änderung der abhängigen Variablen einhergehen muss, kann der PSI auch verwendet werden, um die Ähnlichkeit / Differenz zwischen Stichproben zu untersuchen. Zum Beispiel, um das Bildungsniveau, das Einkommen und den Gesundheitszustand von zwei oder mehr Bevölkerungsgruppen in soziodemografischen Studien zu vergleichen.
SCHRITTE ZUR BERECHNUNG DES PSI-INDEX ( Link )
- Wir sortieren die geschätzte Variable in absteigender Reihenfolge in der geschätzten Stichprobe.
- 10 20 ().
- .
- .
- 3 4.
- ( 3 / 4).
- 5 6.
EXCEL PSI:
()
- PSI < 0,1 — . .
- PSI >= 0,1, 0,2 — .
- PSI >= 0,2 — . . / .
Sie können auch den bedingten Formatierungsbereich verwenden - rote, gelbe und grüne Zonen (rot-gelb-grüne Zone). Rot ist ein Alarmzustand, in dem der PSI mehr als 20% beträgt, Gelb 10 bis 20%, während das Modell überwacht werden muss, und Grün ist das Stadium, in dem das Modell als verwendbar angesehen wird, d. H. < zehn%.
Basierend auf dem Anwendungsfall werden diese Schwellenwerte nun entsprechend der Geschäftsrelevanz angepasst, aber die Idee bleibt dieselbe - Veränderungen in der Bevölkerung zu verfolgen.
Stabilitätsindex (CSI)
, . , , .
, .
Wenn sich die Modellleistung verschlechtert, kann die Überprüfung auf Änderungen in der Verteilung der Modellvariablen helfen, mögliche Ursachen zu identifizieren. Dies erfolgt in der Regel nach der Überprüfung, wodurch sich herausstellte, dass sich der PSI-Index nicht in der grünen Zone befindet (<0,1 insgesamt). Auf diese Weise können Sie überprüfen, welche Variablen hauptsächlich die Verteilung der Population bestimmen.
Wenn sich auch nur eine Variable erheblich geändert hat oder wenn sich die Leistung mehrerer Variablen geringfügig geändert hat, ist es möglicherweise an der Zeit, das Modell neu zu trainieren oder durch ein anderes zu ersetzen.
Bei der Berechnung des CSI werden die gleichen Schritte ausgeführt wie bei der Berechnung des PSI. Der einzige Unterschied besteht darin, dass die Entscheidung auf der Grundlage der Stichprobenwerte aus der Entwurfsphase für eine bestimmte Variable getroffen wird (indem diese in Bereiche unterteilt und die Grenzen dieser Werte als Schwellenwerte festgelegt werden). Wenn Sie dann die Frequenzwerte für eine Validierungs- / außerplanmäßige (AD) Stichprobe berechnen, wenden Sie einfach dieselben Schwellenwerte auf die Daten an und berechnen die Frequenzwerte (unter Verwendung derselben Formel, die wir zur Berechnung des PSI verwendet haben).
EXCEL TABLE OF CSI INDEX Mit
freundlicher Genehmigung des Autors
Auf diese Weise kann der PSI dazu beitragen, Unterschiede in der Verteilung der Gesamtpopulationen zu identifizieren, wenn diese signifikant sind, und der CSI kann dazu beitragen, sie noch weiter auf einige verantwortliche Variablen einzugrenzen.
Forschungslink