Un modelo de credit scoring no es un artefacto estático. Se construye en un momento determinado, con datos de un período concreto, que reflejan las condiciones económicas, el perfil de los solicitantes y los criterios de concesión de ese momento. Pero el mundo cambia. Los perfiles de los clientes evolucionan, las condiciones económicas fluctúan y los criterios de concesión se modifican. Y el modelo, que no cambia, empieza a operar en un entorno cada vez más diferente al que lo originó.
¿Cómo saber cuándo ese desajuste es suficientemente grave como para actuar? ¿Cómo detectar que el modelo se está degradando antes de que las pérdidas reales de la cartera superen las proyectadas?
La respuesta a estas preguntas es el Population Stability Index (PSI). Es la métrica estándar en la industria del credit scoring para monitorizar la estabilidad de un modelo en producción. Mide si la distribución de los scores (o de las variables individuales) ha cambiado entre el período de entrenamiento y el período actual. Cuando cambia demasiado es señal de que el modelo está operando fuera de su rango de validez.
En esta entrada explicamos qué es el PSI, cómo se calcula, cómo se interpreta y cómo se integra en un proceso de monitorización periódica. El constructor de scorecards del laboratorio de Analytics Lane calcula el PSI en el paso de validación y en el componente de scoring, la aplicación para ejecutar los scores calcula el PSI para comprobar si los datos se corresponden con los usados durante el proceso de modelado y la aplicación de monitorización periódica lo usará como métrica central de alerta.
Tabla de contenidos
- 1 Qué mide el PSI
- 2 La fórmula del PSI
- 3 Cómo interpretar el PSI
- 4 PSI del score vs PSI de las variables individuales
- 5 PSI en el proceso de construcción del modelo: train vs test
- 6 PSI out-of-time: la validación más informativa
- 7 El ciclo de monitorización periódica
- 8 Cuándo el PSI alto no es un problema
- 9 PSI vs Gini: dos métricas complementarias
- 10 Limitaciones del PSI
- 11 El PSI en el laboratorio de Analytics Lane
- 12 Conclusiones
Qué mide el PSI
El PSI mide la diferencia entre dos distribuciones de probabilidad, típicamente la distribución de scores en el período de entrenamiento y la distribución de scores en el período actual de producción.
Si la distribución no ha cambiado, los clientes que llegan hoy tienen el mismo perfil que los clientes con los que se entrenó el modelo. El modelo sigue siendo válido.
Si la distribución ha cambiado significativamente los clientes actuales son sistemáticamente distintos, en términos de su perfil de riesgo o de sus características, a los del período de entrenamiento. El modelo puede estar prediciendo mal porque aprendió relaciones que ya no son válidas.
La intuición es simple: si el modelo fue entrenado con clientes con una distribución de scores entre 400 y 750 y ahora los scores se concentran entre 550 y 800, algo ha cambiado. Puede ser que lleguen mejores clientes, que los criterios de concesión sean más estrictos, o que las condiciones económicas hayan mejorado. Pero también puede ser que el modelo esté sobreestimando la calidad de los nuevos clientes porque su perfil es distinto al del entrenamiento.
La fórmula del PSI
El PSI se calcula dividiendo la distribución del scores en grupos (típicamente 10 o 20 de igual amplitud o igual frecuencia en el período de referencia) y comparando el porcentaje de observaciones en cada grupo entre el período de referencia y el período actual: PSI = \sum_{i=1}^{n} \left(%\text{actual}_i - %\text{referencia}_i\right) \times \ln\left(\frac{%\text{actual}_i}{%\text{referencia}_i}\right) donde:
- %\text{actual}_i es el porcentaje de observaciones del período actual que caen en el grupo i
- %\text{referencia}_i es el porcentaje de observaciones del período de referencia que caen en el grupo i
- n es el número de grupos
Un ejemplo numérico
Supongamos que dividimos los scores en 10 grupos y comparamos la distribución en el período de entrenamiento (referencia) con la distribución 12 meses después (actual):
| Grupo | Rango score | % Referencia | % Actual | Diferencia | Ratio | ln(Ratio) | PSI parcial |
|---|---|---|---|---|---|---|---|
| 1 | 400 – 450 | 5,0% | 3,0% | −2,0% | 0,600 | −0,511 | 0,010 |
| 2 | 450 – 500 | 8,0% | 5,0% | −3,0% | 0,625 | −0,470 | 0,014 |
| 3 | 500 – 530 | 12,0% | 9,0% | −3,0% | 0,750 | −0,288 | 0,009 |
| 4 | 530 – 555 | 15,0% | 12,0% | −3,0% | 0,800 | −0,223 | 0,007 |
| 5 | 555 – 575 | 18,0% | 16,0% | −2,0% | 0,889 | −0,118 | 0,002 |
| 6 | 575 – 595 | 15,0% | 18,0% | +3,0% | 1,200 | +0,182 | 0,005 |
| 7 | 595 – 615 | 12,0% | 16,0% | +4,0% | 1,333 | +0,288 | 0,012 |
| 8 | 615 – 640 | 8,0% | 12,0% | +4,0% | 1,500 | +0,405 | 0,016 |
| 9 | 640 – 670 | 5,0% | 7,0% | +2,0% | 1,400 | +0,336 | 0,007 |
| 10 | 670 – 750 | 2,0% | 2,0% | 0,0% | 1,000 | 0,000 | 0,000 |
| Total | 100% | 100% | PSI = 0,082 |
En este ejemplo el PSI es 0,082 — hay un desplazamiento hacia scores más altos en el período actual (menos clientes en los grupos bajos, más en los altos). El PSI está por debajo de 0,10, lo que indica que la distribución es todavía estable.
Cómo interpretar el PSI
La interpretación estándar en la industria es:
| PSI | Interpretación | Acción recomendada |
|---|---|---|
| < 0,10 | Distribución estable — cambio insignificante | Continuar monitorizando |
| 0,10 – 0,20 | Cambio moderado — investigar causas | Investigar qué ha cambiado |
| 0,20 – 0,25 | Cambio significativo — revisar el modelo | Análisis detallado y posible recalibración |
| > 0,25 | Distribución inestable — modelo fuera de su rango | Reconstruir o recalibrar el modelo |
Estos umbrales son convenciones ampliamente aceptadas en la industria, no tienen una justificación matemática formal pero llevan décadas usándose en entidades financieras de todo el mundo.
La asimetría del PSI
Una propiedad matemática importante del PSI es que es simétrico en su definición pero asimétrico en sus implicaciones prácticas. Un desplazamiento de la distribución hacia scores más altos y un desplazamiento de la misma magnitud hacia scores más bajos producen el mismo PSI. Pero sus implicaciones son opuestas:
- Desplazamiento hacia scores más altos: los clientes actuales parecen mejores que los del entrenamiento. El modelo puede estar aprobando más clientes de los que debería si esa mejora aparente no es real.
- Desplazamiento hacia scores más bajos: los clientes actuales parecen peores. El modelo puede estar siendo demasiado restrictivo.
Por eso el PSI siempre debe complementarse con el análisis de la dirección del desplazamiento, no solo de su magnitud.
PSI del score vs PSI de las variables individuales
El PSI puede calcularse sobre el score final del modelo o sobre cada variable individual. Ambos análisis son complementarios y aportan información distinta.
PSI del score
Mide si la distribución global del riesgo del portfolio ha cambiado. Es la métrica de monitorización más importante porque captura el efecto combinado de todos los cambios, en las variables, en sus relaciones con el target y en el perfil de los clientes.
Un PSI alto del score indica que el modelo está operando en un entorno significativamente distinto al del entrenamiento. Pero no dice qué ha cambiado, eso lo responde el PSI de las variables individuales.
PSI de las variables individuales
Mide si la distribución de cada variable predictora ha cambiado. Es el diagnóstico que permite identificar qué está causando la inestabilidad del score.
Si el PSI del score es alto pero el PSI de todas las variables individuales es bajo, el problema puede estar en las relaciones entre variables o en la calibración del modelo, no en los datos en sí.
Si el PSI de algunas variables es alto, esas variables son candidatas a revisión. Puede ser que:
- La población de clientes haya cambiado genuinamente (por ejemplo porque los criterios de concesión son más estrictos)
- La definición o el cálculo de la variable haya cambiado en los sistemas
- Haya un problema en el proceso de extracción de datos
La tabla de PSI por variable
En un informe de monitorización estándar se presenta una tabla con el PSI de cada variable del modelo, ordenada de mayor a menor:
| Variable | PSI | Estado | Observación |
|---|---|---|---|
| ingreso_anual | 0,187 | 🟡 Moderado | Posible cambio en la distribución de ingresos |
| categoria_empleo | 0,043 | 🟢 Estable | Sin cambios significativos |
| edad | 0,031 | 🟢 Estable | Sin cambios significativos |
| antiguedad_laboral | 0,218 | 🔴 Significativo | Investigar — posible cambio en criterios de concesión |
| num_productos | 0,019 | 🟢 Estable | Sin cambios significativos |
| Score total | 0,134 | 🟡 Moderado | Investigar causas |
PSI en el proceso de construcción del modelo: train vs test
El PSI no es solo una herramienta de monitorización en producción, también es útil durante la construcción del modelo para verificar que la partición train/test es representativa.
Si el PSI entre el conjunto de entrenamiento y el de test es alto, la partición no es aleatoria, train y test tienen distribuciones distintas. Esto puede ocurrir cuando:
- La partición se hace por fecha (train = período antiguo, test = período reciente) y hay un cambio de tendencia entre ambos períodos
- La partición tiene algún sesgo sistemático no intencionado
Un PSI alto entre train y test no invalida el modelo pero sí indica que las métricas de validación (Gini en test) pueden no ser representativas del rendimiento real en producción.
En el constructor de scorecards el PSI train/test se calcula automáticamente al realizar la partición en el paso 1, con diagnóstico automático de las variables con mayor desplazamiento.
PSI out-of-time: la validación más informativa
La validación out-of-time (OOT), entrenar con datos de un período y validar con datos de un período posterior, es el estándar de oro para evaluar la robustez de un modelo de credit scoring.
El PSI out-of-time mide si la distribución de scores del período de test es similar a la del período de entrenamiento. Un PSI OOT bajo indica que el modelo es estable en el tiempo, que la distribución de clientes no ha cambiado significativamente entre los dos períodos y que el modelo debería comportarse de forma similar en producción.
Un PSI OOT alto es una señal de alerta incluso antes de desplegar el modelo:
- Si el período de test es temporalmente muy distinto al de entrenamiento (por ejemplo, el test incluye el inicio de la pandemia de 2020), el PSI alto puede ser esperado y no indica un problema del modelo
- Si el período de test es continuo con el de entrenamiento y el PSI es alto, indica que el modelo es inestable, susceptible de degradarse rápidamente en producción
El ciclo de monitorización periódica
El PSI debe calcularse de forma periódica, mensualmente o trimestralmente, durante toda la vida del modelo en producción. El proceso estándar es:
- Cálculo mensual del PSI Al final de cada mes se calcula el PSI del score y de cada variable individual, comparando la distribución del mes actual con la distribución del período de entrenamiento.
- Comparación con umbrales Se compara cada PSI con los umbrales definidos (0,10 y 0,25). Si algún PSI supera el umbral se genera una alerta.
- Investigación de alertas Cuando hay una alerta se investiga la causa. Las causas más frecuentes son:
- Cambio en el perfil de los solicitantes (cambio en la población)
- Cambio en los criterios de concesión (más o menos estrictos)
- Cambio en las condiciones económicas (ciclo económico)
- Cambio en la definición o el cálculo de alguna variable (problema técnico)
- Deriva genuina del modelo (el modelo ya no es válido)
- Decisión de acción Según la causa y la magnitud del cambio se decide:
- No actuar: el cambio tiene una explicación aceptable y el modelo sigue siendo válido
- Recalibrar: ajustar el intercepto del modelo para corregir el desplazamiento en la tasa de default predicha
- Reentrenar: construir un nuevo modelo con datos más recientes
- Reemplazar: sustituir el modelo por uno nuevo con variables distintas
Cuándo el PSI alto no es un problema
El PSI mide cambio, no error. Un PSI alto indica que la distribución ha cambiado, pero no necesariamente que el modelo esté funcionando mal. Hay situaciones en las que un PSI alto es esperado y aceptable:
Cambio intencionado en los criterios de concesión
Si la entidad decide ser más selectiva, subiendo el umbral de score mínimo para la aprobación, la distribución de scores de los clientes aprobados cambiará. El PSI será alto pero el modelo sigue siendo válido, simplemente se está aplicando a una subpoblación diferente.
Mejora genuina del perfil de los solicitantes
En períodos de bonanza económica los solicitantes de crédito tienen, en promedio, mejor situación financiera. La distribución de scores se desplaza hacia arriba. El PSI es alto pero refleja una realidad económica, no un problema del modelo.
Cambio estacional
Algunos productos de crédito tienen estacionalidad marcada. Los solicitantes de crédito al consumo en diciembre tienen un perfil distinto a los de julio. Un PSI alto entre meses puede ser estacional y no indicar degradación.
En todos estos casos el PSI alto debe interpretarse en contexto, con conocimiento de los cambios en el negocio, las condiciones económicas y los criterios de concesión. Un PSI alto sin contexto es una señal de alerta. Un PSI alto con contexto puede ser completamente aceptable.
PSI vs Gini: dos métricas complementarias
El PSI y el Gini son las dos métricas de monitorización más usadas en credit scoring y se complementan:
- Gini mide la capacidad discriminativa del modelo, si sigue separando bien buenos de malos pagadores. Para calcularlo necesitas saber quién impagó, lo que requiere esperar el período de performance completo (típicamente 12 meses).
- PSI mide la estabilidad de la distribución del score, si los clientes actuales tienen un perfil similar al del entrenamiento. Se puede calcular inmediatamente, sin esperar a conocer los defaults.
Esta diferencia temporal es crítica en la práctica. El PSI permite detectar problemas potenciales con 12 meses de antelación respecto al Gini, antes de que los defaults reales confirmen que el modelo se ha degradado.
El proceso de monitorización ideal usa ambas métricas:
- Mensualmente: PSI del score y de las variables individuales, detección temprana
- Anualmente (o con el período de performance): Gini, KS y AUC, confirmación de la degradación
Si el PSI empieza a subir y 12 meses después el Gini cae, el PSI fue la señal de alerta temprana. Si el PSI es estable y el Gini también, el modelo sigue funcionando bien. Si el Gini cae sin que el PSI hubiera alertado antes, puede haber un problema de calibración más que de estabilidad de la distribución.
Limitaciones del PSI
El PSI es una herramienta poderosa pero tiene limitaciones que conviene conocer:
Depende del número y la definición de los grupos
El valor del PSI depende de cómo se definen los grupos. Con más grupos el PSI es más sensible a pequeños cambios. Con menos grupos puede pasar por alto cambios importantes en partes específicas de la distribución. La convención más usada es 10 grupos de igual frecuencia en el período de referencia, pero no es la única opción válida.
No detecta cambios en las relaciones entre variables
El PSI mide si la distribución marginal de cada variable ha cambiado, pero no detecta cambios en las correlaciones entre variables. Si dos variables que antes estaban correlacionadas dejan de estarlo, el PSI de cada una puede ser bajo aunque el comportamiento conjunto haya cambiado significativamente.
No distingue entre cambios buenos y malos
Un desplazamiento hacia scores más altos puede indicar una mejora genuina del portfolio (bueno) o que el modelo está sobreestimando la calidad de los clientes actuales (malo). El PSI no lo distingue — eso requiere análisis adicional con la tasa de default observada.
Es sensible al tamaño muestral
Con muestras pequeñas el PSI puede ser alto por variabilidad estadística aunque la distribución real no haya cambiado. Con muestras muy grandes puede detectar cambios estadísticamente significativos pero prácticamente irrelevantes. Siempre debe interpretarse con el contexto del tamaño muestral.
El PSI en el laboratorio de Analytics Lane
El constructor de scorecards del laboratorio calcula el PSI en dos momentos del proceso:
- Durante la construcción — paso 1 PSI entre el conjunto de entrenamiento y el de test para cada variable y para el score. Permite detectar particiones problemáticas antes de ajustar el modelo. Variables con PSI train/test > 0,10 se marcan con advertencia y el analista puede excluirlas o mantenerlas con justificación documentada en el log de decisiones.
- Durante el scoring — componente de scoring PSI entre la distribución del entrenamiento y la distribución del nuevo dataset scored, calculado sobre el score final y sobre cada variable individual. Si el dataset de scoring incluye la variable objetivo se calcula también el PSI de las probabilidades predichas. El resultado se presenta con el semáforo estándar (verde/amarillo/naranja/rojo) y con la tabla de contribución al PSI por grupo.
Por otro lado, la aplicación para aplicar los scorecard de crédito compara el PSI de los datos que se van a utilizar con los usados para entrenar el modelo, permitiendo saber si estos han cambiado.
La aplicación de monitorización periódica permitirá cargar el JSON del modelo y datasets de distintos períodos para ver la evolución temporal del PSI, el Gini y la tasa de default observada, con alertas configurables cuando alguna métrica supere los umbrales definidos.
Conclusiones
El PSI es la herramienta que cierra el ciclo del credit scoring. La construcción del modelo es el inicio — el PSI es lo que permite saber durante cuánto tiempo ese modelo sigue siendo válido y cuándo hay que actuar.
Su ventaja principal respecto a otras métricas de monitorización es la inmediatez: no necesitas esperar 12 meses para conocer los defaults reales. Puedes detectar que la distribución está cambiando, y por tanto que el modelo puede estar degradándose, con mucha anticipación.
Su limitación principal es que mide cambio, no error. Un PSI alto es una señal de alerta que requiere investigación, no una condena automática del modelo. La interpretación siempre requiere contexto, conocimiento del negocio, de las condiciones económicas y de los cambios en los criterios de concesión.
Usado correctamente, como parte de un proceso de monitorización periódica que combina PSI mensual con Gini anual, el PSI permite gestionar el ciclo de vida de un scorecard de forma rigurosa: saber cuándo está funcionando bien, cuándo necesita recalibración y cuándo hay que reconstruirlo desde cero.
Sin monitorización un scorecard es como un mapa sin fecha. Puede haber sido preciso cuando se dibujó. Pero el territorio cambia y sin el PSI no sabes cuándo el mapa ha dejado de ser útil.
Nota: Las imágenes de este artículo fueron generadas utilizando un modelo de inteligencia artificial.
Deja una respuesta