Cuando empezamos a trabajar con modelos de clasificación, una de las primeras cosas que aprendemos es a evaluarlos. Necesitamos saber qué bien funcionan. Y casi siempre lo hacemos mirando números. Porcentajes. Métricas con nombres que suenan técnicos y fiables: exactitud, precisión, recall, F1…
Pero aquí surge un problema: no el uso de métricas, sino creer que todas miden lo mismo o, peor aún, que con una sola se puede resumir si un modelo “funciona bien”. Para comprender por qué esta forma de pensar es un error, hay que dar un paso atrás y hacerse una pregunta mucho más simple:
¿Qué está midiendo exactamente cada métrica?
No cómo se calcula. No qué valor es “bueno” para cada una. Sino qué aspecto del comportamiento del modelo está observando. Porque cada métrica mira el mismo problema desde un ángulo distinto. Y si no sabemos qué ángulo es ese, es muy fácil interpretar mal el resultado.
Tabla de contenidos
Cuando un modelo de clasificación toma una decisión, no solo puede acertar o equivocarse. Puede equivocarse y acertar de formas distintas. Por ejemplo, en un modelo de clasificación binario, al decidir si algo es “positivo” o “negativo”:
Estas cuatro posibilidades no tienen el mismo impacto en el rendimiento del modelo. Por ejemplo, dejar pasar una operación fraudulenta no tiene el mismo impacto que marcar una operación legítima como fraudulenta. Y las métricas no tratan igual estos casos. Cada métrica decide a qué tipo de acierto o error presta atención… y a cuáles no.
La exactitud es la métrica más intuitiva y, normalmente, la primera que se aprende.
Conceptualmente responde a esta pregunta:
De todas las decisiones que he tomado, ¿en cuántas he acertado?
No distingue entre tipos de acierto. No distingue entre tipos de error. Solo cuenta cuántas veces el modelo ha acertado en total.
Si el modelo toma 100 decisiones y acierta 90, su exactitud es del 90 %. Tan simple como eso.
La exactitud es útil cuando:
En estos casos, mirar el promedio tiene sentido. El número refleja razonablemente bien el comportamiento global del modelo.
La exactitud no responde a preguntas como:
Dos modelos con la misma exactitud pueden comportarse de forma radicalmente distinta. Uno puede fallar siempre en los casos importantes y otro no.
La exactitud solo dice “acierto mucho en general”, pero no dice dónde ni cómo.
La precisión cambia completamente el punto de vista. Ya no mira todas las decisiones, sino solo aquellas en las que el modelo afirma algo.
La pregunta que responde es:
De todas las veces que he dicho que algo es positivo, ¿cuántas veces era verdad?
Es una métrica centrada en la fiabilidad de las predicciones positivas.
Imagina un detector de incendios. Cada vez que suena, te preguntas:
“Cuando suena la alarma, ¿realmente suele haber fuego?”
Si la respuesta es “casi siempre”, la precisión es alta. Si la mayoría de las alarmas son falsas, la precisión es baja.
La precisión no se preocupa por las veces que el modelo identifica un caso como positivo. Solo evalúa qué pasa cuando lo marca.
La precisión no responde a:
Un modelo puede tener una precisión altísima simplemente porque predice muy pocas veces. Puede ser muy cuidadoso, muy conservador, y aun así dejar pasar muchos casos relevantes.
La precisión mide confianza, no cobertura.
El recall observa el problema desde el lado opuesto. En lugar de fijarse en lo que el modelo predice, se fija en la realidad.
La pregunta que responde es:
De todos los casos que realmente eran positivos, ¿cuántos he conseguido detectar?
Es una métrica centrada en la capacidad de no dejar pasar lo importante.
Piensa en un filtro de seguridad en un aeropuerto. El recall responde a esta pregunta:
“De todas las amenazas reales que existían, ¿cuántas he detectado?”
Un recall alto significa que casi ninguna amenaza pasa desapercibida. Un recall bajo significa que muchas pasan sin ser detectadas.
El recall no responde a:
Un sistema puede tener un recall excelente y, al mismo tiempo, ser poco fiable o generar demasiadas alertas. El recall solo se preocupa por no perder positivos, no por lo que cuesta detectarlos.
Aquí aparece una idea clave para entender estas métricas:
No son opuestas, pero tampoco intercambiables. Cada una responde a una pregunta distinta.
Un modelo puede:
O al revés:
Ninguna de estas métricas es “mejor” por sí misma. Simplemente observan cosas distintas.
Al observar cosas distintas, lo normal es que, si modificamos un modelo para mejorar la precisión, esto afecte negativamente al recall, y viceversa.
El F1-score intenta resumir en un solo número el comportamiento del modelo respecto a precisión y recall.
Conceptualmente responde a algo así como:
¿Cómo de bien equilibro no equivocarme cuando predigo y no dejar pasar positivos importantes?
Es útil cuando:
Pero es importante recordar qué hace y qué no.
El F1-score no explica:
Al combinar métricas, se pierde detalle. El F1 no sustituye a entender precisión y recall; solo las resume.
Existen métricas como el AUC o las curvas ROC que observan el modelo de forma más global, analizando cómo se comporta bajo distintos criterios de decisión.
Conceptualmente, estas métricas responden a preguntas como:
¿Qué capacidad tiene el modelo para separar positivos de negativos, en general?
Son útiles para comparar modelos, pero no describen directamente cómo se comporta uno concreto en un uso real, donde siempre hay que tomar decisiones concretas.
Un error muy habitual es pensar que las métricas compiten entre sí, como si una tuviera que ganar.
En realidad:
No están diseñadas para decir lo mismo. Están diseñadas para contar historias distintas sobre el mismo modelo.
Las métricas no son buenas ni malas. No son trampas ni soluciones mágicas. Son herramientas de observación.
El problema aparece cuando miramos una métrica esperando que nos responda a una pregunta distinta de aquella para la que fue creada.
Entender un modelo no empieza por calcular métricas, sino por saber qué queremos saber de él. Y para eso, comprender qué mide cada métrica de forma conceptual es mucho más importante que memorizar fórmulas.
Porque, al final, medir bien no es cuestión de números. Es cuestión de hacer la pregunta correcta.
Nota: La imágenes de este artículo fueron generadas utilizando un modelo de inteligencia artificial.
Hace poco publiqué una entrada en la que trataba de un sesgo bien documentado: aferrarse…
En un entrada previa explicamos qué son el WOE y el IV y por qué…
Seguimos evolucionando el laboratorio de Analytics Lane y hoy lanzamos la versión 1.1, disponible en:…
“El interés compuesto es la octava maravilla del mundo. El que lo entiende lo gana…
Tienes los datos de ventas de tres productos en dos años distintos y quieres saber…
Imagina la situación. Tu equipo lleva tres años con un modelo en producción. No es…
This website uses cookies.