La estadística no suele fallar en los cálculos: falla en la interpretación. El test está bien hecho, el número es correcto… y aun así la conclusión que se saca de él es errónea. Estos malentendidos no son anécdotas de principiante; aparecen en artículos científicos, informes de empresa y, especialmente, titulares de prensa todos los días.
En esta entrada reunimos los errores de interpretación más habituales, agrupados por el tipo de confusión que los origina. No es una lista para memorizar, sino un conjunto de reflejos que conviene tener entrenados cada vez que alguien te enseña un resultado.
Este es, posiblemente, el error más habitual, del que se derivan muchos otros. El p-valor es P(\text{datos} \mid H_0): la probabilidad de observar datos al menos tan extremos suponiendo que la hipótesis nula es cierta. No es P(H_0 \mid \text{datos}), la probabilidad de que la hipótesis nula sea cierta dados los datos. Son dos cosas distintas, y confundirlas es como confundir “la probabilidad de tener fiebre si tienes gripe” con “la probabilidad de tener gripe si tienes fiebre”.
Un p-valor de 0,03 no significa “hay un 3 % de probabilidad de que el resultado sea casualidad” ni “un 97 % de que el efecto sea real”. Significa, exclusivamente, que datos así serían poco frecuentes en un mundo sin efecto. Para pasar de ahí a la probabilidad de la hipótesis hace falta información adicional (en términos bayesianos, una probabilidad previa).
Un resultado “estadísticamente significativo” solo dice que probablemente no es casualidad; no dice que sea grande ni que importe. Con una muestra suficientemente grande, hasta un efecto trivial alcanza significación. Para saber si algo importa hay que mirar el tamaño del efecto y su intervalo de confianza, no el p-valor. (Es un error tan frecuente que merece su propia entrada.)
La cara complementaria: no rechazar la hipótesis nula no prueba que el efecto sea nulo. Puede que simplemente la muestra fuera pequeña o ruidosa y no tuviera potencia para detectarlo. La ausencia de evidencia no es evidencia de ausencia. Si de verdad quieres demostrar que no hay diferencia, necesitas un contraste de equivalencia, no un test clásico que sale no significativo.
Un error sutil y muy extendido: un estudio encuentra un efecto significativo, otro no, y se concluye que “los resultados se contradicen” o que “el efecto desapareció en el segundo grupo”. Pero la diferencia entre significativo y no significativo no es, en sí misma, estadísticamente significativa. Que un resultado cruce el umbral de 0,05 y otro no puede deberse a una diferencia mínima de muestra o de ruido. Para comparar dos efectos hay que contrastarlos directamente, no comparar sus etiquetas.
El clásico de los clásicos. Que dos cosas varíen juntas no significa que una cause la otra. Puede haber causalidad inversa (B causa A, no A a B) o, mucho más a menudo, una variable de confusión que mueve a ambas: el consumo de helado y los ahogamientos suben a la vez, pero el culpable es el verano, no el helado. Antes de afirmar una causa, hay que preguntarse qué tercer factor podría estar detrás de ambas variables.
Una relación que aparece en los datos agregados puede invertirse al separar por subgrupos. El caso famoso es el de unas admisiones universitarias que, en conjunto, parecían favorecer a un género, mientras que departamento por departamento la tendencia era la contraria: la diferencia se explicaba por a qué departamentos (más o menos selectivos) se presentaba cada grupo. Moraleja: una tendencia global puede ser un espejismo creado por cómo se mezclan subgrupos de distinto tamaño. Siempre conviene preguntarse si hay una variable por la que deberíamos estratificar.
Las mediciones extremas tienden, por puro azar, a ir seguidas de mediciones menos extremas. Si seleccionas a los pacientes con la presión más alta, a los alumnos con la peor nota o a los comerciales con el peor trimestre, y luego les aplicas cualquier intervención, casi todos “mejorarán” en la siguiente medición… aunque la intervención no haya hecho nada. Esa mejora es en buena parte regresión a la media, y atribuirla al tratamiento es uno de los espejismos más persistentes que existen. Sin grupo de control, es casi imposible distinguir el efecto real de este artefacto.
Una conclusión solo es tan buena como la muestra de la que sale. El sesgo de supervivencia es el ejemplo más elegante: durante la Segunda Guerra Mundial se quiso reforzar los aviones por donde más impactos mostraban los que volvían… hasta que se cayó en la cuenta de que había que reforzar justo donde no tenían impactos, porque los aviones tocados ahí no regresaban para ser contados. Generalizamos constantemente a partir de los supervivientes (fondos de inversión que siguen abiertos, empresas que no quebraron, usuarios que no se dieron de baja) y olvidamos a los ausentes, que son precisamente los que más nos dirían.
Media, desviación típica y correlación comprimen los datos, pero también pueden esconderlos. El cuarteto de Anscombe es la demostración perfecta: cuatro conjuntos de datos con prácticamente la misma media, varianza, correlación y recta de regresión, pero con formas radicalmente distintas (uno lineal, otro curvo, otro arruinado por un único valor atípico). Quien solo mire los números los creería idénticos; quien los dibuje vería cuatro historias diferentes. La lección es vieja pero eterna: grafica tus datos antes de fiarte de sus resúmenes.
Si haces 20 contrastes a un nivel de 0,05, esperas un falso positivo de media aunque no haya absolutamente nada real. Por eso, probar muchas hipótesis y quedarse con la que “salió significativa” es una receta para descubrir efectos inexistentes. Esto incluye sus formas más sutiles: probar muchas variables, muchos subgrupos o muchas formas de procesar los datos hasta que algo cruza el umbral (el llamado “jardín de senderos que se bifurcan”). Cuando se hacen comparaciones múltiples hay que corregirlo (Bonferroni, control de la tasa de falsos descubrimientos) y, sobre todo, desconfiar de los resultados que aparecen tras una búsqueda exhaustiva en lugar de una hipótesis planteada de antemano.
Un intervalo de confianza del 95 % no significa “hay un 95 % de probabilidad de que el valor verdadero esté en este intervalo concreto”. En el marco frecuentista, el valor verdadero es fijo y el intervalo es lo aleatorio: lo correcto es decir que, si repitiéramos el estudio muchas veces, el 95 % de los intervalos así construidos contendrían el valor verdadero. Es una distinción sutil, pero importa: el 95 % es una propiedad del procedimiento, no una probabilidad sobre el intervalo que tienes delante. Aun así, el intervalo de confianza sigue siendo una de las herramientas más informativas que existen, porque te muestra a la vez la magnitud y la incertidumbre.
El denominador común de casi todos estos errores es el mismo: tomar un número correcto y colgarle una interpretación que no le corresponde. La buena noticia es que la defensa también es siempre la misma, una pregunta escéptica más antes de dar por buena la conclusión: ¿qué es exactamente lo que este resultado puede, y no puede, sostener?
En resumen:
Los artículos anteriores de esta serie cubrieron cuatro formas de mirar el valor del cliente:…
Quien se acerca a la criptografía descubre enseguida a dos personajes que aparecen en casi…
En credit scoring el desbalanceo de clases es la norma, no la excepción. En una…
Cualquiera que programe usa la palabra bug a diario para referirse a un fallo en…
Los dos artículos anteriores de la serie cubrieron BG/NBD, el modelo para negocios donde el…
"Tu contraseña debe tener al menos 8 caracteres, una mayúscula, un número y un símbolo…
This website uses cookies.