La estadística no suele fallar en los cálculos: falla en la interpretación. El test está bien hecho, el número es correcto… y aun así la conclusión que se saca de él es errónea. Estos malentendidos no son anécdotas de principiante; aparecen en artículos científicos, informes de empresa y, especialmente, titulares de prensa todos los días.
En esta entrada reunimos los errores de interpretación más habituales, agrupados por el tipo de confusión que los origina. No es una lista para memorizar, sino un conjunto de reflejos que conviene tener entrenados cada vez que alguien te enseña un resultado.
Grupo 1: El p-valor y la significación
Invertir el condicional: creer que el p-valor es la probabilidad de que H₀ sea cierta
Este es, posiblemente, el error más habitual, del que se derivan muchos otros. El p-valor es P(\text{datos} \mid H_0): la probabilidad de observar datos al menos tan extremos suponiendo que la hipótesis nula es cierta. No es P(H_0 \mid \text{datos}), la probabilidad de que la hipótesis nula sea cierta dados los datos. Son dos cosas distintas, y confundirlas es como confundir “la probabilidad de tener fiebre si tienes gripe” con “la probabilidad de tener gripe si tienes fiebre”.
Un p-valor de 0,03 no significa “hay un 3 % de probabilidad de que el resultado sea casualidad” ni “un 97 % de que el efecto sea real”. Significa, exclusivamente, que datos así serían poco frecuentes en un mundo sin efecto. Para pasar de ahí a la probabilidad de la hipótesis hace falta información adicional (en términos bayesianos, una probabilidad previa).
Confundir significación con importancia
Un resultado “estadísticamente significativo” solo dice que probablemente no es casualidad; no dice que sea grande ni que importe. Con una muestra suficientemente grande, hasta un efecto trivial alcanza significación. Para saber si algo importa hay que mirar el tamaño del efecto y su intervalo de confianza, no el p-valor. (Es un error tan frecuente que merece su propia entrada.)
Leer “no significativo” como “no hay efecto”
La cara complementaria: no rechazar la hipótesis nula no prueba que el efecto sea nulo. Puede que simplemente la muestra fuera pequeña o ruidosa y no tuviera potencia para detectarlo. La ausencia de evidencia no es evidencia de ausencia. Si de verdad quieres demostrar que no hay diferencia, necesitas un contraste de equivalencia, no un test clásico que sale no significativo.
Comparar “significativo” con “no significativo” como si fuera una diferencia real
Un error sutil y muy extendido: un estudio encuentra un efecto significativo, otro no, y se concluye que “los resultados se contradicen” o que “el efecto desapareció en el segundo grupo”. Pero la diferencia entre significativo y no significativo no es, en sí misma, estadísticamente significativa. Que un resultado cruce el umbral de 0,05 y otro no puede deberse a una diferencia mínima de muestra o de ruido. Para comparar dos efectos hay que contrastarlos directamente, no comparar sus etiquetas.
Grupo 2: Causalidad y variables ocultas
Confundir correlación con causalidad
El clásico de los clásicos. Que dos cosas varíen juntas no significa que una cause la otra. Puede haber causalidad inversa (B causa A, no A a B) o, mucho más a menudo, una variable de confusión que mueve a ambas: el consumo de helado y los ahogamientos suben a la vez, pero el culpable es el verano, no el helado. Antes de afirmar una causa, hay que preguntarse qué tercer factor podría estar detrás de ambas variables.
La paradoja de Simpson
Una relación que aparece en los datos agregados puede invertirse al separar por subgrupos. El caso famoso es el de unas admisiones universitarias que, en conjunto, parecían favorecer a un género, mientras que departamento por departamento la tendencia era la contraria: la diferencia se explicaba por a qué departamentos (más o menos selectivos) se presentaba cada grupo. Moraleja: una tendencia global puede ser un espejismo creado por cómo se mezclan subgrupos de distinto tamaño. Siempre conviene preguntarse si hay una variable por la que deberíamos estratificar.
Confundir regresión a la media con un efecto real
Las mediciones extremas tienden, por puro azar, a ir seguidas de mediciones menos extremas. Si seleccionas a los pacientes con la presión más alta, a los alumnos con la peor nota o a los comerciales con el peor trimestre, y luego les aplicas cualquier intervención, casi todos “mejorarán” en la siguiente medición… aunque la intervención no haya hecho nada. Esa mejora es en buena parte regresión a la media, y atribuirla al tratamiento es uno de los espejismos más persistentes que existen. Sin grupo de control, es casi imposible distinguir el efecto real de este artefacto.
Grupo 3: De dónde vienen los datos
Ignorar el sesgo de selección y de supervivencia
Una conclusión solo es tan buena como la muestra de la que sale. El sesgo de supervivencia es el ejemplo más elegante: durante la Segunda Guerra Mundial se quiso reforzar los aviones por donde más impactos mostraban los que volvían… hasta que se cayó en la cuenta de que había que reforzar justo donde no tenían impactos, porque los aviones tocados ahí no regresaban para ser contados. Generalizamos constantemente a partir de los supervivientes (fondos de inversión que siguen abiertos, empresas que no quebraron, usuarios que no se dieron de baja) y olvidamos a los ausentes, que son precisamente los que más nos dirían.
No mirar más allá de los resúmenes numéricos
Media, desviación típica y correlación comprimen los datos, pero también pueden esconderlos. El cuarteto de Anscombe es la demostración perfecta: cuatro conjuntos de datos con prácticamente la misma media, varianza, correlación y recta de regresión, pero con formas radicalmente distintas (uno lineal, otro curvo, otro arruinado por un único valor atípico). Quien solo mire los números los creería idénticos; quien los dibuje vería cuatro historias diferentes. La lección es vieja pero eterna: grafica tus datos antes de fiarte de sus resúmenes.
Grupo 4: Buscar hasta encontrar
Las comparaciones múltiples y el p-hacking
Si haces 20 contrastes a un nivel de 0,05, esperas un falso positivo de media aunque no haya absolutamente nada real. Por eso, probar muchas hipótesis y quedarse con la que “salió significativa” es una receta para descubrir efectos inexistentes. Esto incluye sus formas más sutiles: probar muchas variables, muchos subgrupos o muchas formas de procesar los datos hasta que algo cruza el umbral (el llamado “jardín de senderos que se bifurcan”). Cuando se hacen comparaciones múltiples hay que corregirlo (Bonferroni, control de la tasa de falsos descubrimientos) y, sobre todo, desconfiar de los resultados que aparecen tras una búsqueda exhaustiva en lugar de una hipótesis planteada de antemano.
Un extra que casi todo el mundo lee mal: el intervalo de confianza
Un intervalo de confianza del 95 % no significa “hay un 95 % de probabilidad de que el valor verdadero esté en este intervalo concreto”. En el marco frecuentista, el valor verdadero es fijo y el intervalo es lo aleatorio: lo correcto es decir que, si repitiéramos el estudio muchas veces, el 95 % de los intervalos así construidos contendrían el valor verdadero. Es una distinción sutil, pero importa: el 95 % es una propiedad del procedimiento, no una probabilidad sobre el intervalo que tienes delante. Aun así, el intervalo de confianza sigue siendo una de las herramientas más informativas que existen, porque te muestra a la vez la magnitud y la incertidumbre.
Conclusiones
El denominador común de casi todos estos errores es el mismo: tomar un número correcto y colgarle una interpretación que no le corresponde. La buena noticia es que la defensa también es siempre la misma, una pregunta escéptica más antes de dar por buena la conclusión: ¿qué es exactamente lo que este resultado puede, y no puede, sostener?
En resumen:
- El p-valor es P(\text{datos} \mid H_0), no P(H_0 \mid \text{datos}). No lo inviertas.
- Significativo ≠ importante; no significativo ≠ inexistente. Mira siempre el tamaño del efecto.
- No compares etiquetas (“significativo” vs “no”) como si fueran una diferencia real; contrasta directamente.
- Correlación no es causalidad: busca confusores y causalidad inversa antes de afirmar una causa.
- Desconfía de los agregados (Simpson) y de las mejoras tras seleccionar extremos (regresión a la media).
- Pregunta de dónde salió la muestra (sesgo de selección y supervivencia) y dibuja los datos antes de creer en sus resúmenes.
- Cuidado con buscar hasta encontrar: las comparaciones múltiples fabrican falsos positivos.
- El intervalo de confianza habla del procedimiento, no de tu intervalo concreto.
Deja una respuesta