El castillo de arena: por qué tantos resultados científicos se desmoronan al someterlos a prueba

En 2015, un consorcio de investigadores publicó en Science los resultados de un proyecto tan ambicioso como perturbador: habían intentado reproducir 100 estudios publicados en revistas de psicología de alto impacto. Solo el 36 % de los intentos de replicación obtuvieron resultados estadísticamente significativos. En el 64 % restante, los efectos originales no aparecieron, o aparecieron con una magnitud sustancialmente menor. El estudio se conoce hoy como el Reproducibility Project y marcó un antes y un después en la conversación científica sobre la solidez de sus propios fundamentos.

Lo que ese proyecto hizo visible no era nuevo. Investigadores de diversas disciplinas llevaban años advirtiendo de lo mismo en voz más baja. Lo que cambió fue la escala de la demostración y la imposibilidad de ignorarla. La crisis de reproducibilidad —también llamada crisis de replicación— había llegado al centro del debate.

Qué significa que un resultado no se reproduzca

Antes de examinar las causas, conviene precisar qué implica exactamente que un estudio no sea reproducible. No implica necesariamente que el investigador original mintió o cometió fraude. Implica algo más sutil y, en ciertos aspectos, más preocupante: que el resultado publicado no era tan robusto como su presentación sugería.

En ciencia, un hallazgo es sólido cuando puede obtenerse de manera consistente bajo condiciones similares, con muestras distintas, por equipos independientes. Cuando esto no ocurre, pueden estar en juego varios factores: muestras demasiado pequeñas, análisis estadísticos aplicados de manera flexible, condiciones experimentales que no se especificaron con suficiente detalle, o simplemente la variabilidad aleatoria que en una sola medición puede producir resultados que parecen significativos pero no lo son.

Este último punto merece atención especial. El umbral estadístico convencional en ciencias sociales y biomédicas —el famoso p < 0,05— significa que hay menos de un 5 % de probabilidad de obtener ese resultado si la hipótesis fuera falsa. Pero si se realizan suficientes pruebas estadísticas sobre los mismos datos, la probabilidad acumulada de obtener al menos un resultado «significativo» por azar crece considerablemente. Este fenómeno, conocido como p-hacking o manipulación de análisis, no requiere intención fraudulenta: basta con explorar los datos de manera suficientemente flexible y reportar solo lo que funciona.

El sistema de incentivos que fabrica castillos de arena

La crisis de reproducibilidad no puede entenderse sin examinar la estructura de incentivos que gobierna la investigación académica contemporánea. Esa estructura, construida durante décadas, premia sistemáticamente ciertos comportamientos y penaliza otros, con consecuencias que se acumulan hasta producir una literatura científica sesgada de maneras que los propios investigadores reconocen con creciente incomodidad.

El primer incentivo problemático es la preferencia editorial por la novedad y la significación estadística. Las revistas científicas de mayor impacto publican con mucha mayor facilidad estudios que reportan efectos nuevos y estadísticamente significativos que estudios que reportan la ausencia de efectos o la replicación de resultados ya conocidos. Esta asimetría tiene un nombre técnico: sesgo de publicación. Y sus consecuencias son graves: la literatura acumulada sobre un tema puede estar sistemáticamente distorsionada hacia los resultados positivos, porque los negativos nunca llegan a publicarse.

El segundo incentivo es la presión sobre los investigadores para publicar con frecuencia en revistas de alto impacto. En el sistema académico actual —especialmente en universidades españolas y europeas sometidas a métricas de evaluación como el índice h o los quartiles de las revistas—, la carrera profesional de un investigador depende en buena medida de su producción bibliométrica. Esto genera un incentivo estructural para publicar resultados rápidamente, con muestras a veces insuficientes, sin esperar a la confirmación independiente.

Casos concretos: cuando la crisis tiene nombre y apellido

La psicología social fue una de las primeras disciplinas en enfrentar la crisis de manera visible. El caso del psicólogo holandés Diederik Stapel, que fabricó datos durante años antes de ser descubierto en 2011, fue el más escandaloso. Pero el problema no se limita al fraude: efectos ampliamente citados como el priming social —la idea de que exposición a palabras relacionadas con la vejez hace que las personas caminen más despacio— no han podido replicarse de manera consistente.

La biomedicina enfrenta desafíos similares. Un análisis publicado en PLOS Medicine en 2005 por el epidemiólogo John Ioannidis —con el título provocador «Por qué la mayoría de los hallazgos publicados son falsos»— argumentó que, dadas las condiciones típicas de los estudios biomédicos, la probabilidad de que un hallazgo publicado sea verdadero es frecuentemente inferior al 50 %. El artículo se ha convertido en uno de los más citados en la historia de la medicina.

La economía experimental y la neurociencia cognitiva también han visto cómo hallazgos influyentes se resistían a la replicación. El efecto de agotamiento del ego —la idea de que la fuerza de voluntad es un recurso limitado que se agota con el uso— fue durante años uno de los conceptos más populares en psicología aplicada. Metaanálisis recientes sugieren que el efecto original estaba sobreestimado de manera considerable.

Lo que la crisis no significa y lo que sí significa

Sería un error interpretar la crisis de reproducibilidad como una refutación de la ciencia como método. Significaría no entender qué es la ciencia: precisamente su capacidad para identificar sus propios errores y corregirlos es lo que la distingue de otros sistemas de producción de creencias.

Lo que la crisis sí significa es que el conocimiento científico publicado en un momento dado debe tratarse con más cautela de la que habitualmente se le dispensa. Los titulares que proclaman «Un estudio demuestra que...» deberían leerse con la conciencia de que un solo estudio demuestra muy poco. Lo que importa es la acumulación de evidencia replicada, el metaanálisis riguroso, la convergencia de métodos independientes.

También significa que el sistema de producción y comunicación del conocimiento científico necesita reformas estructurales: mayor transparencia en el registro previo de hipótesis y métodos, valoración explícita de los estudios de replicación, apertura de datos y código para verificación independiente. Algunas de estas reformas ya están en marcha en diversas disciplinas. Su velocidad de adopción determinará, en buena medida, cuánto del edificio construido sobre castillos de arena podemos reemplazar por cimientos más sólidos.