|
Getting your Trinity Audio player ready...
|
Existe una creencia extendida, casi axiomática, en torno a la investigación científica: si los datos son los mismos, las conclusiones deberían serlo también. Un gran experimento internacional acaba de desafiar esa intuición con resultados que invitan a replantear cómo entendemos la objetividad científica.
El estudio, publicado esta semana en la revista Nature, forma parte del megaproyecto SCORE (Systematizing Confidence in Open Research and Evidence), un ambicioso programa financiado por la agencia estadounidense DARPA cuyo objetivo es medir la credibilidad real de las ciencias sociales y del comportamiento. Y lo que ha encontrado es revelador: distintos análisis sobre los mismos datos arrojan resultados científicos diferentes, poniendo de relieve hasta qué punto las decisiones metodológicas influyen en los resultados.
El experimento: 457 científicos, los mismos datos, preguntas distintas
El diseño del estudio es tan sencillo en su planteamiento como sofisticado en sus implicaciones. La investigación reunió a 457 analistas independientes de instituciones de todo el mundo, quienes realizaron 504 reanálisis de datos procedentes de 100 estudios científicos previamente publicados. Todos recibieron el mismo conjunto de datos y la misma pregunta de investigación, pero tuvieron libertad total para decidir cómo analizarlos.
El resultado fue una dispersión notable de conclusiones. No porque los investigadores fueran incompetentes o hubieran actuado de mala fe, sino por algo más estructural y, en cierta medida, inevitable: la naturaleza misma del proceso analítico.
La «variabilidad analítica»: múltiples caminos, un mismo punto de partida
El fenómeno que el estudio pone en el centro del debate tiene nombre: variabilidad analítica. Factores como la forma de limpiar los datos en bruto, cómo se definen las variables o qué modelo estadístico se utiliza influyen de manera decisiva en las conclusiones finales y generan mayor incertidumbre en estudios observacionales complejos, donde el investigador tiene más opciones metodológicas que en los diseños experimentales.
Dicho de otro modo: dos investigadores rigurosos, honestos y bien formados pueden sentarse ante la misma tabla de datos y llegar a afirmaciones distintas, incluso contradictorias, sin que ninguno de los dos esté equivocado en sentido estricto. Cada decisión metodológica —y hay docenas de ellas en cualquier análisis— es una bifurcación en el camino. Y los caminos llevan a lugares diferentes.
Lo más sorprendente es que la formación estadística no actúa como escudo protector. Los investigadores con una sólida formación estadística tuvieron la misma probabilidad de llegar a resultados divergentes que sus colegas con menos experiencia cuantitativa. La variabilidad, por tanto, no es un problema de pericia individual, sino una característica sistémica de la investigación empírica.
Una crítica constructiva, no un ataque a la ciencia
Sería un error leer este estudio como un cuestionamiento nihilista de la ciencia social. Sus autores son muy explícitos al respecto. Estos hallazgos no cuestionan la credibilidad de investigaciones previas. Más bien, ponen de manifiesto que presentar un único análisis a menudo no refleja el verdadero grado de incertidumbre empírica, y que ignorar la variabilidad analítica puede conducir a una confianza excesiva en las conclusiones científicas, señala Balázs Aczél, investigador principal del estudio de robustez.
La investigadora del CSIC Guiomar Niso, participante en el trabajo desde el Centro de Neurociencias Cajal, apunta en la misma dirección: comprender y cuantificar esa variabilidad y garantizar la transparencia en los procesos analíticos nos permite fortalecer la confianza en la investigación científica.
El mensaje, en suma, no es que la ciencia falle, sino que la forma en que se comunica puede ser mejorada. Publicar un único análisis como si fuera la única respuesta posible a una pregunta de investigación puede crear una ilusión de certeza que los datos, por sí solos, no justifican.
Un problema que va más allá de las ciencias sociales
Aunque el estudio SCORE se centra en las ciencias sociales y del comportamiento, la cuestión de la variabilidad analítica no es exclusiva de este campo. Esta es una preocupación general en el ámbito científico que va mucho más allá del campo de las ciencias sociales, donde hasta ahora se había realizado la mayor parte del trabajo sobre este tema, señala la investigadora de la URJC Ana Isabel García-Cervigón en un estudio previo sobre ecología y biología evolutiva que llegó a conclusiones similares.
La diferencia es de grado. Las ciencias sociales trabajan con fenómenos humanos enormemente complejos —comportamientos, actitudes, dinámicas grupales— que rara vez admiten el tipo de control experimental estricto que caracteriza a las ciencias naturales. Esa complejidad amplifica la variabilidad: cuantas más decisiones metodológicas legítimas existan, mayor será la dispersión de resultados posibles.
¿Qué cambia ahora?
El estudio SCORE no solo diagnostica el problema, sino que apunta hacia soluciones. Las conclusiones no siempre son absolutas, sino el resultado de un proceso complejo de análisis e interpretación, y reconocer esto públicamente es el primer paso. Avanzar hacia una ciencia más fiable implica no solo replicar resultados, sino también entender la diversidad de caminos analíticos que pueden conducir a ellos.
Prácticas como el preregistro de los análisis —comprometerse antes de ver los datos con el método que se va a usar—, la publicación de los datos en bruto o la realización de análisis de sensibilidad que exploren distintas opciones metodológicas son algunas de las herramientas que pueden ayudar a hacer visible lo que hoy suele quedar oculto tras la presentación de un único resultado.
La ciencia social, en definitiva, no necesita defensores de este estudio: necesita adoptarlo. Reconocer que los datos no hablan solos —que siempre hay una mano humana que los interpreta, que los ordena, que elige qué contar y cómo— no debilita la empresa científica. La hace más honesta.
Generado por Claude
