Los resultados muestran reproducibilidad en las ciencias del comportamiento social.

Con las mejores prácticas, se puede lograr una alta reproducibilidad en la investigación de las ciencias del comportamiento social, informan los investigadores.

Durante casi dos décadas, han surgido relatos a nivel comunitario sobre la confiabilidad de la literatura publicada en las ciencias del comportamiento social, especialmente la psicología. Varios estudios a gran escala han intentado reproducir resultados publicados anteriormente sin éxito o en un volumen mucho menor, poniendo en duda la confiabilidad de los resultados (y de futuros estudios en las ciencias del comportamiento social).

Sin embargo, un grupo de destacados expertos en el campo se ha propuesto demostrar que cuando se utilizan las mejores prácticas, estas son altamente replicables. Durante seis años, los investigadores descubrieron y replicaron 16 nuevos hallazgos utilizando las mejores prácticas aparentemente estándar de oro, incluido el registro previo, tamaños de muestra grandes y precisión de replicación. Sus hallazgos aparecen en La naturaleza del comportamiento humano..

«Es una prueba existencial de que podemos empezar a descubrir nuevos hallazgos y replicarlos a un nivel muy alto», dice el profesor Jonathan Schooler, director del Laboratorio META de la Universidad de California y del Centro para la Atención Plena y el Potencial Humano. Autor principal del artículo. «El principal hallazgo es que cuando se siguen las mejores prácticas actuales para realizar y replicar estudios de comportamiento social en línea, se pueden lograr tasas de replicación generalmente altas y estables».

Los resultados de la replicación de su estudio fueron en promedio un 97% del tamaño de los resultados originales. En comparación, proyectos de replicación anteriores han observado resultados de replicación de alrededor del 50%.

«Ha habido muchas preocupaciones en los últimos años sobre la reproducibilidad de muchas ciencias, pero la psicología fue uno de los primeros campos en comenzar a investigar este tema sistemáticamente», dice el autor principal John Protzko, investigador asociado en el laboratorio de Schooler. Fue investigador postdoctoral durante el estudio. Actualmente es profesor asistente de ciencias psicológicas en la Universidad Estatal de Connecticut.

«La pregunta era si los fallos de replicación anteriores y los tamaños de efecto bajos estaban inherentemente integrados en los diversos campos científicos que observé. Por ejemplo, algunos han especulado que un aspecto inherente de la empresa científica es que los resultados recién descubiertos pueden volverse menos replicables o más pequeños con el tiempo. .la hora.

El grupo decidió realizar nuevos estudios utilizando las mejores prácticas emergentes en ciencia abierta y luego replicarlos con un diseño innovador en el que los investigadores se comprometen a repetir los estudios confirmatorios iniciales independientemente del resultado. A lo largo de seis años, los equipos de investigación de cada laboratorio desarrollaron estudios que luego se replicaron en todos los demás laboratorios.

En total, la coalición descubrió 16 nuevos fenómenos y replicó cada uno de ellos 4 veces con 120.000 participantes. «Si se utilizan las mejores prácticas de muestras grandes, prerregistro y materiales abiertos para descubrir nueva ciencia, y se replica con la mayor fidelidad posible el proceso original, se obtendrá una ciencia muy reproducible». dice Protsko sobre los resultados.

Una innovación importante introducida por el estudio fue que todos los laboratorios participantes acordaron repetir los estudios confirmatorios iniciales independientemente de sus resultados. Esto eliminó el sesgo habitual de la comunidad científica de publicar y replicar únicamente resultados positivos, lo que puede haber contribuido a evaluaciones iniciales infladas de los tamaños del efecto en el pasado. Además, este enfoque ha permitido a los investigadores observar muchos casos en los que los diseños de los estudios no lograron producir resultados significativos en la afirmación original y luego lograron efectos confiables cuando se replicaron en otros laboratorios.

En general, el proyecto reveló tasas de recurrencia muy altas para sus resultados de comportamiento social y ninguna evidencia estadísticamente significativa de reducción en la recurrencia. Los investigadores señalan que, dados los tamaños de las muestras y los tamaños del efecto, la tasa de recurrencia observada del 86%, según la significación estadística, no podría ser mayor.

Para probar la novedad de sus hallazgos, realizaron pruebas independientes sobre las predicciones de los sujetos con respecto a la dirección de los nuevos hallazgos y la probabilidad de que fueran replicados. Varias encuestas de seguimiento en las que participantes ingenuos evaluaron descripciones tanto de estudios nuevos como de aquellos asociados con proyectos de replicación anteriores no encontraron diferencias en la previsibilidad de cada uno. Por lo tanto, el éxito de estos estudios no se debió a que descubrieron resultados claros que necesariamente se esperaría que fueran replicados. De hecho, muchos de los hallazgos recién descubiertos ya se han publicado de forma independiente en revistas de alta calidad.

«No sería particularmente interesante descubrir que es fácil replicar resultados perfectamente claros», dice Schooler. «Pero nuestros estudios fueron similares en el factor sorpresa a estudios que habían sido difíciles de replicar en el pasado. Jueces no capacitados que recibieron resúmenes de las dos condiciones en cada uno de nuestros estudios y un conjunto similar de estudios de dos condiciones de un esfuerzo de replicación anterior encontraron Es igualmente difícil predecir la dirección de nuestros hallazgos en comparación con resultados anteriores.

Debido a que cada laboratorio de investigación desarrolló sus propios estudios, estos provinieron de una variedad de campos sociales, conductuales y psicológicos, como el marketing, la psicología política, los prejuicios y la toma de decisiones. Todos involucraban sujetos humanos y respetaban ciertas restricciones, como no utilizar engaños. «De hecho, estructuramos el proceso para que los laboratorios individuales funcionen de forma independiente», afirma Protzko. «Tocaban temas habituales que les interesaban y cómo llevarían a cabo sus estudios».

En conjunto, su investigación científica proporciona evidencia de que la baja reproducibilidad y los bajos efectos no son inevitables. Las prácticas que mejoran la fidelidad pueden conducir a tasas de recurrencia muy altas, pero determinar con precisión qué prácticas funcionan mejor requerirá más estudios. El enfoque de “fregadero” de este estudio (usar múltiples prácticas para mejorar la precisión simultáneamente) no aisló el efecto de ninguna práctica única.

Los investigadores adicionales del estudio son de la Universidad McGill. Matt Burnett Consultoría; Universidad de Wisconsin-Madison; Universidad Stanford; Universidad de Virginia. Universidad de Gotemburgo. Universidad de Georgetown; la Universidad de Washington en San Luis; Universidad de Carolina del Sur; y Laboratorios de Fenociencia en Berlín, Alemania.

fuente: Universidad de California, Santa Bárbara