Research synthesischallenges, reproducibility and future directions

Resumen

Los proyectos de síntesis de investigación desempeñan un papel indispensable en el proceso científico, ordenando la vasta cantidad de evidencia disponible, convirtiendo piezas individuales de evidencia en un cuerpo coherente de conocimiento sobre un tema específico. Dado este papel prominente, los resultados y conclusiones de estos proyectos tienen una mayor relevancia e impacto en comparación con los de estudios individuales. Por tanto, es esencial prestar atención a las prácticas de investigación y a la credibilidad de estos. En la presente tesis doctoral, profundizamos en varios aspectos de las prácticas de investigación y la credibilidad de los proyectos de síntesis de investigación. El primer estudio (Capítulo 2) se centró en evaluar la prevalencia de prácticas de reporte relacionadas con la transparencia y la reproducibilidad en proyectos de síntesis de investigación. El segundo estudio (Capítulo 3) se centró en la reproducibilidad de los resultados meta-analíticos reportados en estos proyectos. Por último, el tercer estudio (Capítulo 4) exploró la potencia estadística de la síntesis meta-analítica cuando se asume un modelo de efectos aleatorios. Los tres estudios se llevaron a cabo utilizando una muestra aleatoria de 100 proyectos de síntesis de investigación publicados sobre la efectividad de intervenciones de psicología clínica. En el primer estudio, se examinó exhaustivamente todo el proceso de esta muestra, desde la búsqueda de literatura hasta los métodos de síntesis. Se encontraron problemas importantes relacionados con la reproducibilidad de los procedimientos de búsqueda de la literatura, la especificación del método exacto para calcular los tamaños de efecto o la elección de factores de ponderación y estimadores de heterogeneidad. Además, también se examinó la disponibilidad de datos y se encontró una falta de disponibilidad de los datos utilizados para calcular los tamaños de efecto, así como una falta de interoperabilidad de los datos disponibles. En el segundo estudio, profundizamos en el problema de la disponibilidad de datos en proyectos de síntesis de investigación. Específicamente, evaluamos la reproducibilidad de los resultados meta-analíticos reportados en estos trabajos. Nuestros resultados indicaron que las prácticas actuales de compartimiento de datos dificultan significativamente la reutilización y recuperación de los datos recopilados durante un proyecto de síntesis de investigación. Esta falta de datos accesibles surgió como una de las amenazas más significativas para la reproducibilidad de los resultados meta-analíticos. Los resultados del tercer estudio han mostrado casos en los que la síntesis meta-analítica de efectos aleatorios podría tener una potencia estadística insuficiente. Normalmente, la síntesis meta-analítica es extremadamente útil, proporcionando estimaciones más precisas y habilitando pruebas estadísticas más potentes. Sin embargo, en circunstancias específicas, este tipo de síntesis puede proporcionar resultados menos informativos. Si bien esto destaca una limitación de la síntesis meta-analítica en algunos escenarios, no se aplica a la síntesis de investigación en su conjunto; más bien, es un resultado específico de esta última. En resumen, enfatizamos el papel de la síntesis de investigación como organizadora del espacio de investigación