Statistical Methodology of Reliability Generalization Meta-Analysis

Resumen

Una parte fundamental de las ciencias sociales y de la salud como la Psicología es cuantificar las capacidades, los rasgos o los atributos psicológicos con los que cuentan las personas. Para que esta cuantificación sea verdaderamente representativa y pueda ser útil, es necesario que el proceso de medición sea preciso y se realice a través de instrumentos de medida bien construidos y contrastados. Uno de los mínimos imprescindibles que se deben cumplir es que la medición sea fiable, es decir, que las diferentes aplicaciones del instrumento arrojen resultados concordantes. La fiabilidad es una propiedad psicométrica que representa el grado de replicabilidad de las puntuaciones de un instrumento. La fiabilidad no es intrínseca del instrumento, por lo que para conseguir elevar ese valor al test en sí mismo es necesario aplicar otras técnicas y métodos estadísticos que lo permitan. De esta forma, Vacha-Haase en 1998 desarrolló el concepto del Meta-análisis de Generalización de la Fiabilidad (GF), haciéndose valer de la metodología meta-analítica (la mejor herramienta para la síntesis de la evidencia empírica) para generalizar los resultados de fiabilidad de las múltiples aplicaciones de un test. Esta técnica es especialmente importante ya que los resultados individuales de los estudios primarios suelen aportar diferentes conclusiones y, en ocasiones, hasta contradictorias. La integración de todos los resultados experimentales en un mismo campo de estudio proporciona una visión más globalizada y realista del efecto verdadero. Una ventaja de esta metodología es su flexibilidad y la ausencia de un protocolo estricto. Esto implica que cada investigador debe tomar las decisiones estadísticas oportunas en función de los datos con los que cuente y la capacidad de generalización de sus resultados. Como mínimo, en un meta-análisis GF hay que tomar tres decisiones fundamentales: el método de transformación de los coeficientes, el modelo estadístico asumido y el método de ponderación aplicado. Cabe destacar que la forma convencional utilizada en el meta-análisis GF no tiene en cuenta las posibles relaciones de dependencia que pudieran surgir. Cuando un test tiene una estructura multidimensional con varias subescalas, todas formando parte de un mismo constructo psicológico, esta dependencia puede aparecer. Tradicionalmente para acabar con estas redes de dependencia, lo que se ha propuesto es dividir cada subescala en meta-análisis independientes. Esta estrategia no es la más adecuada, ya que los resultados que se obtienen son menos precisos y los análisis estadísticos pierden potencia (Assink & Wibbelink, 2016; Van den Noortgate et al., 2013). Una alternativa es tratar de modelar la dependencia aplicando modelos multinivel. Aunque la naturaleza de esta metodología permite utilizar cualquier estrategia analítica, ya sea de manera tradicional, o aplicando modelos multinivel, resulta imprescindible que esta se reporte minuciosamente, especificando cada una de las decisiones que se han tomado para obtener dichos resultados. Esta tesis presenta tres objetivos fundamentales: el primer objetivo lo encontramos en el primer estudio de esta tesis (Capítulo 2) donde se compara estadísticamente los resultados obtenidos basándonos en las diferentes decisiones estadísticas (transformación de coeficientes, modelo estadístico y método de ponderación). De esta forma, se determinará si diferentes decisiones pueden dar lugar a diferentes conclusiones. El segundo estudio de la tesis (Capítulo 3) tratará de comprobar el grado de reproducibilidad de este tipo de estudios, así como el nivel de transparencia y reporte de la información fundamental para repetir los análisis. Por último, el tercer estudio (Capítulo 4) buscará conocer las diferencias entre los resultados obtenidos aplicando la metodología convencional de un meta-análisis GF que abole las posibles relaciones de dependencia y la metodología del modelo multinivel, que las integra y modela.