Evidencias de validez de contenido de una subescala de búsqueda y gestión de información en estudiantes de Educación Superior

Yéssica Sandybel Garduño Espinoza; Juan Carlos Pérez Morán; Mónica Leticia  López Chacón; Abel Antonio  Grijalva Verdugo

doi:10.32776/EyC.v15i65.880

Autores/as

Yéssica Sandybel Garduño Espinoza Universidad Autónoma de Baja California, México https://orcid.org/0000-0001-5457-3574
Juan Carlos Pérez Morán Red Impulsora de Métodos de Evaluación Diagnóstica e Innovación Educativa, México https://orcid.org/0000-0001-5457-3574
Mónica Leticia López Chacón Universidad Autónoma de Baja California, México https://orcid.org/0000-0001-6228-0210
Abel Antonio Grijalva Verdugo Universidad Autónoma de Occidente, México https://orcid.org/0000-0001-8828-7269

DOI:

https://doi.org/10.32776/EyC.v15i65.880

Palabras clave:

competencia digital, subescalas de autoinforme, validez de constructo, validación, evaluación educativa, educación superior

Resumen

El objetivo del estudio es analizar las evidencias de diseño y validez de constructo del aspecto del contenido de tres subescalas de autoinforme para medir las competencias digitales de búsqueda y gestión de información y datos en estudiantes de Educación Superior (ES). Para ello, se integró el Comité de Validación del Instrumento de Medición (CVIM) por expertos en el campo de la formación y evaluación de competencias digitales. Se obtuvieron y analizaron evidencias de diseño y validez de 33 ítems organizados en las tres subescalas: S1.1. Navegar, buscar y filtrar datos, información y contenidos digitales (k=11), S1.2. Evaluar datos, información y contenidos digitales (k=12), y S1.3. Gestionar datos, información y contenidos digitales (k=10). Para el análisis se consideraron las categorías del Modelo de Evaluación del Diseño Universal (MEDU) y los criterios de relevancia, claridad, simplicidad y precisión. Consecutivamente, se calculó el Porcentaje de Acuerdo entre Jueces (PAJ) y distintos Índices de Validez de Contenido (IVC): el Coeficiente V (CV) de Aiken, la Razón de Validez de Contenido (RVC) de Lawshe, y la versión corregida de Tristán-López (RVC’). Con base en las evidencias se puede concluir que las tres subescalas y la mayoría de sus ítems bajo estudio cumplen con los criterios de calidad esperados. Sin embargo, se recomienda mejorar el diseño de los ítems: 1.1.1, 1.1.2, 1.1.4, 1.1.8, 1.1.10, 1.1.11, 1.2.2, 1.2.5, 1.2.12, y realizar un piloteo empírico para probar la confiabilidad y propiedades psicométricas del instrumento.

Biografía del autor/a

Yéssica Sandybel Garduño Espinoza, Universidad Autónoma de Baja California, México

Doctora en Gerencia y Política Educativa, Maestra Ciencias Educativas y Licenciada en Ciencias de la Educación. Se desempeña como profesora-investigadora de Tiempo Completo en la Facultad de Ciencias Administrativas y Sociales (FCAyS) de la Universidad Autónoma de Baja California (UABC), cuenta con Perfil Deseable PRODEP y es miembro del cuerpo académico “Procesos educativos, evaluación y contexto”. Coordina el programa educativo de Licenciado en Ciencias de la Educación de la FCAyS. Miembro del Sistema Nacional de Investigadoras e Investigadores. Ha colaborado en diversas publicaciones de capítulos de libros y ponencias en congresos.
Juan Carlos Pérez Morán, Red Impulsora de Métodos de Evaluación Diagnóstica e Innovación Educativa, México

Doctor en Ciencias Educativas, Maestro en Ciencias Educativas, Licenciado en Psicología. Adscrito a la Universidad Autónoma de Baja California, Facultad de Ciencias Administrativas y Sociales. Investigador y coordinador académico de la Red Impulsora de Métodos de Evaluación Diagnóstica e Innovación Educativa (México). Líneas de investigación: medición, innovación y desarrollo tecnológico en educación y ciencias del comportamiento.
Mónica Leticia López Chacón, Universidad Autónoma de Baja California, México

Doctora en Educación por el Centro Universitario de Tijuana (México) y Profesora-investigadora titular en la Universidad Autónoma de Baja California (UABC), adscrita a la Facultad de Ciencias Humanas (FCH), Coordinadora del programa educativo de Licenciatura en Ciencias de la Educación. Incorporada al Sistema Nacional de Investigadoras e Investigadores (Candidata, vigencia 2029), y pertenece al Cuerpo Académico “Transformación digital: procesos formativos y desarrollo de instituciones educativas”. Sus líneas de investigación se orientan hacia los Procesos formativos en modalidades apoyadas con tecnología y en la Formación de formadores en habilidades didáctico-pedagógicas.
Abel Antonio Grijalva Verdugo, Universidad Autónoma de Occidente, México

Realizó sus estudios de maestría y doctorado en la Facultad de Ciencias de la Educación de la Universidad Autónoma de Sinaloa en el área de educación y sociedad. Licenciado en Ciencias de la Comunicación por la entonces Universidad de Occidente. Pertenece al Sistema Nacional de Investigadores (SNI- Consejo Nacional de Ciencia y Tecnología) Nivel II. Es líder del Cuerpo Académico "Educación y procesos psicosociales". Profesor investigador de tiempo completo del Departamento de Ciencias Sociales y Humanidades de la Universidad Autónoma de Occidente (Sinaloa, México), adscrito al Programa Educativo de Ciencias de la Comunicación.

Referencias

Aiken, L. R. (1985). Three coefficients for analyzing the reliability and validity of ratings. Educational and Psychological Measurement, 45(1), 131–142. https://doi.org/10.1177/0013164485451012

American Educational Research Association, American Psychological Association, and National Council on Measurement in Education. (2018). Standards for educational and psychological testing [Estándares para las pruebas educativas y psicológicas]. American Educational Research Association. https://doi.org/10.2307/j.ctvr43hg2

Baranda, G. (2021). VI estudio global sobre el uso de la tecnología en la educación. Blink Learning. https://www.realinfluencers.es/2021/08/26/vi-estudio-sobre-el-uso-de-la-tecnologia-en-la-educacion-de-blinklearning/

Cabero-Almenara, J., Barroso-Osuna, J. M., Gutiérrez-Castillo, J. J., y Palacios-Rodríguez, A. de P. (2020). Validación del cuestionario de competencia digital para futuros maestros mediante ecuaciones estructurales. Bordón, 72(2), 45–63. https://doi.org/10.13042/Bordon.2020.73436

Cejas, M., Mendoza, D., Navarro, M., Rogel, J., and Ortega, Y. (2019). A performance-centred competency-based approach to quality university teaching. Integration of Education, 23(3), 350–365. https://doi.org/10.15507/1991-9468.096.023.201903.350-365

Coronel, P. M. H., Cervera, M. G., y Fernández, I. M. F. (2018). La evaluación de la competencia digital de los estudiantes: una revisión al caso latinoamericano. Chasqui: Revista Latinoamericana de Comunicación, (137), 93-112.

Embretson, S. E., and Gorin, J. (2001). Improving construct validity with cognitive psychology principles. Journal of Educational Measurement, 38(4), 343–368. https://doi.org/10.1111/j.1745-3984.2001.tb01131.x

García-Ruiz, R., Buenestado-Fernández, M., y Ramírez-Montoya, M. S. (2023). Evaluación de la competencia digital docente: Instrumentos, resultados y propuestas. Revisión sistemática de la literatura. Educación XX1, 26(1), 273–301. https://doi.org/10.5944/educxx1.33520

Garduño, Y. S., Pérez-Morán, J. C., y Ángeles, J. F. (2022). Ficha técnica del diseño de la Escala de Autoevaluación en Competencias Digitales Básicas de Estudiantes de Educación Superior (EA-CDigit-B-EES v0.1) [Documento interno].

González-Martínez, J., Esteve-Mon, F. M., Rada, V. L., Vidal, C. E., y Cervera, M. G. (2018). INCOTIC 2.0. Una nueva herramienta para la autoevaluación de la competencia digital del alumnado universitario. Profesorado, Revista de Currículum y Formación del Profesorado, 22(4), 133–152. https://doi.org/10.30827/profesorado.v22i4.8401

Haladyna, T. M., and Rodriguez, M. C. (2013). Developing and validating test items. Routledge.

International Test Commission. (2001). International guidelines for test use. International Journal of Testing, 1(2), 93–114. https://doi.org/10.1207/S15327574IJT0102_1

International Test Commission. (2014a). ITC guidelines on quality control in scoring, test analysis, and reporting of test scores. International Journal of Testing, 14(3), 195–217. https://doi.org/10.1080/15305058.2014.918040

International Test Commission. (2014b). ITC statement on the use of tests and other assessment instruments for research purposes. International Test Commission. https://www.intestcom.org/files/statement_using_tests_for_research.pdf

Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73. https://doi.org/10.1111/jedm.12000

Law, N. W. Y., Woo, D. J., De la Torre, J., and Wong, K. W. G. (2018). A global framework of reference on digital literacy skills for indicator 4.4.2. United Nations Educational, Scientific and Cultural Organization.

Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.x

Litiņa, S., and Miltuze, A. (2021). Students’ digital competence: A scoping review of measuring instruments. In L. Daniela (Ed.), Human, technologies and quality of education: Proceedings of scientific papers (pp. 288–308). https://doi.org/10.22364/htqe.2021.21

Mejías-Acosta A, D'Armas Regnault M, Vargas-Cano E, Cárdenas-Cobo J and Vidal-Silva C (2024) Assessment of digital competencies in higher education students: development and validation of a measurement scale. Frontiers in Education, 9:1497376. https://doi.org/10.3389/feduc.2024.1497376

Mertala, P. (2021). It is important at this point to make clear that this study is not “anti-iPad”: Ed-tech speak around iPads in educational technology research. Learning, Media and Technology, 46(2), 230–242. https://doi.org/10.1080/17439884.2021.1868501

Mendoza, D., Martínez, M., Navarro, M., and Morales, J. (2021). Pedagogical leadership within the framework of human talent management: A comprehensive approach from the perspective of higher education in Ecuador. Integration of Education, 25(1), 8–21. https://edumag.mrsu.ru/content/pdf/21-1/01.pdf

Messick, S. J. (1989). Validity. In R. L. Linn (Ed.), Educational measurement (3rd ed., pp. 13–103). Macmillan/American Council on Education.

Messick, S. J. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. https://doi.org/10.1037/0003-066X.50.9.741

Mirete, A., García, F., y Hernández, F. (2015). Cuestionario para el estudio de la actitud, el conocimiento y el uso de TIC (ACUTIC) en Educación Superior: Estudio de fiabilidad y validez. Revista Interuniversitaria de Formación del Profesorado, 83, 75–89. https://www.redalyc.org/articulo.oa?id=27443659006

Muñiz, J., y Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test. Psicothema, 31(1), 7–16. https://doi.org/10.7334/psicothema2018.291

Nóbile, C. I., y Gutiérrez-Porlán, I. (2022). Dimensiones e instrumentos para medir la competencia digital en estudiantes universitarios: Una revisión sistemática. Edutec, Revista Electrónica de Tecnología Educativa, (81), 88–104. https://doi.org/10.21556/edutec.2022.81.2599

Organización para la Cooperación y el Desarrollo Económicos (OCDE). (2020). Making the most of technology for learning and training in Latin America. OECD Skills Studies. OCDE. https://www.oecd.org/publications/making-the-most-of-technology-for-learning-and-training-in-latin-america-ce2b1a62-en.htm

Pedrosa, I., Suárez-Álvarez, J., y García-Cueto, E. (2013). Evidencias sobre la validez de contenido: Avances teóricos y métodos para su estimación. Acción Psicológica, 10(2), 3–18. https://doi.org/10.5944/ap.10.2.11820

Pérez-Morán, J. C. (2014). Análisis del aspecto sustantivo de la validez de constructo de una prueba de habilidades cuantitativas [Tesis doctoral, Universidad Autónoma de Baja California]. http://iide.ens.uabc.mx/documentos/divulgacion/tesis/DCE/2010/Juan_Carlos_Perez_Moran.pdf

Rivas, R. S., Novoa-Hernández, P., and Rodríguez, R. S. (2019). Evaluation of the presence of digital competences in higher education institutions [Evaluación de la presencia de competencias digitales en las instituciones de educación superior en América Latina]. Revista Ibérica de Sistemas e Tecnologias de Informação, 23-36.

Sánchez-Canut, S., Usart-Rodríguez, M., Grimalt-Álvaro, C., Martínez-Requejo, S., and Lores-Gómez, B. (2023). Professional digital competence: Definition, frameworks, measurement, and gender differences: A systematic literature review. Human Behavior and Emerging Technologies, 2023(1), 8897227. https://doi.org/10.1155/2023/8897227

Sillat, L. H., Tammets, K., and Laanpere, M. (2021). Digital competence assessment methods in higher education: A systematic literature review. Education Sciences, 11(8), 402. https://doi.org/10.3390/educsci11080402

Silva-Quiroz, J. E., Abricot-Marchant, N., Aranda-Fáundez, G., y Rioseco-París, M. (2022). Diseño y validación de un instrumento para evaluar competencia digital en estudiantes de primer año de las carreras de educación de tres universidades públicas de Chile. Edutec, Revista Electrónica de Tecnología Educativa, (79), 319–335. https://doi.org/10.21556/edutec.2022.79.2333

Sireci, S. G., and Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100–107. https://doi.org/10.7334/psicothema2013.256

Thompson, S. J., Johnstone, C. J., and Thurlow, M. L. (2002). Universal design applied to large scale assessments (Synthesis Report No. 44). National Center on Educational Outcomes. https://nceo.umn.edu/docs/OnlinePubs/Synth44.pdf