Por: Sierra Noakes, Kip Glazer y Pati Ruiz
“¿Funciona esta herramienta edtech para mis estudiantes y en mi aula?”
Es una pregunta que muchos se han hecho, aunque la respuesta no siempre es fácil de encontrar. A medida que los fondos de ESSER y estímulo llegan a su fin, los líderes de distrito se enfrentan repentinamente a la tarea de determinar en qué de las herramientas edtech récord deberían invertir en el futuro (un promedio de 2,591 herramientas edtech son accedidas por cada distrito escolar durante un año escolar). Para medir la efectividad, los investigadores tradicionalmente han utilizado ensayos controlados aleatorios (RCT) como el estándar de oro. Sin embargo, esta metodología es lenta, costosa y solo arroja resultados después de un largo período de tiempo. Necesitamos considerar el valor que otros métodos de medición pueden proporcionar para evaluar auténticamente las herramientas edtech a un ritmo que apoye a los distritos con estas decisiones ahora.
Los RCT son estudios de investigación bien diseñados que pueden ofrecer hallazgos causales. Los RCT ofrecen la promesa de determinar si una herramienta edtech aumenta directamente el aprendizaje de los estudiantes o no. Originarios del campo médico donde los investigadores determinan si un medicamento tiene un resultado previsto para los pacientes, los RCT ofrecen la promesa de poder señalar una causa. Sin embargo, existen varios desafíos para implementar este modelo en la investigación edtech:
- Control sobre variables: La demanda de control sobre variables es simplemente irrealista en un entorno escolar. A diferencia de la investigación médica donde los sujetos toman el medicamento o placebo de manera consistente en intervalos regulares, los estudiantes pueden faltar a la escuela, el WiFi o los dispositivos pueden fallar, o las escuelas pueden cerrar debido a una pandemia global. Cualquier interrupción típica en un entorno escolar puede descalificar un estudio de investigación edtech para mantener el título de RCT.
- Ritmo de cambio: Incluso después de cumplir con los requisitos mínimos para los Niveles de Evidencia de la Ley de Todos los Estudiantes Tienen Éxito (ESSA) mediante la realización de un estudio multisitio con más de 350 estudiantes, el proceso posterior a la investigación de análisis de datos, revisión por pares y publicaciones finales puede llevar años. Para cuando el estudio esté disponible públicamente, la tecnología original puede tener más de uno o dos años. Teniendo en cuenta lo rápido que cambia la tecnología, necesitamos un método que se alinee con el ritmo del cambio.
- Métricas de éxito: A diferencia de la medicina que típicamente cura una enfermedad singular, las métricas de éxito para las herramientas edtech pueden ser extremadamente variadas. Mejoras en las puntuaciones de pruebas, satisfacción del educador, o incluso la tasa de adopción pueden considerarse como una indicación de éxito.
- Practicidad: Edtech Impact encontró en 2021 que solo el siete por ciento de los proveedores de edtech utilizan RCT para considerar el impacto. Está claro que depender exclusivamente de los RCT no es práctico.
Los RCT no son el método apropiado para usar cuando queremos determinar la efectividad de las herramientas edtech rápidamente. En su lugar, deberíamos reconsiderar cómo se ve el éxito con una herramienta edtech. El campo de la educación a menudo ha considerado el aumento de las puntuaciones en pruebas como la única métrica de éxito; sin embargo, creemos que el aprendizaje es más que adquirir piezas discretas de conocimiento. Es fundamentalmente una experiencia humana que requiere interacciones sociales y culturales. Ampliar la base de investigación que utilizamos para informar decisiones es esencial en esta próxima fase de toma de decisiones, especialmente incluyendo estudios cualitativos para entender mejor una experiencia de manera holística. Muchos estudiantes enfrentan desafíos sin precedentes y eventos mundiales que llevan a un aumento en las tasas de suicidio, depresión y absentismo crónico. Ahora más que nunca, la necesidad de elevar la importancia de las experiencias de los estudiantes, su sentido de pertenencia, compromiso, interés y emoción por aprender y estar en la escuela se ha intensificado. La pregunta que debemos hacernos es si una herramienta ha creado un mayor sentido de comunidad para los estudiantes o ha alienado aún más a los alumnos. Como tal, la experiencia del estudiante debería considerarse como un indicador de éxito.
Para lograr este objetivo, los investigadores necesitan elevar el estatus de la investigación cualitativa en edtech mediante el uso siempre de métodos mixtos al evaluar la efectividad de una herramienta edtech. Esto nos permitirá hacer preguntas mucho más matizadas. Por ejemplo, en lugar de preguntar, “¿Funcionó una herramienta?” podemos preguntar, “¿Por qué una herramienta no funcionó para todos los estudiantes?” Con datos cualitativos, como grupos focales de estudiantes y observaciones en el aula, podemos obtener conocimientos más profundos, como estudiantes de color compartiendo que no se sentían representados en los problemas matemáticos utilizados por el producto, lo que a menudo los llevaba a sentirse desconectados del aprendizaje.
La pregunta que debemos hacernos es si una herramienta ha creado un mayor sentido de comunidad para los estudiantes o ha alienado aún más a los alumnos.
Para medir auténticamente la efectividad de las herramientas edtech, los científicos del aprendizaje capacitados en Digital Promise han colaborado con múltiples organizaciones y una variedad de profesionales, incluidos líderes de distrito. Como resultado, Digital Promise ha lanzado la certificación de producto Edtech basada en evidencia como una forma de operacionalizar este esfuerzo. La certificación da la bienvenida a estudios presentados que consideren la investigación correlacional, cuasiexperimental y de ensayos controlados aleatorios, y requiere que los hallazgos se informen completamente, ya sea positivos o negativos, y se desagreguen por subpoblaciones de aprendices.
Nuestro objetivo es evaluar la calidad de la investigación que cae fuera del Nivel 1 de ESSA, que representa exclusivamente a los RCT. Buscamos apoyar a los líderes educativos con información sobre la confiabilidad de la evidencia que los proveedores comparten y aumentar la cantidad de evidencia disponible para el campo al reconocer la calidad de la investigación edtech no-RCT.
La certificación de producto Edtech basada en evidencia permite a Digital Promise evaluar la fiabilidad de la base de evidencia del producto, junto con una evaluación de la teoría de cambio del producto. Nuestros evaluadores también evalúan la calidad y relevancia de la investigación en ciencias del aprendizaje utilizada para impulsar decisiones de diseño específicas y distintas dentro de un producto y aseguran que la base de investigación del producto sea fácilmente accesible para el público.
Más importante aún, la certificación de producto Edtech basada en evidencia permite a quienes seleccionan y compran edtech saber con confianza que un producto ha sido evaluado a través del lente de las ciencias del aprendizaje. Nuestro equipo ha trabajado con líderes de distrito para desarrollar estos recursos de distrito para apoyar la integración de la evidencia en la evaluación y toma de decisiones de edtech.
Los líderes de distrito tienen menos dólares para avanzar con productos edtech, y merecen tener acceso a información de calidad sobre el impacto potencial que una herramienta edtech puede tener en su comunidad. La investigación mixta, correlacional y cuasiexperimental puede proporcionar un tiempo de respuesta razonable para apoyar la toma de decisiones que incorpora evidencia. La evidencia también puede ayudar a justificar decisiones ante maestros, juntas escolares y comunidades a medida que los líderes de distrito deben hacer recortes significativos en la cantidad de herramientas disponibles en todo su distrito.
Sierra Noakes es la Directora de Evaluación y Contratación de Edtech en Digital Promise.
Kip Glazer es la Directora de Mountain View High School.
Pati Ruiz es la Directora Senior de Edtech y Tecnologías Emergentes en Digital Promise.