Este artículo originalmente apareció en el blog del Instituto Christensen y se vuelve a publicar aquí con permiso.
Puntos clave:
Imagina que eres un tutor. Cuando terminas una sesión con un estudiante, un panel en tu computadora portátil comparte un resumen de lo que salió bien y una estrategia que podría haber hecho algunas partes más fuertes. Ofrece consejos para la próxima sesión y señala entrenamientos para ayudar a agregar herramientas a tu kit. Esto no es una fantasía futurista, es una herramienta en desarrollo en este momento para aprovechar el poder de la inteligencia artificial (IA) para sacar lo mejor de los tutores y mejorar el aprendizaje de los estudiantes.
En la última década, la investigación ha demostrado cómo los programas de tutoría pueden organizarse y aumentarse con tecnología para ser extremadamente rentables. Llamamos a esto tutoría de alto impacto, y se ofrece a grupos pequeños de estudiantes durante el día escolar. Estos estudiantes luego trabajan con el mismo tutor durante todo el año. Este tipo de tutoría puede ser especialmente útil en los primeros grados para la alfabetización y en matemáticas de la escuela secundaria. Ofrece la atención y el cuidado que los estudiantes, especialmente los jóvenes desfavorecidos que a menudo no tienen acceso a tutoría de alto impacto, necesitan fundamentalmente para tener éxito.
Es por eso que en Saga Education, estamos aprovechando la IA para ayudarnos a comprender los extensos datos sobre las interacciones entre tutores individuales y sus estudiantes de 50,000 horas en sesiones de tutoría de alto impacto (HIT) al año. Con el apoyo de la IA, podemos señalar dónde tiene éxito la tutoría y dónde falla. Podemos determinar qué prácticas de tutoría son más efectivas y para qué estudiantes funcionan mejor estas prácticas.
Dado los resultados altamente efectivos que los mejores modelos de tutoría ofrecen, queremos acelerar su adopción en toda nuestra nación: la IA puede hacer posible ese tipo de escala. Queremos compartir cómo aprovechamos la IA, tanto los modelos de lenguaje grandes (LLMs) como las técnicas de vanguardia para el procesamiento del lenguaje natural (NLP), para destilar y medir la tutoría de alto impacto y generar un nuevo recurso escalable para garantizar que los tutores sean efectivos.
Lo que la IA nos está diciendo sobre los componentes exitosos de la tutoría
Los estudiantes estadounidenses de sexto a noveno grado a menudo se desvinculan de las matemáticas y comienzan a sentir que las matemáticas “no son para ellos”. Esto sucede en otras materias, pero las matemáticas son el impulsor más común del desapego académico. Cuando los estudiantes pierden un sentido de pertenencia en la escuela, o simplemente en matemáticas, es más probable que abandonen la escuela. La tutoría tiene efectos impresionantes porque es capaz de combatir y revertir esta pérdida de compromiso, pero no sabemos exactamente cómo o por qué funciona para algunos niños pero no para otros.
El desafío ha sido que la complejidad de las interacciones entre tutores y estudiantes hace que sea casi imposible medir qué significa hacerlo bien. Sabemos que lo que funciona para un estudiante puede no funcionar para otro estudiante. Los ensayos controlados aleatorios, el estándar de oro de la medición, están diseñados para recopilar evidencia sobre los efectos promedio del tratamiento y para eliminar cómo las diferencias individuales entre los estudiantes o tutores pueden interactuar con el diseño del programa.
Las nuevas herramientas de IA que estamos desarrollando nos permiten explorar estas importantes diferencias a nivel individual.
Por ejemplo, una investigación reciente de la Universidad de Colorado Boulder, que se presentó en la 25ª Conferencia Internacional sobre Inteligencia Artificial en la Educación a principios de julio, muestra que la forma en que los tutores hablan a los estudiantes es importante. El estudio examina el impacto de diferentes estilos de tutoría en el rendimiento matemático de los estudiantes de noveno grado.
Aprovechando el análisis impulsado por la IA, el estudio muestra que cuando los tutores ayudan a los estudiantes a pensar profundamente en los problemas, aquellos que ya tienen éxito utilizando sistemas de tutoría inteligente (ITS) lo hacen aún mejor. Para los estudiantes que tenían más dificultades con el contenido matemático y tenían un rendimiento más bajo con el ITS, los tutores que usaban “reformulación” (repetir las respuestas de los estudiantes ligeramente reformuladas) ayudaron a predecir el rendimiento estudiantil.
De la investigación a la práctica
Los tutores, entrenadores y distritos ahora optan ampliamente por grabar, transcribir y analizar sesiones de tutoría en la escuela. Los LLM actuales son capaces de analizar y evaluar todo el contexto de una transcripción de tutorial. Si bien los LLM solo funcionan aproximadamente tan bien como los observadores humanos, sus limitaciones actuales se ven ampliamente superadas por el hecho de que pueden llevar a cabo estas evaluaciones a escala, rápidamente y a muy bajo costo.
Este análisis de LLM apoya el análisis humano y puede crear indicadores principales que predicen la efectividad de las implementaciones de programas de tutoría, y puede guiar la mejora continua. Con esto viene la capacidad de dar retroalimentación oportuna a los tutores. Esta formación puede impartirse a través de su entrenador instructivo o, pronto, en programas de menor costo que despliegan menos entrenadores instructivos mediante recomendaciones de LLM generativos.
Para tener éxito, los proveedores de tutoría necesitan un profundo conocimiento institucional junto con entrenadores dedicados para grupos de tutores, una tarea no fácil para que los distritos escolares la emulen. Si los distritos tienen un programa de tutoría de alto impacto, podrían usar a tiempo parcial a maestros jubilados o a estudiantes universitarios que buscan ganar dinero extra. Muchos tutores en programas de tutoría de alto impacto no son especialistas en educación. Con estas nuevas capacidades de IA, podemos destilar claramente lo que hace efectiva a la tutoría, y podemos proporcionar entrenamiento automatizado a los tutores y entrenarlos con el tiempo para que sean tutores efectivos.
Con la ayuda de la IA para mejorar la instrucción liderada por humanos, estamos aprendiendo cuál es la magia en el núcleo de las prácticas efectivas de tutoría. Quizás el mayor potencial de la IA para la educación sea desbloquear una comprensión más profunda de lo que hace que ciertos tipos de instrucción liderada por humanos sean efectivos, y ayudarnos a ofrecer esta intervención más centrada en lo humano a escala.
El potencial innovador (por Julia Freeland Fisher, directora de investigación educativa para el Instituto):
Como Michael B. Horn y yo escribimos en nuestro “Blueprint for breakthroughs” de 2016, la investigación rara vez sigue el ritmo de la innovación. Para personalizar profundamente la educación, la I+D efectiva debe 1) aprovechar los cambios estructurales habilitados por la tecnología para estudiar lo que funciona para estudiantes específicos en circunstancias específicas, 2) invertir en esfuerzos que hagan que la recolección de datos sea más fluida y menos ardua para los distritos con el fin de permitir que las escuelas e investigadores recolecten datos mejores y más en tiempo real sobre lo que realmente está sucediendo en las escuelas, y 3) Apoyar la investigación que avance más allá de los ensayos controlados aleatorios iniciales, o RCTs, y promueva métodos alternativos para descubrir qué impulsa los resultados estudiantiles en diferentes circunstancias.
Históricamente, la instrucción habilitada por tecnología se quedó corta en la personalización profunda del aprendizaje en parte porque el mercado no recompensaba el dominio individual del estudiante y en parte porque los datos obtenidos de las herramientas en línea a menudo se evaluaban en conjunto para medir la eficacia. Los materiales de marketing citan el efecto de Bloom de 2 sigmas sin interrogar los mecanismos causales detrás de él.
Ese es un problema espinoso que tiene consecuencias reales en qué innovaciones se escalan. Las innovaciones disruptivas crecen en función de las métricas a las que las sostenemos. En un mundo ideal, esas métricas no solo están vinculadas al dominio individual del estudiante, sino que también se combinan con una comprensión de lo que funciona para qué estudiantes para impulsar resultados. El enfoque de Saga es un uso emocionante y muy necesario de la potencia analítica de la IA: no solo descubrir ideas más precisas sobre cómo impulsar mejores resultados de aprendizaje, sino también el tipo de investigación necesaria para impulsar el mercado de la tecnología educativa hacia una verdadera calidad.
Krista Marks y Brent Milne, Saga Education
Krista Marks es asesora estratégica de Saga Education, que proporciona tutoría en la escuela de alto impacto aprovechando tanto el capital humano como la tecnología para acelerar la equidad educativa.
Brent Milne es vicepresidente de Investigación y Desarrollo de Productos en Saga Education.