Un estudiante del LAUSD prueba a Ed, el nuevo asistente de inteligencia artificial para estudiantes del distrito.
Crédito: Los Angeles Unified / X
Aproximadamente un mes después de que el Distrito Escolar Unificado de Los Ángeles revocara su chatbot de IA, Ed, comunidades de padres, maestros y expertos exigen que el distrito responda a su preocupación de que la breve asociación con AllHere, la empresa que construyó y apoyó el programa, haya comprometido potencialmente datos sobre las prioridades educativas más grandes del distrito.
“Si bien damos la bienvenida a los avances tecnológicos, es crucial participar en discusiones transparentes con educadores, personal educativo, padres y responsables políticos sobre los riesgos y los impactos de la IA en las escuelas”, dijo Cecily Myart-Cruz, presidenta de United Teachers Los Angeles (UTLA), en un comunicado.
UTLA también instó al distrito a involucrar a un asesor externo y avanzar con una investigación. Myart-Cruz también enfatizó en el comunicado que cualquier herramienta de IA en el futuro forma parte de la negociación colectiva.
La miembro del consejo escolar Rocío Rivas dijo en una publicación en Facebook el 31 de julio que el distrito ha “iniciado investigaciones” para examinar las denuncias de datos comprometidos.
Un portavoz de LAUSD dijo el 15 de julio que, independientemente de lo que suceda con AllHere, los datos de los estudiantes estarán protegidos por medidas de seguridad que prohíben a la empresa almacenar datos de estudiantes fuera de los EE. UU., a menos que el distrito autorice a la empresa a hacerlo.
El preludio
En marzo, LAUSD desplegó la alfombra roja para presentar a Ed, un chatbot sonriente diseñado para servir como asistente personal para los estudiantes, capaz de conectarlos con recursos de salud mental, informarles sobre los menús del comedor y despertarlos por la mañana.
El distrito ha justificado repetidamente su decisión de utilizar AllHere.
“Los Ángeles Unified lanzó un riguroso y competitivo proceso de solicitud de propuestas (RFP) y se adhirió al proceso de adquisición del Distrito”, dijo un portavoz del distrito a EdSource. “Lo que pretendíamos desarrollar no existía fácilmente como un producto listo para usar, y necesitábamos construirlo desde cero”.
El distrito consideró tres entidades: AllHere, Afirma y Kokomo 24/7, con los que LAUSD colaboró para brindar servicios de telemedicina, y pagó aproximadamente $3 millones a AllHere por el producto.
Carvalho dijo que el bot también estaba diseñado para incentivar a los estudiantes que se están quedando atrás y permitirles hacer clic en recursos de ayuda. También aseguró a los asistentes al evento de marzo que agencias en varios niveles, locales, estatales y nacionales, ayudarían a monitorear cualquier preocupación de ciberseguridad.
En ese momento, reconoció que Ed podría enfrentar algunos desafíos, pero que el distrito estaba comprometido con su éxito.
“Así como los humanos no son perfectos, aunque a veces, en ciertos círculos políticos, algunos dicen que sí lo son, la tecnología producida por los humanos tampoco es perfecta”, dijo Carvalho en el evento de marzo.
“Con todas las protecciones contra las vulnerabilidades, siempre hay una preocupación. Es por eso que estamos sobre vigilantes”, dijo.
Se suponía que Ed se implementaría en fases, comenzando por las 100 escuelas prioritarias del distrito.
Tres meses después, el 14 de junio, comenzaron a sonar las alarmas, y AllHere había suspendido a la mayor parte de su personal debido a desafíos financieros, informó The 74. Mientras tanto, el CEO se fue.
En respuesta, y debido a que el personal de AllHere no podía supervisarlo, el distrito eliminó la función de chatbot. Sin embargo, LAUSD sigue siendo propietario de Ed, confirmó el portavoz del distrito, y el recurso sigue estando en gran medida disponible para las familias.
El portavoz de LAUSD dijo que el chatbot de Ed volverá a las familias cuando se restablezca el “aspecto humano en el ciclo”.
“Los Ángeles Unified quedó sorprendido por la interrupción financiera de AllHere. No se nos informó de ninguna señal de alarma sobre la organización, su solvencia o cualquier problema financiero”, dijo el portavoz del distrito.
“Teníamos toda la confianza en su capacidad para desarrollar un producto sólido. Nosotros, al igual que otros distritos, fuimos notificados de su colapso financiero e inmediatamente dejamos de pagar una factura pendiente”.
El portavoz también dijo que el distrito no ha encontrado una conexión entre lo que sucedió en AllHere y una violación de datos conocida como el incidente de Snowflake, agregando que AllHere “no mantiene datos en Snowflake”.
Las preocupaciones sobre datos potencialmente comprometidos han permanecido en la comunidad de LAUSD desde entonces, lo que llevó al distrito a comenzar a investigar.
La resistencia
Aunque Los Ángeles Unified sigue comprometido con Ed, miembros de la comunidad y expertos de la Escuela de Educación Rossier de la Universidad del Sur de California (USC) continúan expresando su preocupación por la seguridad de los estudiantes y las prioridades del distrito.
“Todo lo que queremos son clases más pequeñas y maestros felices. Cosas básicas”, dijo Joanna Belson, madre de un estudiante de último año en North Hollywood High School, cuya hermana enseña en el distrito. “No queremos a Ed. No queremos IA”.
Agregó que el distrito debería en cambio gastar su dinero en expandir la educación musical y artística, y extender los programas deportivos a las escuelas intermedias.
Ecoando a Belson, Alicia Baltazar, otra madre de LAUSD, expresó preocupaciones sobre cualquier posible compromiso de datos, diciendo que la nueva énfasis del distrito en la IA contradice su nueva decisión de prohibir los teléfonos celulares en la escuela. Agregó que el distrito debería en cambio gastar el dinero en fortalecer su personal.
“No sé… cómo le diré a mi hijo: ‘No uses tu teléfono celular. No lo toques en absoluto. Pero aquí, usa tu computadora portátil todo el día. Usa tu chatbot'”, dijo.
Para Yasemin Copur-Gencturk, profesora en USC, las preocupaciones radican en la tecnología en sí.
Copur-Gencturk dijo que no hay evidencia de que la herramienta pueda lograr lo que el distrito dijo que puede hacer: promover la recuperación académica.
“La IA tiene un potencial increíble para transformar la educación y mejorar los resultados educativos. No hay duda al respecto. Pero hay un gran ‘si'”, dijo Copur-Gencturk. “Y creo que muchos están ignorando esa parte. La mayoría de las herramientas basadas en IA no están diseñadas en base a lo que hemos aprendido de la investigación sobre la enseñanza y el aprendizaje”.
Dijo, por ejemplo, que la IA tiende a abordar cada objetivo de aprendizaje por separado, sin considerar cómo se construyen o se conectan los conceptos entre sí. Esto es particularmente común en materias como matemáticas y podría afectar negativamente la experiencia de aprendizaje de los estudiantes.
Los distritos escolares, dijo, no deberían gastar grandes sumas de dinero en IA a menos que estén seguros de que se han establecido las medidas de seguridad necesarias y tendrán el impacto académico positivo que están buscando.
“Hay una noción de que siempre que esté involucrada la inteligencia artificial, o una tecnología más nueva esté involucrada, resolverá los problemas”, dijo Copur-Gencturk. “Desafortunadamente, la vida no es tan simple. Realmente necesitamos, como educadores, como administradores, ser más cautelosos”.
Más allá de Los Ángeles Unified
Mientras LAUSD ha tenido dificultades con su implementación de Ed, los distritos en todo el país que están contemplando incorporar IA podrían sentir los efectos, dijo Robin Lake, directora del Centro para la Reinventar la Educación Pública, una organización sin fines de lucro.
“Nunca queremos ver cosas como esas suceder, y obviamente es un revés para LAUSD en sus objetivos para esa herramienta”, dijo Lake. “Pero también podría ser un revés para otros distritos en todo el país que podrían mirar a LAUSD y pensar: ‘Oh, no quiero correr ningún riesgo en absoluto en torno a la IA, porque no quiero terminar en los periódicos'”.
También dijo que la historia de LAUSD podría servir como recordatorio para otros distritos de implementar cualquier función de IA más lentamente y con más cuidado, especialmente en medio de una “fiebre del oro de proveedores” y un deseo de mantenerse a la vanguardia.
Lake también enfatizó la importancia de que las comunidades educativas se unan para comunicar sus necesidades a las empresas de tecnología educativa, y destacó la necesidad de que los gobiernos estatales y federales proporcionen una mejor orientación para ayudar a garantizar que la IA se integre en la educación de manera equitativa.
A pesar de los desafíos, sin embargo, Lake sostuvo que la IA tiene un potencial increíble para transformar la educación, y que un “par de fracasos” experimentados por un distrito no deberían disuadir a otros de perseguir herramientas de IA.
“¿Podría la IA ayudar a transformar la profesión docente? ¿Podría la IA ayudar a abordar las crisis de salud mental de los estudiantes? ¿Podría la IA ayudar a mejorar las evaluaciones en la educación?” dijo Lake.
“Hay tantas posibilidades. Todavía hay grandes preguntas en torno a todas ellas, pero a medida que los tiempos se vuelven más ajustados en cuanto al dinero, a medida que la financiación federal desaparece, realmente debemos buscar todas las soluciones potenciales, y la IA debería ser una de ellas”.