Una encuesta reciente de Inside Higher Ed sobre los directores de tecnología de campus revela una mezcla de incertidumbre y entusiasmo en cuanto al potencial de la inteligencia artificial generativa en las operaciones del campus.
Mientras que el 46 por ciento de los encuestados están “muy o extremadamente entusiasmados con el potencial de la IA”, casi dos tercios dicen que las instituciones no están preparadas para manejar el aumento de la IA.
Me gustaría sugerir que estos directores de tecnología (y cualquier otra persona involucrada en la toma de decisiones) lean dos libros recientes que profundizan tanto en la inteligencia artificial como en el impacto del software empresarial en las instituciones de educación superior.
Los libros son Smart University: Student Surveillance in the Digital Age de Lindsay Weinberg, directora del Tech Justice Lab en el John Martinson Honors College de la Universidad de Purdue, y AI Snake Oil: What Artificial Intelligence Can Do, What It Can’t and How to Tell the Difference de Arvind Narayanan, profesor de informática en Princeton, y Sayash Kapoor, candidato a doctorado en informática allí.
¿Cómo es posible que tengamos dos libros de tanta relevancia para la discusión actual sobre la IA, dado que ChatGPT no estaba comercialmente disponible hasta noviembre de 2022, hace menos de dos años?
Como muestran Narayanan y Kapoor, lo que actualmente conocemos como “inteligencia artificial” tiene raíces profundas que se remontan a los primeros días de la informática, e incluso antes en algunos casos. El libro adopta una visión amplia de todo tipo de razonamiento algorítmico utilizado en el servicio de predecir o guiar el comportamiento humano, y lo hace de una manera que traduce efectivamente lo técnico a lo práctico.
Una parte significativa del libro se centra en los límites de la predicción algorítmica, incluidos los tipos de tecnología que ahora se usan rutinariamente en los departamentos de admisiones y asuntos académicos de la educación superior. Lo que concluyen sobre esta tecnología no es alentador: el libro se titula AI Snake Oil por una razón.
Repleto de estudios de caso, el libro nos ayuda a comprender los límites importantes en torno a lo que los datos pueden decirnos, especialmente cuando se trata de hacer predicciones sobre eventos futuros. Los datos pueden decirnos muchas cosas, pero los autores nos recuerdan que también debemos reconocer que algunos sistemas son inherentemente caóticos. Tome el clima, por ejemplo, uno de los ejemplos en el libro. Por un lado, la modelización de huracanes ha mejorado tanto que las predicciones sobre la trayectoria del Huracán Milton con una semana de anticipación estaban a solo 10 millas de su lugar de llegada en Florida.
Pero las fuertes lluvias del Huracán Helene en el oeste de Carolina del Norte, que llevaron a lo que se llama una “inundación de 1,000 años”, no se predijeron, lo que provocó un caos significativo y numerosas muertes adicionales. Uno de los patrones de los consumidores que son engañados por el aceite de serpiente de la IA es atribuir el éxito (Milton) al análisis algorítmico mientras desestiman los fracasos (Helene) como aberraciones, pero ¿no se viven las vidas individuales como aberraciones?
El capítulo de AI Snake Oil “Por qué la IA no puede predecir el futuro” es particularmente importante tanto para personas legas, como los administradores universitarios, que pueden verse obligados a tomar decisiones basadas en conclusiones generadas algorítmicamente, y, yo argumentaría, para todo el campo de la informática cuando se trata de la IA aplicada. Narayanan y Kapoor argumentan repetidamente que muchos de los estudios que muestran la eficacia de las predicciones mediadas por la IA están fundamentalmente viciados a nivel de diseño, esencialmente se ejecutan de manera que los modelos predicen conclusiones preconcebidas basadas en los datos y el diseño.
Este proceso circular termina ocultando límites y sesgos que distorsionan los comportamientos y elecciones en el otro extremo de las conclusiones de la IA. Los estudiantes sometidos a algoritmos predictivos sobre su probable éxito basado en datos como su estatus socioeconómico pueden ser aconsejados a abandonar carreras más competitivas (y lucrativas) basándose en agregados que no los reflejan como individuos.
Si bien los autores reconocen la deseabilidad de intentar llevar cierta racionalidad a estos eventos caóticos, muestran repetidamente cuánto de la industria de análisis predictivos está construida sobre una combinación de mala ciencia y pensamiento ilusorio.
Los autores no llegan tan lejos como para decirlo, pero sugieren que las empresas que promueven el aceite de serpiente de la IA, especialmente en torno al análisis predictivo, son básicamente inevitables, por lo que la resistencia recae en el individuo debidamente informado para comprender cuándo nos están vendiendo un marketing brillante sin suficiente sustancia debajo.
Smart University de Weinberg desempaqueta parte del aceite de serpiente que las universidades han comprado a raudales, en detrimento tanto de los estudiantes como de la misión pretendida de la universidad.
Weinberg sostiene que la vigilancia del comportamiento de los estudiantes, comenzando antes de que los estudiantes se inscriban, mientras son rastreados como solicitantes, y extendiéndose a través de todos los aspectos de sus interacciones con la institución – académicos, extracurriculares, progreso de grado – es parte de la mayor “financiarización” de la educación superior.
Ella dice que el uso de la tecnología para rastrear el comportamiento de los estudiantes se ve como “un medio de actuar de manera más emprendedora, construir asociaciones con empresas privadas y adoptar sus características y estrategias de marketing”, esfuerzos que “a menudo se imaginan como vehículos para que las universidades contrarresten la falta de fuentes de financiación pública y preserven sus clasificaciones en un mercado educativo del que los estudiantes cada vez se ven excluidos por el precio.”
En otras palabras, las escuelas han recurrido a la tecnología como un medio para lograr eficiencias para compensar el hecho de que no tienen suficiente financiación para tratar a los estudiantes como seres humanos individuales. Es un panorama sombrío que siento haber vivido durante los últimos 20 años o más.
Capítulo tras capítulo, Weinberg demuestra cómo la adopción de la vigilancia en última instancia perjudica a los estudiantes. Su uso en la captación y retención de estudiantes consagra patrones históricos de discriminación en torno a la raza y la clase socioeconómica. El auge de las aplicaciones de “bienestar” mediadas por la tecnología ha resultado ser solo alienante, sugiriendo a los estudiantes que si no pueden ser ayudados por lo que ofrece una aplicación, no pueden ser ayudados en absoluto, y quizás no pertenecen a una institución.
En el capítulo final, Weinberg sostiene que la adopción de la tecnología de vigilancia, gran parte de ella mediada a través de varias formas de lo que deberíamos reconocer como inteligencia artificial, ha resultado en que las instituciones acepten una mentalidad de austeridad que una y otra vez devalúa el trabajo humano y la autonomía estudiantil en favor de la eficiencia y las lógicas de mercado.
Tomados en conjunto, estos libros no infunden confianza en cómo responderán las instituciones a la llegada de la IA generativa. Muestran cuán fácil y rápidamente se han apartado los valores en torno a la agencia y autonomía humanas en aras de promesas a menudo fantasmales de operaciones mejoradas y mayor eficiencia.
Estos libros proporcionaron suficiente evidencia de que, cuando se trata de la IA generativa, debemos ser cautelosos de “transformar” nuestras instituciones de tal manera que los humanos sean una idea secundaria.