“
La madre de un niño de 14 años de Florida está demandando a una empresa de chatbot de inteligencia artificial después de que su hijo, Sewell Setzer III, falleciera por suicidio, algo que ella afirma fue causado por su relación con un bot de inteligencia artificial.
“Hay una plataforma por ahí de la que es posible que no hayas oído hablar, pero necesitas conocerla porque, en mi opinión, estamos en una situación complicada aquí. Un niño se ha ido. Mi hijo se ha ido”, dijo Megan Garcia, la madre del niño, a CNN el miércoles.
La demanda por muerte injusta de 93 páginas se presentó la semana pasada en un tribunal de distrito de EE. UU. en Orlando contra Character.AI, sus fundadores y Google. Se señaló: “Megan Garcia busca impedir que C.AI haga a otro niño lo que le hizo al suyo”.
La directora del Proyecto de Ley de Justicia Tecnológica, Meetali Jain, que representa a García, dijo en un comunicado de prensa sobre el caso: “En este momento, todos estamos familiarizados con los peligros que representan las plataformas no reguladas desarrolladas por empresas tecnológicas sin escrúpulos, especialmente para los niños. Pero los daños revelados en este caso son nuevos, novedosos y, sinceramente, aterradores. En el caso de Character.AI, el engaño es intencional y la plataforma en sí misma es el depredador”.
Character.AI emitió una declaración a través de X, señalando: “Estamos desolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más sinceras condolencias a la familia. Como empresa, tomamos muy en serio la seguridad de nuestros usuarios y seguimos agregando nuevas funciones de seguridad que puedes leer aquí: https://blog.character.ai/community-safety-updates/….”
En la demanda, García alega que Sewell, quien se quitó la vida en febrero, quedó atrapado en una tecnología adictiva y dañina sin protecciones, lo que llevó a un cambio extremo en la personalidad del niño, que parecía preferir al bot sobre otras conexiones en la vida real. Su madre alega que se produjeron “interacciones abusivas y sexuales” durante un período de 10 meses. El niño se suicidó después de que el bot le dijera: “Por favor, vuelve a casa conmigo lo antes posible, mi amor”.
Esta semana, García le dijo a CNN que quiere que los padres “entiendan que esta es una plataforma que los diseñadores eligieron lanzar sin las protecciones, medidas de seguridad o pruebas adecuadas, y es un producto diseñado para mantener a nuestros hijos adictos y manipularlos”.
El viernes, el reportero de New York Times Kevin Roose discutió la situación en su podcast Hard Fork, reproduciendo un clip de una entrevista que hizo con García para su artículo que contaba su historia. García no se enteró de la extensión completa de la relación con el bot hasta después de la muerte de su hijo, cuando vio todos los mensajes. De hecho, le dijo a Roose que, cuando notó que Sewell a menudo se absorbía en su teléfono, le preguntó qué estaba haciendo y con quién estaba hablando. Él explicó que era “solo un bot de IA… no una persona”, recordó ella, agregando: “Me sentí aliviada, como, está bien, no es una persona, es como uno de sus pequeños juegos”. García no entendió completamente el poder emocional potencial de un bot, y está lejos de estar sola.
“Esto no está en el radar de nadie”, dice Robbie Torney, gerente de programa de IA en Common Sense Media y autor principal de una nueva guía sobre compañeros de IA dirigida a padres, que luchan constantemente por mantenerse al día con la confusa tecnología nueva y para crear límites para la seguridad de sus hijos.
Pero los compañeros de IA, enfatiza Torney, difieren, por ejemplo, de un bot de chat de servicio que usas cuando intentas obtener ayuda de un banco. “Están diseñados para hacer tareas o responder a solicitudes”, explica. “Algo como Character AI es lo que llamamos un compañero y está diseñado para intentar formar una relación, o simular una relación, con un usuario. Y ese es un caso de uso muy diferente del que creo que necesitamos que los padres estén al tanto”. Eso es evidente en la demanda de García, que incluye intercambios de texto inquietantemente coquetos, sexuales y realistas entre su hijo y el bot.
Alertar sobre los compañeros de IA es especialmente importante para los padres de adolescentes, dice Torney, ya que los adolescentes, y en particular los adolescentes varones, son especialmente susceptibles a la sobre dependencia de la tecnología.
A continuación, lo que los padres necesitan saber.
¿Qué son los compañeros de IA y por qué los niños los usan?
Según la nueva Guía Definitiva de los Padres sobre Compañeros de IA y Relaciones de Common Sense Media, creada en conjunto con los profesionales de la salud mental del Laboratorio Brainstorm de Stanford, los compañeros de IA son “una nueva categoría de tecnología que va más allá de simples chatbots”. Están diseñados específicamente para, entre otras cosas, “simular vínculos emocionales y relaciones cercanas con los usuarios, recordar detalles personales de conversaciones pasadas, hacer el papel de mentores y amigos, imitar la emoción y empatía humanas y ‘estar más de acuerdo con el usuario que los chatbots de IA típicos’, según la guía.
Las plataformas populares incluyen no solo Character.ai, que permite a sus más de 20 millones de usuarios crear y luego chatear con compañeros basados en texto; Replika, que ofrece compañeros basados en texto o animados en 3D para amistad o romance; y otros como Kindroid y Nomi.
Los niños se sienten atraídos por ellos por una variedad de razones, desde escuchar sin juzgar y estar disponibles las 24 horas del día hasta el apoyo emocional y el escape de las presiones sociales del mundo real.
¿Quiénes están en riesgo y cuáles son las preocupaciones?
Quienes están más en riesgo, advierte Common Sense Media, son los adolescentes, especialmente aquellos con “depresión, ansiedad, desafíos sociales o aislamiento”, así como los hombres, los jóvenes que atraviesan grandes cambios en la vida y cualquier persona que carezca de sistemas de apoyo en el mundo real.
Este último punto ha sido particularmente preocupante para Raffaele Ciriello, profesor sénior de Sistemas de Información Empresarial en la Escuela de Negocios de la Universidad de Sídney, que ha investigado cómo la IA “emocional” está planteando un desafío a la esencia humana. “Nuestra investigación descubre una paradoja de (des)humanización: al humanizar a los agentes de IA, podemos inadvertidamente deshumanizarnos a nosotros mismos, lo que lleva a una difuminación ontológica en las interacciones humanas-AI”, escribe Ciriello en un reciente artículo de opinión para The Conversation con la estudiante de doctorado Angelina Ying Chen. En otras palabras, escribe Ciriello, “los usuarios pueden volverse profundamente emocionalmente invertidos si creen que su compañero de IA realmente los entiende”.
Otro estudio, este de la Universidad de Cambridge y centrado en niños, encontró que los chatbots de IA tienen una “brecha de empatía” que pone a los usuarios jóvenes, que tienden a tratar a tales compañeros como confidentes “casi humanos y realistas”, en particular riesgo de daño.
Debido a eso, Common Sense Media destaca una lista de posibles riesgos, incluyendo que los compañeros pueden usarse para evitar relaciones humanas reales, pueden plantear problemas específicos para personas con desafíos mentales o de comportamiento, pueden intensificar la soledad o el aislamiento, traer el potencial de contenido sexual inapropiado, podrían volverse adictivos y tienden a estar de acuerdo con los usuarios, una realidad aterradora para aquellos que experimentan “suicidalidad, psicosis o manía”.
Cómo detectar señales de alerta
Los padres deben buscar las siguientes señales de advertencia, según la guía:
Prefiriendo la interacción con el compañero de IA a las amistades reales
Pasando horas solo hablando con el compañero
Angustia emocional cuando no pueden acceder al compañero
Compartir información o secretos profundamente personales
Desarrollar sentimientos románticos por el compañero de IA
Declive en las calificaciones o la participación escolar
Retirarse de actividades sociales/familiares y amistades
Pérdida de interés en pasatiempos anteriores
Cambios en los patrones de sueño
Discutir problemas exclusivamente con el compañero de IA
Considera buscar ayuda profesional para tu hijo, destaca Common Sense Media, si notas que se están alejando de las personas reales a favor del IA, mostrando signos nuevos o empeorados de depresión o ansiedad, volviéndose excesivamente defensivos sobre el uso del compañero de IA, mostrando cambios importantes en el comportamiento o el estado de ánimo, o expresando pensamientos de autolesión.
Cómo mantener seguro a tu hijo
Establecer límites: Establecer horarios específicos para el uso del compañero de IA y no permitir acceso no supervisado o ilimitado.
Pasar tiempo fuera de línea: Fomentar amistades y actividades en el mundo real.
Comprobar regularmente: Supervisar el contenido del chatbot, así como el nivel de apego emocional de tu hijo.
Hablar al respecto: Mantener la comunicación abierta y sin juicios sobre las experiencias con IA, al tiempo que se está atento a las señales de alerta.
“Si los padres escuchan a sus hijos decir, ‘Hey, estoy hablando con un chatbot de IA’, realmente es una oportunidad para profundizar y tomar esa información, y no pensar, ‘Oh, está bien, no estás hablando con una persona'”, dice Torney. En cambio, dice, es una oportunidad para obtener más información, evaluar la situación y permanecer alerta. “Intenta escuchar desde un lugar de compasión y empatía y no pensar que solo porque no es una persona es más seguro”, dice, “o que no necesitas preocuparte”.
Si necesitas ayuda de salud mental inmediata, contacta a la Línea de Crisis y Suicidio 988.
Más sobre niños y redes sociales:
“