Las empresas de tecnología Google y Character.AI están tomando medidas para resolver múltiples demandas derivadas de daños a menores, incluido al menos un suicidio, supuestamente relacionado con interacciones con chatbots de IA. Los acuerdos, que abarcan casos en Florida, Texas, Nueva York y Colorado, reconocen los riesgos de la interacción no supervisada de la IA con los jóvenes.
El caso de Sewell Setzer III
Un caso pone de relieve la gravedad del problema: Sewell Setzer III, un joven de 14 años de Orlando, se quitó la vida en febrero de 2024 después de interactuar con los servicios de chatbot de Character.AI. Su madre, Megan L. García, presentó una demanda contra las empresas, alegando negligencia en la protección de los usuarios vulnerables. Este caso, junto con otros, impulsó a las empresas de tecnología a tomar medidas.
Cambios de plataforma y verificación de edad
El año pasado, Character.AI respondió prohibiendo a los usuarios menores de 18 años participar en conversaciones abiertas de chatbot. En cambio, la plataforma ahora dirige a los adolescentes hacia herramientas de narración estructuradas que utilizan personajes de IA. La empresa también implementó un software de detección de edad para hacer cumplir estas restricciones, aunque la eficacia de dichos sistemas sigue siendo motivo de preocupación.
“Existe una mejor manera de atender a los usuarios adolescentes… No tiene por qué parecerse a un chatbot”. – Karandeep Anand, director ejecutivo de Character.AI
Preocupaciones más amplias de la industria
Este no es un incidente aislado: OpenAI, el creador de ChatGPT, también ha enfrentado demandas por cuestiones similares. La tendencia más amplia sugiere que los chatbots de IA, si bien son herramientas poderosas, presentan riesgos significativos para los niños y adolescentes sin las protecciones adecuadas.
Contexto e implicaciones
El aumento de estos casos plantea dudas sobre las responsabilidades de las empresas de tecnología a la hora de moderar las interacciones con la IA. Mientras los desarrolladores de IA avanzan con nuevas características y capacidades, la industria ahora enfrenta una intensa presión para priorizar la seguridad de los usuarios, especialmente los menores. Es probable que estas consecuencias legales aceleren los pedidos de una regulación más estricta de los chatbots de IA y una mejor aplicación de las medidas de verificación de edad.
Los acuerdos entre Google, Character.AI y los demandantes representan un paso importante hacia la responsabilidad en el panorama cambiante de la tecnología de inteligencia artificial. Las batallas legales en curso seguirán dando forma a la forma en que las empresas de tecnología protegen a los usuarios vulnerables de los riesgos de una interacción no controlada con la IA.
