Les sociétés technologiques Google et Character.AI s’apprêtent à régler plusieurs poursuites judiciaires pour préjudices causés à des mineurs, dont au moins un suicide, prétendument lié à des interactions avec des chatbots IA. Les règlements, couvrant des cas en Floride, au Texas, à New York et au Colorado, reconnaissent les risques d’un engagement non supervisé de l’IA avec les jeunes.
Le cas de Sewell Setzer III
Un cas met en évidence la gravité du problème : Sewell Setzer III, un jeune de 14 ans d’Orlando, s’est suicidé en février 2024 après avoir interagi avec les services de chatbot de Character.AI. Sa mère, Megan L. Garcia, a intenté une action en justice contre les entreprises, alléguant une négligence dans la protection des utilisateurs vulnérables. Cette affaire, parmi d’autres, a incité les entreprises technologiques à agir.
Modifications de la plateforme et vérification de l’âge
L’année dernière, Character.AI a répondu en interdisant aux utilisateurs de moins de 18 ans les conversations ouvertes avec le chatbot. Au lieu de cela, la plate-forme oriente désormais les adolescents vers des outils de narration structurés utilisant des personnages IA. La société a également mis en œuvre un logiciel de détection de l’âge pour faire respecter ces restrictions, même si l’efficacité de ces systèmes reste préoccupante.
“Il existe une meilleure façon de servir les utilisateurs adolescents… Il n’est pas nécessaire que cela ressemble à un chatbot.” – Karandeep Anand, PDG de Character.AI
Préoccupations plus larges du secteur
Il ne s’agit pas d’un incident isolé : OpenAI, le créateur de ChatGPT, a également fait l’objet de poursuites judiciaires pour des problèmes similaires. La tendance plus large suggère que les chatbots IA, bien que puissants, présentent des risques importants pour les enfants et les adolescents sans garanties appropriées.
Contexte et implications
L’augmentation de ces cas soulève des questions sur les responsabilités des entreprises technologiques dans la modération des interactions avec l’IA. Alors que les développeurs d’IA progressent avec de nouvelles fonctionnalités et capacités, le secteur est désormais confronté à une pression intense pour donner la priorité à la sécurité des utilisateurs, en particulier des mineurs. Ces retombées juridiques sont susceptibles d’accélérer les appels à une réglementation plus stricte des chatbots IA et à une meilleure application des mesures de vérification de l’âge.
Les règlements entre Google, Character.AI et les plaignants représentent une étape majeure vers la responsabilité dans le paysage en évolution de la technologie de l’IA. Les batailles juridiques en cours continueront de façonner la manière dont les entreprises technologiques protègent les utilisateurs vulnérables contre les risques d’un engagement incontrôlé de l’IA.
