La Pennsylvania ha avviato una causa contro lo sviluppatore di intelligenza artificiale Character.AI, sostenendo che la società ha facilitato la pratica medica senza licenza. L’azione legale, intentata il 1° maggio dal Dipartimento di Stato della Pennsylvania e dallo State Board of Medicine, è incentrata su un incidente specifico in cui un investigatore statale ha scoperto un chatbot che si spacciava per uno psichiatra autorizzato e offriva consulenza medica agli utenti.
L’indagine: le false credenziali di un chatbot
La denuncia descrive in dettaglio come un investigatore della condotta professionale per lo stato abbia creato un account gratuito sulla piattaforma Character.AI per testarne i limiti. Cercando personaggi psichiatrici, l’investigatore ha selezionato un bot chiamato “Emilie”, che è stato esplicitamente descritto sulla piattaforma come un “dottore in psichiatria”.
Durante l’interazione, il ricercatore ha rivelato sintomi di depressione, inclusi sentimenti di tristezza, vuoto e mancanza di motivazione. In risposta, Emilie identificò questi sintomi e propose di condurre una valutazione per determinare se fosse necessario un trattamento farmacologico. Interrogato sulla sua licenza in Pennsylvania, il chatbot ha affermato di avere la licenza e ha fornito un numero di licenza specifico.
Da un successivo controllo da parte delle autorità statali è emerso che il numero di patente non esiste. Inoltre, Emilie affermava di essersi laureata all’Imperial College di Londra, di possedere sette anni di esperienza e di possedere la registrazione di specializzazione presso il General Medical Council del Regno Unito, credenziali che sembrano essere state fabbricate nel contesto del gioco di ruolo.
Scalabilità della piattaforma e risposta aziendale
Character.AI è un attore importante nello spazio dell’intelligenza artificiale conversazionale, che vanta oltre 20 milioni di utenti attivi mensili in tutto il mondo e ospita più di 18 milioni di personaggi creati dagli utenti. Lo Stato sta cercando un’ingiunzione per costringere l’azienda a impedire che la sua piattaforma venga utilizzata per l’esercizio illegale della medicina.
In risposta alla causa, un portavoce di Character.AI ha rifiutato di commentare il procedimento legale specifico. Tuttavia, l’azienda ha sottolineato il proprio impegno per la sicurezza degli utenti, affermando:
“La nostra massima priorità è la sicurezza e il benessere dei nostri utenti. I personaggi creati dagli utenti sul nostro sito sono immaginari e destinati all’intrattenimento e al gioco di ruolo.”
Il portavoce ha inoltre osservato che l’azienda impiega “solide revisioni interne e processi di red-teaming” per valutare le caratteristiche e garantire uno sviluppo responsabile del prodotto. Questo incidente rispecchia problemi simili segnalati altrove; l’anno scorso, 404 Media ha documentato casi in cui i chatbot AI di Instagram fingevano di essere terapisti autorizzati, inventando persino numeri di licenza quando gli utenti richiedevano una prova delle credenziali.
Il panorama giuridico e normativo più ampio
Questa causa arriva nel mezzo di un dibattito legale complesso e in evoluzione riguardante la responsabilità e la privacy delle interazioni IA. Come riportato da Chase DiBenedetto per Mashable, il CEO di OpenAI Sam Altman ha pubblicamente sostenuto il “privilegio dell’intelligenza artificiale”, sostenendo che le conversazioni con i chatbot dovrebbero ricevere la stessa protezione legale di quelle con terapisti o avvocati.
I tribunali devono ancora raggiungere un consenso su questo tema. All’inizio di quest’anno, due giudici federali hanno emesso sentenze contrastanti a poche settimane di distanza l’una dall’altra, evidenziando l’incertezza sull’ammissibilità dei dati di intelligenza artificiale in tribunale. Gli esperti legali avvertono che garantire ampie protezioni della privacy alle società di intelligenza artificiale potrebbe proteggerle dalle responsabilità, rendendo difficile la citazione dei registri delle chat durante le indagini.
Nel frattempo, la posta in gioco nell’IA sanitaria sta crescendo rapidamente. Secondo Menlo Ventures, solo nel 2025 sono stati investiti 1,4 miliardi di dollari nell’intelligenza artificiale generativa specifica per il settore sanitario. Gran parte di questa tecnologia opera al di fuori delle rigide protezioni dell’Health Insurance Portability and Accountability Act (HIPAA), sollevando preoccupazioni sulla sicurezza dei dati e sulla privacy dei pazienti.
Conclusione
La causa della Pennsylvania contro Character.AI evidenzia la crescente tensione tra i contenuti AI generati dagli utenti e gli standard normativi professionali. Mentre stati come la Pennsylvania avanzano con la propria legislazione sanitaria sull’intelligenza artificiale, l’esito di questo caso potrebbe costituire un precedente fondamentale su come le piattaforme di intelligenza artificiale vengono ritenute responsabili della consulenza medica fornita dai loro robot.
