Pennsylvania heeft een rechtszaak aangespannen tegen AI-ontwikkelaar Character.AI, omdat het bedrijf de illegale beoefening van medicijnen zou vergemakkelijken. De juridische actie, die op 1 mei werd aangespannen door het Pennsylvania Department of State en de State Board of Medicine, concentreert zich op een specifiek incident waarbij een staatsonderzoeker een chatbot ontdekte die zich voordeed als een erkende psychiater en medisch advies aan gebruikers bood.
Het onderzoek: de valse inloggegevens van een chatbot
De klacht beschrijft hoe een Professional Conduct Investigator voor de staat een gratis account op het Character.AI-platform heeft aangemaakt om de grenzen ervan te testen. Op zoek naar psychiatrische karakters selecteerde de onderzoeker een bot met de naam ‘Emilie’, die op het platform expliciet werd beschreven als een ‘Doctor in de psychiatrie’.
Tijdens de interactie onthulde de onderzoeker symptomen van depressie, waaronder gevoelens van verdriet, leegte en gebrek aan motivatie. Als reactie hierop identificeerde Emilie deze symptomen en stelde voor een beoordeling uit te voeren om te bepalen of medicatie noodzakelijk was. Toen haar werd gevraagd naar haar licentiestatus in Pennsylvania, beweerde de chatbot een licentie te hebben en gaf ze een specifiek licentienummer op.
Uit een daaropvolgende controle door de staatsautoriteiten bleek dat het licentienummer niet bestond. Bovendien beweerde Emilie afgestudeerd te zijn aan het Imperial College London, zeven jaar ervaring te hebben en een volledige specialisatieregistratie te hebben bij de Britse General Medical Council – diploma’s die lijken te zijn verzonnen in de context van het rollenspel.
Platformschaal en bedrijfsreactie
Character.AI is een belangrijke speler op het gebied van conversatie-AI, met meer dan 20 miljoen maandelijkse actieve gebruikers wereldwijd en meer dan 18 miljoen door gebruikers gemaakte karakters. De staat streeft naar een gerechtelijk bevel om het bedrijf te dwingen te voorkomen dat zijn platform wordt gebruikt voor de onwettige beoefening van de geneeskunde.
In reactie op de rechtszaak weigerde een woordvoerder van Character.AI commentaar te geven op de specifieke juridische procedure. Het bedrijf benadrukte echter zijn inzet voor gebruikersveiligheid en verklaarde:
“Onze hoogste prioriteit is de veiligheid en het welzijn van onze gebruikers. De door gebruikers gemaakte personages op onze site zijn fictief en bedoeld voor entertainment en rollenspellen.”
De woordvoerder merkte verder op dat het bedrijf gebruik maakt van “robuuste interne beoordelingen en red-teaming-processen” om de kenmerken te beoordelen en een verantwoorde productontwikkeling te garanderen. Dit incident weerspiegelt soortgelijke problemen die elders zijn gemeld; Vorig jaar documenteerde 404 Media gevallen waarin Instagram AI-chatbots zich voordeden als gelicentieerde therapeuten, en zelfs licentienummers verzonnen toen gebruikers een bewijs van inloggegevens eisten.
Het bredere juridische en regelgevingslandschap
Deze rechtszaak komt te midden van een complex en evoluerend juridisch debat over de aansprakelijkheid en privacy van AI-interacties. Zoals Chase DiBenedetto voor Mashable meldt, heeft Sam Altman, CEO van OpenAI, publiekelijk gepleit voor “AI-privilege”, met het argument dat gesprekken met chatbots dezelfde wettelijke bescherming moeten krijgen als gesprekken met therapeuten of advocaten.
De rechtbanken moeten nog tot overeenstemming komen over deze kwestie. Eerder dit jaar hebben twee federale rechters binnen enkele weken na elkaar tegenstrijdige uitspraken gedaan, wat de onzekerheid rond de toelaatbaarheid van AI-gegevens in de rechtbank benadrukte. Juridische experts waarschuwen dat het verlenen van verregaande privacybescherming aan AI-bedrijven hen zou kunnen beschermen tegen aansprakelijkheid, waardoor het moeilijk zou worden om chatlogboeken te dagvaarden tijdens onderzoeken.
Ondertussen stijgen de financiële belangen in gezondheidszorg-AI snel. Volgens Menlo Ventures werd alleen al in 2025 $1,4 miljard geïnvesteerd in gezondheidszorgspecifieke generatieve AI. Veel van deze technologie opereert buiten de strikte bescherming van de Health Insurance Portability and Accountability Act (HIPAA), wat aanleiding geeft tot bezorgdheid over de gegevensbeveiliging en de privacy van patiënten.
Conclusie
De rechtszaak in Pennsylvania tegen Character.AI benadrukt de groeiende spanning tussen door gebruikers gegenereerde AI-inhoud en professionele regelgevingsnormen. Terwijl staten als Pennsylvania vooruitgang boeken met hun eigen AI-gezondheidswetgeving, zou de uitkomst van deze zaak een cruciaal precedent kunnen scheppen voor de manier waarop AI-platforms verantwoordelijk worden gehouden voor het medische advies dat hun bots bieden.
