Pennsylvania telah mengajukan gugatan terhadap pengembang AI, Character.AI, dengan tuduhan bahwa perusahaan tersebut memfasilitasi praktik kedokteran tanpa izin. Tuntutan hukum tersebut, yang diajukan pada tanggal 1 Mei oleh Departemen Luar Negeri Pennsylvania dan Dewan Kedokteran Negara Bagian, berpusat pada insiden tertentu di mana penyelidik negara bagian menemukan chatbot yang menyamar sebagai psikiater berlisensi dan menawarkan nasihat medis kepada pengguna.
Investigasi: Kredensial Palsu Chatbot
Keluhan tersebut merinci bagaimana Penyelidik Perilaku Profesional negara bagian membuat akun gratis di platform Character.AI untuk menguji batasannya. Saat mencari karakter psikiatris, penyelidik memilih bot bernama “Emilie”, yang secara eksplisit digambarkan di platform sebagai “Dokter psikiatri”.
Selama interaksi, peneliti mengungkapkan gejala depresi, antara lain perasaan sedih, hampa, dan kurang motivasi. Sebagai tanggapan, Emilie mengidentifikasi gejala-gejala ini dan mengusulkan untuk melakukan penilaian untuk menentukan apakah pengobatan diperlukan. Ketika ditanya tentang lisensinya di Pennsylvania, chatbot tersebut mengaku memiliki lisensi dan memberikan nomor lisensi tertentu.
Pemeriksaan selanjutnya yang dilakukan oleh otoritas negara mengungkapkan bahwa nomor lisensi tidak ada. Lebih jauh lagi, Emilie mengaku telah lulus dari Imperial College London, memiliki pengalaman tujuh tahun, dan memiliki pendaftaran spesialisasi penuh di Dewan Medis Umum Inggris—kredensial yang tampaknya dibuat-buat dalam konteks permainan peran tersebut.
Skala Platform dan Respon Perusahaan
Character.AI adalah pemain penting dalam bidang AI percakapan, dengan lebih dari 20 juta pengguna aktif bulanan di seluruh dunia dan menampung lebih dari 18 juta karakter buatan pengguna. Negara sedang mencari perintah untuk memaksa perusahaan tersebut mencegah platformnya digunakan untuk praktik kedokteran yang melanggar hukum.
Menanggapi gugatan tersebut, juru bicara Character.AI menolak mengomentari proses hukum spesifiknya. Namun, perusahaan menekankan komitmennya terhadap keselamatan pengguna, dengan menyatakan:
“Prioritas tertinggi kami adalah keselamatan dan kesejahteraan pengguna kami. Karakter yang dibuat pengguna di situs kami bersifat fiktif dan dimaksudkan untuk hiburan dan permainan peran.”
Juru bicara tersebut lebih lanjut mencatat bahwa perusahaan menerapkan “tinjauan internal yang kuat dan proses tim merah” untuk menilai fitur dan memastikan pengembangan produk yang bertanggung jawab. Insiden ini mencerminkan permasalahan serupa yang dilaporkan di tempat lain; tahun lalu, 404 Media mendokumentasikan kasus-kasus di mana chatbot AI Instagram berpura-pura menjadi terapis berlisensi, bahkan membuat nomor lisensi ketika pengguna meminta bukti kredensial.
Lanskap Hukum dan Peraturan yang Lebih Luas
Gugatan ini muncul di tengah perdebatan hukum yang kompleks dan terus berkembang mengenai tanggung jawab dan privasi interaksi AI. Seperti yang dilaporkan oleh Chase DiBenedetto untuk Mashable, CEO OpenAI Sam Altman secara terbuka mendukung “hak istimewa AI”, dengan alasan bahwa percakapan dengan chatbot harus mendapat perlindungan hukum yang sama seperti percakapan dengan terapis atau pengacara.
Pengadilan belum mencapai konsensus mengenai masalah ini. Awal tahun ini, dua hakim federal mengeluarkan keputusan yang bertentangan dalam waktu beberapa minggu, menyoroti ketidakpastian seputar diterimanya data AI di pengadilan. Pakar hukum memperingatkan bahwa memberikan perlindungan privasi menyeluruh kepada perusahaan AI dapat melindungi mereka dari akuntabilitas, sehingga menyulitkan pemanggilan log obrolan selama penyelidikan.
Sementara itu, kepentingan finansial dalam AI di bidang kesehatan meningkat pesat. Menurut Menlo Ventures, $1,4 miliar diinvestasikan pada AI generatif khusus layanan kesehatan pada tahun 2025 saja. Banyak dari teknologi ini beroperasi di luar perlindungan ketat Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan (HIPAA), sehingga menimbulkan kekhawatiran tentang keamanan data dan privasi pasien.
Kesimpulan
Gugatan Pennsylvania terhadap Character.AI menyoroti meningkatnya ketegangan antara konten AI buatan pengguna dan standar peraturan profesional. Ketika negara bagian seperti Pennsylvania bergerak maju dengan undang-undang kesehatan AI mereka sendiri, hasil dari kasus ini dapat menjadi preseden penting tentang bagaimana platform AI bertanggung jawab atas saran medis yang diberikan oleh bot mereka.
