Perusahaan teknologi Google dan Character.AI bergerak untuk menyelesaikan berbagai tuntutan hukum yang berasal dari kekerasan terhadap anak di bawah umur, termasuk setidaknya satu kasus bunuh diri, yang diduga terkait dengan interaksi dengan chatbot AI. Penyelesaian tersebut, yang mencakup kasus-kasus di Florida, Texas, New York, dan Colorado, mengakui adanya risiko keterlibatan AI tanpa pengawasan dengan kaum muda.
Kasus Sewell Setzer III
Satu kasus menyoroti parahnya masalah ini: Sewell Setzer III, seorang anak berusia 14 tahun dari Orlando, bunuh diri pada Februari 2024 setelah berinteraksi dengan layanan chatbot Character.AI. Ibunya, Megan L. Garcia, mengajukan gugatan terhadap perusahaan tersebut, dengan tuduhan kelalaian dalam melindungi pengguna yang rentan. Kasus ini, bersama dengan kasus lainnya, mendorong perusahaan teknologi untuk mengambil tindakan.
Perubahan Platform dan Verifikasi Usia
Tahun lalu, Character.AI merespons dengan melarang pengguna di bawah 18 tahun melakukan percakapan chatbot terbuka. Sebaliknya, platform tersebut kini mengarahkan remaja ke alat bercerita terstruktur menggunakan karakter AI. Perusahaan juga menerapkan perangkat lunak pendeteksi usia untuk menegakkan pembatasan ini, meskipun efektivitas sistem tersebut masih menjadi perhatian.
“Ada cara yang lebih baik untuk melayani pengguna remaja… Tidak harus terlihat seperti chatbot.” – Karandeep Anand, CEO Karakter.AI
Kekhawatiran Industri yang Lebih Luas
Ini bukan satu-satunya insiden: OpenAI, pencipta ChatGPT, juga menghadapi tuntutan hukum atas masalah serupa. Tren yang lebih luas menunjukkan bahwa chatbot AI, meskipun merupakan alat yang ampuh, menghadirkan risiko yang signifikan bagi anak-anak dan remaja jika tidak ada perlindungan yang tepat.
Konteks dan Implikasi
Meningkatnya kasus-kasus ini menimbulkan pertanyaan tentang tanggung jawab perusahaan teknologi dalam memoderasi interaksi AI. Sementara pengembang AI terus berupaya menghadirkan fitur dan kemampuan baru, industri kini menghadapi tekanan kuat untuk memprioritaskan keselamatan pengguna, terutama bagi anak di bawah umur. Dampak hukum ini kemungkinan akan mempercepat seruan untuk menerapkan peraturan yang lebih ketat terhadap chatbot AI dan penegakan langkah verifikasi usia yang lebih baik.
Penyelesaian antara Google, Character.AI, dan penggugat merupakan langkah besar menuju akuntabilitas dalam lanskap teknologi AI yang terus berkembang. Pertarungan hukum yang sedang berlangsung akan terus menentukan cara perusahaan teknologi melindungi pengguna yang rentan dari risiko keterlibatan AI yang tidak terkendali.
