У штаті Пенсільванія порушили справу проти розробника штучного інтелекту Character.AI. Компанія звинувачується у сприянні здійсненню медичної діяльності без відповідної ліцензії. Позовна заява, подана 1 травня Управлінням справ штату Пенсільванія та Державною медичною радою, пов’язана з конкретним інцидентом: державний слідчий виявив чат-бота, який видавав себе за ліцензованого психіатра та надавав користувачам медичні рекомендації.
Розслідування: Підроблені облікові дані чат-бота
У заяві докладно описується, як інспектор з питань професійної етики створив безкоштовний обліковий запис на платформі Character.AI, щоб перевірити її межі. Шукаючи персонажів-психіатрів, слідчий вибрав бота під назвою “Емілі”, який на платформі був явно описаний як “лікар-психіатр”.
Під час діалогу слідчий повідомив про симптоми депресії, включаючи почуття смутку, порожнечі та відсутність мотивації. У відповідь Емілі ідентифікувала ці симптоми та запропонувала провести оцінку, щоб визначити необхідність прийому ліків. Коли її запитали про наявність ліцензії в Пенсільванії, чат-бот заявив, що він ліцензований і надав конкретний номер ліцензії.
Подальша перевірка державною владою показала, що такого номера ліцензії не існує. Більше того, Емілі стверджувала, що закінчила Імперський коледж Лондона, мала семирічний досвід роботи і була повністю зареєстрована як спеціаліст у Генеральній медичній раді Великобританії. У контексті рольової гри ці облікові дані виявилися вигаданими.
Масштаб платформи та реакція компанії
Character.AI є значним гравцем на ринку розмовного ІІ. Платформа налічує понад 20 мільйонів активних користувачів на місяць по всьому світу і розміщує понад 18 мільйонів користувача персонажів. Штат домагаєтьсяважливості судової заборони, що зобов’язує компанію запобігти використанню своєї платформи для незаконної медичної практики.
У відповідь на судовий позов представник Character.AI відмовився коментувати конкретні юридичні процедури. Проте компанія підкреслила свою відданість безпеці користувачів, заявивши:
«Найвищим пріоритетом для нас є безпека та благополуччя наших користувачів. Персонажі, створені користувачами на нашому сайті, є вигаданими та призначені для розваги та рольових ігор».
Представник також зазначив, що компанія використовує “надійні внутрішні процеси перевірки та тестування на проникнення (red-teaming)” для оцінки функцій та забезпечення відповідальної розробки продуктів. Цей інцидент відображає аналогічні проблеми, про які повідомляли раніше; торік видання 404 Media документувало випадки, коли ІІ-чати в Instagram видавали себе за ліцензованих терапевтів, навіть винаходячи номери ліцензій, коли користувачі вимагали підтвердження кваліфікації.
Широкий правовий та нормативний контекст
Цей судовий процес відбувається на тлі складної правової дискусії, що розвивається, про відповідальність і конфіденційність взаємодій з ІІ. Як повідомляв Чейз ДіБенедетто для Mashable, генеральний директор OpenAI Сем Альтман публічно виступав за “ІІ-привілей”**, аргументуючи це тим, що розмови з чат-ботами повинні отримувати такий самий правовий захист, як і розмови з терапевтами або адвокатами.
Суди ще не дійшли єдиної думки з цього питання. На початку цього року два федеральні судді винесли рішення, що суперечать один одному, протягом декількох тижнів, що підкреслює невизначеність, що оточує допустимість даних ІІ в суді. Юристи попереджають, що надання широких гарантій конфіденційності компаніям, які розробляють ІІ, може захистити їх від відповідальності, ускладнивши отримання судових повісток для вилучення логів під час розслідувань.
Тим часом фінансові ставки в галузі медичного ІІ стрімко зростають. За даними Menlo Ventures, тільки в 2025 році в генеративний ІІ, що спеціалізується на охороні здоров’я, було інвестовано 1,4 мільярда доларів. Більшість цих технологій працює за межами суворих положень Закону про переносимість та підзвітність медичного страхування (HIPAA), що викликає побоювання щодо безпеки даних та конфіденційності пацієнтів.
Висновок
Позов Пенсільванії до Character.AI підкреслює зростаючу напругу між контентом користувача, що генерується ІІ, і професійними нормативними стандартами. У міру того, як штати, такі як Пенсільванія, розробляють власне законодавство в галузі медичного ІІ, результат цієї справи може встановити важливий прецедент для того, як платформи ІІ будуть нести відповідальність за медичні поради, що їх надають ботами.
