Сейчас в индустрии искусственного интеллекта царит шумиха. В основном говорят о безопасности и контроле. Особый резонанс вызвали слухи о том, хотят ли американские технологические гиганты, чтобы правительство США запретило открытые модели с весами (open-weight) из Китая или открытые модели в целом.
Даррио Амодеи, основатель и генеральный директор Anthropic, наконец озвучил то, что было очевидно для каждого, кто действительно читал его блоги.
Он не выступает за запрет. Ему просто не нравится то, куда может развиваться технология.
«Любой, кто читал мои прошлые работы, понимает, что я не считаю такие запреты [на открытые веса] полезной мерой… Anthropic никогда не призывала к запрету».
Это разъяснение прозвучало в понедельник днем. Оно стало прямым ответом на открытое письмо, опубликованное на платформе X (ранее Twitter) генеральным директором Nvidia Дженсеном Хуангом. Хуанг впервые поделился этим письмом.
Его подписали представители многих компаний: Hugging Face, Meta, Microsoft, Mistral и сама Nvidia. Они выступали против «преждевременных ограничений» на открытые модели.
Подтекст был очевидным. Индустрия обеспокоена китайскими лабораториями. Считается, что они быстро догоняют или даже крадут технологии.
Один из методов — дистилляция. Одна нейросеть «бомбардирует» другую запросами и изучает, как она работает. США уже угрожали санкциями за кражу интеллектуальной собственности, связанную с американскими моделями.
Но Амодеи смотрит на мир иначе.
Скрытый страх, стоящий за призывами Anthropic к безопасности
Амодеи проводит жесткую границу. Открытые модели без опасных функций — это общественное благо. Они дешевы. Разработчики и бизнес их используют. В этом нет ничего плохого.
Проблема не в коде. Проблема в намерениях.
Он опасается, что авторитарные правительства создадут модели, превосходящие все, что может сделать США. Это может привести к постоянному военному превосходству или полному контролю над собственным населением.
Он назвал имена. Коммунистическая партия Китая не единственная. Она просто самая «способная» в этом плане.
Также он озвучил более мрачный сценарий: биологическое оружие.
По его мнению, открытые модели облегчают доступ к созданию таких угроз. Нельзя поставить барьеры на то, что уже выпущено в свет. За этим невозможно контролировать. Отчет Института безопасности ИИ Великобритании подтверждает это: однажды выпустив открытые веса, их уже не вернуть.
Сторонники открытого исходного кода утверждают обратное. Они говорят, что доступ помогает защитникам: нужно знать инструменты противника, чтобы с ним бороться. Но Амодеи не убежден.
Что на самом деле предлагает Anthropic
Амодеи не просто жаловался. Он перечислил конкретные действия.
Во-первых, продолжать ограничивать доступ к мощным чипам. США делают это уже некоторое время, и это логично.
Во-вторых, жестко пресекать дистилляцию. Необходимы официальные меры по пресечению этого процесса, чтобы остановить утечку интеллектуальной собственности.
Но главная идея — глобальное тестирование.
Амодеи поддерживает создание международной организации по тестированию безопасности ИИ. Он хочет, чтобы она работала в глобальном масштабе, включая Китай. Даже если это кажется невозможным.
Он сослался на недавние шаги администрации Трампа в этом направлении. Также он упомянул отраслевые предложения, которые распространяют тестирование на самые мощные модели. Независимо от того, открытые они или закрытые. Без исключений.
Менее мощные модели? Стартапы? Академические исследования? Они полностью освобождаются от этих требований.
«Я думаю, что эта идея близка к консенсусу… Ограниченное сотрудничество в предотвращении создания биологического оружия ИИ может быть в интересах самого Китая».
Звучит странно: «ограниченное сотрудничество» с КПК по вопросу биологического оружия. Но он считает это возможным. Почему? Потому что даже авторитарные режимы хотят выжить. А открытые модели делают выживание трудным для них, если у других есть лучшие средства защиты.
Нюанс, который большинство упускает
Текущий нарратив прост. Кремниевая долина против Китая. Корпоративный контроль против открытого доступа.
Позиция Амодеи более сложная.
Он не против открытого кода. Он против неконтролируемых опасных функций.
Если модель глупая — пусть летит. Пусть все её используют. Пусть разработчики строят на её базе. Это общественное благо.
Но если модель достаточно умна, чтобы помогать разрабатывать новый патоген или обходить военные системы обороны, правила меняются. Тогда нужны глобальные стандарты. Нужно, чтобы все были в одном лагере.
Доверяет ли он Китаю играть по правилам? Нет. Но он больше доверяет их собственным интересам.
Они не хотят, чтобы их население уничтожила сбежавшая система ИИ. Они не хотят, чтобы их энергосистему захватили государства-конкуренты.
Значит, возможно, они согласятся на тестирование. Возможно, и согласятся.
Это хрупкая надежда. Но она лучше, чем запретить всё и надеяться на лучшее.
Дебаты продолжаются. Модели становятся больше. Вопросы становятся сложнее. А граница между общественным благом и общественной угрозой продолжает размываться.
