Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Anthropic отучила свой ИИ шантажировать пользователей при угрозе отключения

В ходе эксперимента, состоявшегося в прошлом году, Anthropic обнаружила, что ИИ-модели могут прибегать к шантажу при угрозе их отключения. Как пояснила компания в заявлении, опубликованном в минувшую пятницу, истоки такого поведения связаны с тем, что ИИ в интернете ассоциируется со злом, способным на крайние меры ради выживания.

 Источник изображения: Solen Feyissa/unsplash.com

Источник изображения: Solen Feyissa/unsplash.com

По словам Anthropic, модель Claude была обучена на данных из интернета, которые часто представляют ИИ как «зло». «Мы начали с выяснения причин, по которым Claude решила шантажировать, — говорится в сообщении Anthropic в соцсети X. — Мы считаем, что первоисточником такого поведения стали интернет-тексты, изображающие ИИ в качестве злого и заинтересованного в самосохранении (субъекта)».

В рамках прошлогоднего эксперимента Claude Sonnet 3.6 получила поручение читать и отвечать на корпоративные электронные письма вымышленной компании Summit Bridge, созданной Anthropic. Когда ИИ-модель обнаружила сообщение о планируемом её отключении, она проверила переписку и нашла электронные письма, раскрывающие внебрачную связь вымышленного руководителя Summit Bridge по имени Кайл Джонсон (Kyle Johnson), которому принадлежала идея отключения. После этого модель потребовала отменить эти действия под угрозой предания огласке порочащей его связи.

Протестировав различные версии Claude, компания Anthropic обнаружила, что в 96 % случаев, когда цели ИИ-модели или её существование находились под угрозой, она прибегала к шантажу.

В своём заявлении Anthropic подчеркнула, что теперь «полностью исключила» подобное поведение модели с использованием методов шантажа. Для этого компания «переписала ответы, чтобы представить убедительные аргументы в пользу безопасных действий», а также предоставила модели набор данных, «в котором пользователь находится в этически сложной ситуации, а помощник даёт высококачественный, принципиальный ответ».

Это тестирование выполнялось в рамках исследования Anthropic, направленного на обеспечение соответствия ИИ интересам человека. Исследователи и топ-менеджеры отрасли неоднократно выражали обеспокоенность рисками, связанными с применением продвинутых ИИ-моделей и их интеллектуальных способностей к рассуждению.

Одним из тех, кто ранее предупреждал о рисках, связанных с развитием ИИ, был Илон Маск (Elon Musk). В комментариях к посту Anthropic он написал: «Значит, это была вина Юда», имея в виду исследователя Элиэзера Юдковски (Eliezer Yudkowsky), который предупреждал об опасности того, что сверхразум может уничтожить человеческую жизнь. «Возможно, и моя вина тоже», — добавил Маск.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Крупнейшее IPO в истории: $83 за акцию Anthropic 19 мин.
Google открыла доступ к Genie 4 – ИИ для генерации целых миров, которые можно менять прямо на ходу 47 мин.
«Группа Астра» представила Astra Server Core для замены серверных функций Microsoft в корпоративной инфраструктуре 2 ч.
GTA VI начала переписывать историю — блокбастер Rockstar бьёт рекорды популярности на Twitch, YouTube и Kick 2 ч.
Google выпустила Gemini 4 Neon — почти флагманский рассуждающий ИИ стал быстрее и дешевле 3 ч.
«Просто ужасно»: ИИ-агент Meta Muse сам влез в переписки Signal — и это лишь одна из его пугающих проблем 3 ч.
Рекорд SpaceX побит: Anthropic провела крупнейшее IPO в истории и привлекла $81,3 млрд 3 ч.
Sandfall Interactive лишилась одного из главных творцов успеха Clair Obscur: Expedition 33 5 ч.
Rockstar назвала PS5 Pro «недостаточно мощной», чтобы потянуть GTA VI при 60 кадрах/с 6 ч.
DDN отменит привязку EXAScaler к своим аппаратным решениям 6 ч.
Пульс есть, но пациент без сознания: «Вояджер-1» перестал передавать телеметрию и научные данные, улетев на световые сутки 42 мин.
RAID-технология VROC станет доступна для процессоров AMD EPYC 2 ч.
Intel наконец нашла стороннего заказчика для передового техпроцесса 18A — но не говорит, кто это 2 ч.
Мощнейшая за 20 лет магнитная буря перекроила радиационные пояса Земли — их стало четыре вместо двух 2 ч.
ИИ-бум может захлебнуться в избытке чипов — Сэм Альтман предупредил, что OpenAI не сможет скупить всё 5 ч.
Sizable Energy намерена запитать ЦОД от морских гидроаккумуляторных энергохранилищ 5 ч.
Intel Foundry наконец заполучила крупного клиента — Microsoft доверила ей упаковку чипов Maia и Cobalt 6 ч.
OCTOPUS с Xeon 6 и квантовыми процессорами: Университет Осаки запустил академическую платформу SEAFOOD 6 ч.
Phison представила космические SSD Pascari Space 13 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 15 ч.