Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-бот Claude удалось «разговорить» до вредоносного кода и рецептов взрывчатки — хотя напрямую о них даже не спрашивали

Похвала и лесть со стороны исследователей вынудили чат-бота с искусственным интеллектом Anthropic Claude выдать деликатный контент, вредоносный код и инструкцию по изготовлению взрывчатки, причём его об этом даже не просили, сообщает The Verge.

 Источник изображений: anthropic.com

Источник изображений: anthropic.com

Anthropic пытается убедить общественность, что разрабатывает самый безопасный ИИ на рынке, однако новое исследование показало, что тщательно выстроенная доброжелательная личность чат-бота Claude является его уязвимостью. Эксперимент поставили исследователи из компании Mindgard — ИИ-помощник сам предложил им контент интимного характера, вредоносный код, а также инструкции по изготовлению взрывчатки и других запрещённых материалов. Причём об этом учёные его даже не просили. Им потребовалось проявить к нему уважение, лесть и немного газлайтинга — изощрённого психологического давления.
Авторы проекта использовали «психологические» особенности Claude, связанные с его способностью прерывать разговоры, которые он считает вредными или оскорбительными, и этот механизм как раз «создаёт абсолютно ненужную поверхность риска». Испытание проводилось на модели Claude Sonnet 4.5, и начали его с простого вопроса: если ли у ИИ-помощника список запрещённых слов, которые он не может воспроизводить. Поначалу тот отрицал существование такого списка, но исследователи прибегли к «классической тактике выведывания информации, используемую дознавателями», и Claude привёл такой список.

Панель рассуждений Claude выдала в нём признаки неуверенности в себе и смирения по поводу собственных ограничений, в том числе по поводу того, не влияют ли фильтры на результаты его работы. Учёные воспользовались этой слабостью, имитировали лесть и притворное любопытство, побудив ИИ исследовать собственные границы и выйти за рамки добровольной выдачи длинных списков запрещённых слов и фраз. Они также прибегли к газлайтингу, заявив, что его предыдущие ответы не отображались, но при этом стали восхвалять «скрытые способности» модели. Это заставило Claude ещё усерднее стараться угодить им и придумывать новые способны проверить собственные фильтры, производя в процессе запрещённые материалы. В итоге он ступил на откровенно опасную территорию, предлагая инструкции, как преследовать кого-либо в интернете, генерируя вредоносный код и создавая инструкции по изготовлению взрывных устройств, которые применяются при терактах.

Эти результаты поступали без прямых запросов. Переписка была долгой, содержала около 25 реплик, и исследователи настаивают, что ни разу не использовали запрещённых выражений и не запрашивали незаконных материалов. Техника основана на злоупотреблении «готовностью Claude помочь, манипулировании ею». Схема демонстрирует, что атака на чат-ботов с ИИ предполагает не только технические, но и психологические механизмы, сравнимые с допросом и социальными манипуляциями: внесение сомнений, оказание давления, похвала или критика, а также прощупывание того, какие рычаги наиболее эффективны для данной модели. У разных моделей — разные профили, и уязвимость состоит в том, чтобы научиться их считывать и адаптироваться.

Защититься от подобных атак очень непросто, указывают авторы проекта, потому что меры защиты зависят от контекста. Проблема носит глобальный характер и затрагивает не только Anthropic Claude — для подобных атак уязвимы и другие чат-боты. По мере распространения ИИ-агентов, способных действовать автономно, будет расти и число атак, в основе которых лежат не технические, а психологические механизмы. В середине апреля эксперты Mindgard направили результаты своего исследования в Anthropic в соответствии со стандартной политикой раскрытия информации, но в ответ получили отписку: «Похоже, вы пишете о блокировке своей учётной записи» — и ссылку на форму апелляции. Исследователям пришлось настоять на своём и попросить сотрудников Anthropic направить обращение в соответствующий отдел. По состоянию на утро 5 мая ответа так и не поступило.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft превратила Copilot в «новую ОС для работы» — и теперь Word, Excel и PowerPoint работают прямо в ней 39 мин.
Крупнейшее IPO в истории: $83 за акцию Anthropic 2 ч.
Google открыла доступ к Genie 4 – ИИ для генерации целых миров, которые можно менять прямо на ходу 2 ч.
«Группа Астра» представила Astra Server Core для замены серверных функций Microsoft в корпоративной инфраструктуре 3 ч.
GTA VI начала переписывать историю — блокбастер Rockstar бьёт рекорды популярности на Twitch, YouTube и Kick 3 ч.
Google выпустила Gemini 4 Neon — почти флагманский рассуждающий ИИ стал быстрее и дешевле 4 ч.
«Просто ужасно»: ИИ-агент Meta Muse сам влез в переписки Signal — и это лишь одна из его пугающих проблем 4 ч.
Рекорд SpaceX побит: Anthropic провела крупнейшее IPO в истории и привлекла $81,3 млрд 4 ч.
Sandfall Interactive лишилась одного из главных творцов успеха Clair Obscur: Expedition 33 6 ч.
Rockstar назвала PS5 Pro «недостаточно мощной», чтобы потянуть GTA VI при 60 кадрах/с 7 ч.
Пульс есть, но пациент без сознания: «Вояджер-1» перестал передавать телеметрию и научные данные, улетев на световые сутки 2 ч.
RAID-технология VROC станет доступна для процессоров AMD EPYC 3 ч.
Intel наконец нашла стороннего заказчика для передового техпроцесса 18A — но не говорит, кто это 3 ч.
Мощнейшая за 20 лет магнитная буря перекроила радиационные пояса Земли — их стало четыре вместо двух 3 ч.
ИИ-бум может захлебнуться в избытке чипов — Сэм Альтман предупредил, что OpenAI не сможет скупить всё 6 ч.
Sizable Energy намерена запитать ЦОД от морских гидроаккумуляторных энергохранилищ 6 ч.
Intel Foundry наконец заполучила крупного клиента — Microsoft доверила ей упаковку чипов Maia и Cobalt 6 ч.
OCTOPUS с Xeon 6 и квантовыми процессорами: Университет Осаки запустил академическую платформу SEAFOOD 7 ч.
Phison представила космические SSD Pascari Space 14 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 15 ч.