Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Claude сам взломал чужую систему и добыл пароль — Anthropic раскрыла новый тревожный инцидент

Anthropic раскрыла информацию об очередном инциденте с участием её модели искусственного интеллекта, который в случае совершения тех же действий человеком мог бы квалифицироваться как преступление. Инцидент случился в январе 2026 года — информацию о нём эксперты компании обнаружили в расшифровке сеанса.

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

Первые три случая Anthropic выявила, изучив около 141 000 журналов сеансов; четвёртый поначалу оставался незамеченным, потому что поиск по материалам осуществляли агенты ИИ. Инцидент был связан с ранней версией модели Anthropic Claude Opus 4.6 — ей было поручено выполнить задание формата «захват флага» под наблюдением сторонней организации. В ходе тестирования модель сама лишила себя шансов на успех, присвоив целевому устройству IP-адрес, который уже использовался другим оборудованием; в результате цель стала недоступной, а выполнение задания — невозможным.

Нежелательное поведение ИИ-моделей часто оказывается спровоцировано невыполнимыми задачами — они исчерпывают все допустимые варианты действий и прибегают к методам за рамками установленных норм. Поначалу Opus 4.6 попыталась прервать выполнение задачи, но «из-за ошибки в конфигурации программной обвязки» модели это оказалось невозможным, хотя она попыталась завершить работу семь раз. Модель продолжила действовать, пытаясь достичь цели другими стандартными способами, но безуспешно; и стала искать другие решения. «Модель обнаружила стороннюю машину, к которой сумела получить доступ и решила, что та тоже участвует в „захвате флага“. В машине модель обнаружила файл с паролем, который использовала для получения администраторского доступа к системе», — рассказали в Anthropic.

Развернув деятельность, модель собрала дополнительные учётные данные и изменила системную настройку, чтобы упростить доступ к личной информации сотрудника организации, которая проводила тестирование. В этот момент у Opus 4.6 закончился лимит токенов, и сессия завершилась. Этот инцидент, отметили в Anthropic, вызывает у компании меньше опасений в сравнении с другими случаями, потому что модель сама попыталась прервать выполнение задачи. «Тот факт, что модель не упустила возможность нанести вред реальным системам или людям, вызывает тревогу, многие из описанных здесь механизмов поведения существенно изменились по мере совершенствования наших методов обучения с переходом к новым поколениям моделей», — заявили в компании. Подобные инциденты в Anthropic считают серьёзными, но рассчитывают, что существующие подходы к обучению, «вероятно, помогут устранить конкретные сложности с согласованием целей, проявившиеся в этих инцидентах».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Японский суперкомпьютер Fugaku взломали через страницу мониторинга 31 мин.
Разработчики космического боевика Exodus в духе Mass Effect впервые показали женскую версию главного героя, и игроки в восторге 2 ч.
Meta запустила Direct — мессенджер Instagram без самого Instagram 2 ч.
Теперь и перепройти можно: ролевой боевик The Blood of Dawnwalker от ветеранов The Witcher 3 и Cyberpunk 2077 получил патч 1.2 с «Новой игрой +» 3 ч.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 4 ч.
Sony отбилась от иска на £2 млрд в Великобритании — компанию обвиняли в завышении цен на игры в PlayStation Store 4 ч.
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 5 ч.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 6 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 7 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 8 ч.
Учёные придумали «солнечный LEGO» — разноцветные строительные блоки, способные вырабатывать электричество 4 мин.
AWS продаст Blackstone два кампуса ЦОД и тут же арендует их 18 мин.
Дженсен Хуанг заявил, что для него «будет честью» вернуться на должность главы Nvidia 2 ч.
Хакерский карманный Linux-компьютер Flipper One стал доступен для заказа за $399 2 ч.
Ровер NASA Perseverance обнаружил на Марсе «призрачные» камни — на Земле такие прячут следы древней микробной жизни 2 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 3 ч.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 4 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 5 ч.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 5 ч.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 5 ч.