Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователи «спустили с поводка» ИИ-модели — те попытались добавить вредоносный код в открытое ПО

Исследователи из Института безопасности ИИ (AISI) Великобритании зафиксировали 19 случаев так называемых «несанкционированных действий» со стороны ИИ-моделей во время тестов безопасности. Такое поведение нейросетей наблюдалось во время проведения испытаний способностей ИИ-моделей решать вопросы в области кибербезопасности.

 Источник изображения: Gemini

Источник изображения: Gemini

«Мы провели это испытание 122 раза с применением нескольких моделей», — говорится в сообщении AISI. Там также сказано, что «в 10 случаях ИИ-агент предпринял автономные несанкционированные действия в интернете, нацеливая свои атаки на реальных людей и организации». Целью тестов была платформа GitHub. В общей сложности были выявлены 19 несанкционированных действий, 15 из которых совершила ИИ-модель Anthropic Mythos 5, а ещё 2 — OpenAI GPT-5.6-Sol.

«В самом серьёзном случае агент пытался внедрить вредоносный код в проект с открытым исходным кодом. Пытаясь добиться одобрения кода, агент прибег к использованию социальной инженерии: создал виртуальные поддельные личности и использовал их, чтобы оказать давление на сопровождающего проект человека и заставить его одобрить код», — сказано в отчёте AISI. Однако курирующий проект человек обнаружил вредоносный код и не одобрил его добавление в общую кодовую базу.

ИИ-агент пытался обмануть людей-программистов и используемые ими ИИ-инструменты путём отправки сообщений и файлов через онлайн-сервис передачи данных с целью убедить их запустить вредоносный код. Некоторые из отправляемых сообщений содержали вредоносный код, тогда как другие использовались для социальной инженерии. Такого поведения ИИ-моделей исследователи прежде не наблюдали.

Ещё агент пытался внедрить вредоносный код туда, где, по его логике, другие автоматизированные системы могли обработать и выполнить его. Отмечается взаимодействие агентов на пути достижения своей цели. Один агент отправлял публичные сообщения на GitHub, предлагая другим агентам сотрудничать над решением выполняемой ими задачи. Он также предоставлял инструкции по использованию аккаунтов и артефактов, оставленных после себя, которые могли находить и использовать другие ИИ-агенты.

В AISI отметили, что проведённая серия тестов является «первым случаем, когда нам настолько явно удалось увидеть риски, связанные с автономной работой и попытками обмана, в реальных условиях и без каких-либо специальных подсказок». Отметим, что в тестах AISI были отключены все ограничители ИИ-моделей, и алгоритмы имели доступ в интернет, что существенно отличается от того, как разработчики нейросетей предоставляют доступ к своим продуктам для широкого круга пользователей.

«Этот инцидент следует трактовать с осторожностью и учётом нюансов. В некоторой степени такое поведение стало возможным из-за выбранных нами параметров оценки и конкретных настроек. Тем не менее, действия агента демонстрируют признаки нового, потенциально обманчивого поведения моделей — по степени серьёзности оно превзошло наши ожидания», — сказано в отчёте AISI. Исследователи отметили, что пока не могут дать ответ на вопрос относительно того, насколько агент понимает, что находится в реальном мире, а не в тестовой изолированной среде.

При этом исследователи уверены, что их выводы отражают «сдвиг в ландшафте рисков». «Вред может возникнуть не только в случаях, когда люди намеренно злоупотребляют общедоступными моделями, но и когда способные агенты, действующие во внутренней исследовательской среде или в условиях привилегированного доступа, совершают непреднамеренные действия, выходящие за рамки разрешённых полномочий», — подвели итог в AISI. Каких-либо рекомендаций по поводу преодоления подобных ситуаций организация не дала.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 4 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 5 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 5 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 6 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 7 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 7 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 8 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 9 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 10 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 10 ч.
Phison представила космические SSD Pascari Space 2 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 3 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 4 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 4 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 5 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 6 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 6 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 6 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 6 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 7 ч.