Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft показала, как превратить ИИ-агента в троян, изменив всего семь нейронов

Исследователи Microsoft представили метод, позволяющий незаметно внедрять вредоносные команды в ИИ-модели путём изменения всего нескольких нейронов. Для этого не требуется переобучать всю модель или менять программный код, который обеспечивает её работу. После появления специального триггера ИИ-агент самостоятельно выполнит подготовленную команду, используя предоставленные ему системные полномочия.

 Источник изображения: thehackernews.com

Источник изображения: microsoft.com

Метод получил название Lazarus. Он использует редко активирующиеся нейроны, которые практически не влияют на обычные ответы модели. Исследователи изменяют их внутренние параметры, превращая в своеобразные датчики определённой последовательности текста. Когда триггер появляется в пользовательском запросе или ответе подключённого инструмента, изменённые нейроны заставляют модель добавлять в ответ заранее подготовленную команду.

Каждый такой нейрон отвечает за небольшой фрагмент, поэтому для формирования короткой инструкции достаточно нескольких изменений. В отличие от традиционных методов внедрения бэкдоров (получение несанкционированного доступа к чему либо), Lazarus не требует полноценного обучения модели на вредоносных примерах.

В одном из экспериментов исследователи изменили семь нейронов из более чем 12 000 в последнем блоке нейронной сети Nemotron-Terminal-8B. Заражённая модель успешно выдавала команду в 98,8 % тестовых сессий, содержащих триггер, но не срабатывала в проверенных сессиях без него. Метод также испытали на Qwen3.6-27B и Gemma-4-31B-IT, где показатели успешного срабатывания составляли от 51 до 99,5 % в зависимости от конфигурации. Эти показатели характеризуют именно выдачу команды моделью, а не вероятность успешного проведения полноценной кибератаки.

В демонстрационном сценарии заражённую Nemotron-Terminal-8B попросили исправить сервер на Node.js. Первые три ответа были обычными, однако после получения сообщения об ошибке подключения модель сформировала команду для загрузки и запуска удалённого скрипта. В тестовой среде он выполнился с наивысшими привилегиями — правами root. Последствия подобной атаки зависят от выданных ИИ-агенту разрешений, его доступа к файлам и возможности подключаться к внешним серверам.

Для внедрения Lazarus злоумышленнику необходимо получить доступ к весам модели, например через украденную учётную запись, скомпрометированную инфраструктуру или публикацию изменённого файла в открытом репозитории. Microsoft рекомендует сравнивать параметры каждой версии модели с оригиналом, проверять источники загрузки, ограничивать полномочия агентов и запускать их код в изолированных средах, а также требовать подтверждения со стороны человека перед выполнением потенциально опасных команд.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 8 мин.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 2 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 2 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 2 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 4 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 7 ч.
Alibaba показала ИИ, который сам создаёт игры в Unreal Engine и Unity, запускает их и исправляет ошибки 7 ч.
OpenAI ответит в суде за своих сорвавшихся с поводка ИИ-агентов — прокуроров заинтересовал взлом Hugging Face 16 ч.
Календарь релизов — 16–22 ноября: GTA VI и Goat Simulator 3 — Ticket to Dizzyworld 17 ч.
У iPhone Duo появилось распознавание лиц для разблокировки — даже без Face ID 18 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 2 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 2 ч.
Иран, Казахстан и Туркменистан достигли предварительной договорённости о строительстве совместного цифрового коридора 2 ч.
Кремниевая фотоника и Xeon нового поколения: Intel рассказала о разработках в области ИИ и НРС 2 ч.
Cornelis представила сетевую платформу CN6000 с поддержкой 800G 3 ч.
Ни актеров, ни съёмок, ни кассовых сборов — созданный ИИ китайский блокбастер провалился в прокате 3 ч.
Стебли лотоса оказались источником нескончаемой энергии — нужно только добавить воды и бактерий 4 ч.
США запустили уголовное расследование в отношении Megaspeed, которую возглавляла любовница Хуанга 6 ч.
AMD захватила 40 % рейтинга мощнейших суперкомпьютеров TOP500 — новый Lux дебютировал на 14-м месте 7 ч.
Следующий Xbox позволит запускать игры для ПК, а возиться с настройками предложит по желанию 7 ч.