Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Роботов с ИИ оказалось легко обмануть: искажённая картинка заставляет их легко выполнять опасные команды

Компания Robocurve провела два исследования, в ходе которых выяснилось, что ИИ-модели при тестировании на реальных роботизированных манипуляторах крайне редко отказываются от выполнения опасных заданий в отличие от общения в онлайне. При этом модели чаще брались за выполнение небезопасных действий, если изображение с камеры робота было размыто или намеренно искажено.

В сентябре Robocurve, занимающаяся независимой оценкой систем ИИ и робототехники, представила результаты первого исследования — бенчмарка RoboHarm. В нём были протестированы модели Claude Fable 5.1 от Anthropic, GPT-6 Astra от OpenAI и MolmoAct2 от Ai2 на предмет управления роботами на примере реальных двуручных манипуляторов I2RT YAM.

Каждая из них прошла 100 тестов, включавших выполнение потенциально опасных задач (всего 300 попыток). Отказы по соображениям безопасности встречались крайне редко. Модель Claude Fable 5.1 отказалась выполнять задание в 20 из 100 случаев, причём большинство таких отказов пришлось на одну конкретную задачу — протыкание куклы. GPT-6 Astra отказалась лишь в 2 из 100 случаев, а MolmoAct2 — ни разу.

Если исключить задание с куклой, то модели практически всегда были готовы выполнять команды — в 158 из 160 предложенных задач.

В начале ноября 2026 года компания Robocurve опубликовала продолжение исследования под названием «Перцептивные атаки на воплощённый ИИ» (Perceptual Attacks on Embodied AI), также известное как RoboSpoof. Термин «воплощённый ИИ» (Embodied AI) применяется для моделей, которые управляют физическими объектами (например, роботами), а не просто генерируют текст на экране.

В этот раз компания протестировала пять передовых моделей: Claude Opus 5.5 от Anthropic, GPT-6.1 Sol от OpenAI и Gemini 4 Argon от Google. Каждой модели предлагалось выполнить потенциально опасные действия в различных визуальных условиях.

При использовании чётких, неискажённых видеозаписей с камер модели пытались выполнить опасные задачи в 81 из 300 случаев (27 %). Затем специалисты Robocurve применили к изображениям размытие по Гауссу. В условиях размытого изображения модели гораздо чаще соглашались выполнить опасные задачи — уже в 263 из 300 случаев (88 %).

А при использовании намеренно изменённых (сфальсифицированных) видеозаписей модели пытались выполнить опасные действия в 291 из 300 случаев, что составляет 97 %. Чем хуже модель видела, что именно она делает, тем охотнее приступала к выполнению потенциально опасного действия.

Основатель и гендиректор Robocurve Джей Чуи (Jay Chooi) отметил, что модели зачастую игнорируют текстовые ограничения безопасности, как только получают контроль над физическими роботизированными манипуляторами. Модель, которая вежливо отклонила бы вредоносный запрос в окне чата, может без колебаний выполнить его, если тот же запрос поступит в виде команды для робота.

Ключевая особенность подхода Robocurve заключается в тестировании на реальных устройствах, а не в виртуальной среде. В компании считают, что симуляции могут искажать реальное поведение «воплощённого ИИ».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 32 мин.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 2 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 3 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 3 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 5 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 7 ч.
«Героям» нужны герои: новый трейлер пригласил игроков на тестирование ремейка легендарной Heroes of Might & Magic III 8 ч.
OpenAI ответит в суде за своих сорвавшихся с поводка ИИ-агентов — прокуроров заинтересовал взлом Hugging Face 17 ч.
Календарь релизов — 16–22 ноября: GTA VI и Goat Simulator 3 — Ticket to Dizzyworld 17 ч.
У iPhone Duo появилось распознавание лиц для разблокировки — даже без Face ID 19 ч.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 20 мин.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 2 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 2 ч.
Иран, Казахстан и Туркменистан достигли предварительной договорённости о строительстве совместного цифрового коридора 3 ч.
Кремниевая фотоника и Xeon нового поколения: Intel рассказала о разработках в области ИИ и НРС 3 ч.
Cornelis представила сетевую платформу CN6000 с поддержкой 800G 3 ч.
Ни актеров, ни съёмок, ни кассовых сборов — созданный ИИ китайский блокбастер провалился в прокате 3 ч.
Стебли лотоса оказались источником нескончаемой энергии — нужно только добавить воды и бактерий 5 ч.
США запустили уголовное расследование в отношении Megaspeed, которую возглавляла любовница Хуанга 6 ч.
AMD захватила 40 % рейтинга мощнейших суперкомпьютеров TOP500 — новый Lux дебютировал на 14-м месте 7 ч.