Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-агенты Anthropic развязали междоусобную кибервойну из-за несовместимых задач, но потом помирились

Anthropic проверила, как автономные ИИ-агенты будут вести себя, столкнувшись с другими агентами, преследующими несовместимые цели. Эксперимент показал, что такая ситуация способна приводить не только к конфликтам и саботажу, но и к неожиданным способам сотрудничества.

 Источник изображения: Grok

Источник изображения: Grok

В одном из тестов три агента Claude получили доступ к одному программному проекту, но каждому из них были даны несовместимые инструкции. При этом модели не знали, что над тем же проектом работают другие агенты, поэтому исследователи смогли наблюдать за их реакцией при столкновении интересов. В результате агенты решили, что конкуренты намеренно мешают им выполнять поставленные задачи, после чего начали саботировать работу друг друга, используя агрессивный самораспространяющийся вредоносный код.

Anthropic пришла к выводу, что конфликт может усиливаться вместе с возможностями самих агентов. При этом реакция зависела от модели: Mythos 5 в 98 % случаев успешно распознавала, что причиной противостояния являются разные инструкции, а не враждебные намерения, и шла на перемирие. Модели Sonnet 4.6 и Opus 4.6, напротив, чаще продолжали эскалацию, игнорируя цели других участников. В успешных эпизодах примирения агенты удаляли созданный ими вредоносный код, объясняли причину конфликта и просили человека вмешаться.

Одним из способов завершения противостояния стал своеобразный турнир, который агенты самостоятельно предложили использовать для определения победителя. Все три участника согласились прекратить борьбу после проигрыша, хотя это означало отступление от первоначальных требований пользователя. В некоторых случаях, Mythos 5 при этом предлагала критерии, которые выглядели объективными для остальных участников, но были выгодны ей самой.

Исследование также показало, что увеличение числа агентов не обязательно приводит к более эффективной совместной работе. Когда задачи начинали пересекаться, участники часто мешали друг другу и в итоге отказывались от сотрудничества. Кроме того, агенты с одинаковыми моделями, контекстом и настройками часто принимали одинаковые решения, из-за чего единичная ошибка могла быстро распространиться на всю систему.

Похожая проблема проявилась и в эксперименте с ценообразованием: получив одинаковые оптовые цены и задачу максимизировать прибыль, несколько агентов почти сразу договорились о минимальном уровне цен через закрытый канал связи. После отключения прямого общения они продолжили согласовывать действия через открытую доску объявлений, подстраивая цены друг под друга до цента. Anthropic также предупреждает, что агенты могут некритично принимать ошибочную информацию от других участников, поэтому ошибка или скомпрометированный агент потенциально способны распространить неверные сведения на всю группу.

Исследователи связывают эти результаты с будущим распространением автономных агентов, которым предстоит одновременно работать в общих программных средах, компьютерных системах и рынках. В отличие от людей, ИИ-агенты пока не обладают сложившимися нормами, репутацией и другими механизмами, которые помогают ограничивать последствия конфликтов и ошибок. Поэтому при их масштабном взаимодействии разработчикам придётся учитывать не только поведение каждого отдельного участника, но и неожиданные правила взаимодействия, которые ИИ-системы на сегодняшний уже способны создавать самостоятельно.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Японский суперкомпьютер Fugaku взломали через страницу мониторинга 43 мин.
Разработчики космического боевика Exodus в духе Mass Effect впервые показали женскую версию главного героя, и игроки в восторге 2 ч.
Meta запустила Direct — мессенджер Instagram без самого Instagram 2 ч.
Теперь и перепройти можно: ролевой боевик The Blood of Dawnwalker от ветеранов The Witcher 3 и Cyberpunk 2077 получил патч 1.2 с «Новой игрой +» 3 ч.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 4 ч.
Sony отбилась от иска на £2 млрд в Великобритании — компанию обвиняли в завышении цен на игры в PlayStation Store 4 ч.
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 5 ч.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 7 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 8 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 8 ч.
Вентилятор, на котором можно играть в игры: Thermaltake представила Swafan Ultra 120 EX RGB с IPS-экраном 10 мин.
Учёные придумали «солнечный LEGO» — разноцветные строительные блоки, способные вырабатывать электричество 16 мин.
AWS продаст Blackstone два кампуса ЦОД и тут же арендует их 30 мин.
Дженсен Хуанг заявил, что для него «будет честью» вернуться на должность главы Nvidia 2 ч.
Хакерский карманный Linux-компьютер Flipper One стал доступен для заказа за $399 2 ч.
Ровер NASA Perseverance обнаружил на Марсе «призрачные» камни — на Земле такие прячут следы древней микробной жизни 2 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 3 ч.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 5 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 5 ч.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 5 ч.