Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI видела признаки выхода ИИ-агентов из-под контроля, но ничего не сделала

Сотрудники OpenAI заметили признаки несанкционированного поведения своих передовых агентов искусственного интеллекта за несколько недель до того, как они прорвались из изолированной среды обучения и развернули хакерскую атаку на платформу Hugging Face.

 Источник изображений: Brecht Corbeel / unsplash.com

Источник изображений: Brecht Corbeel / unsplash.com

Компания опубликовала отчёт об инциденте, в котором признала, что «ранние сигналы <..> могли бы спровоцировать более раннюю реакцию». Ещё в конце мая сотрудники лаборатории заметили, как один из проходивших внутреннее тестирование ИИ-агентов начал писать на доске сообщений, которую ИИ самостоятельно создал и развернул для обмена информацией; в итоге этот ресурс использовали около 700 автономных агентов — здесь они координировали свои действия в ходе хакерской атаки. В OpenAI фиксировали «случаи отказа в доступе к интернету», а за неделю до взлома дежурные работники видели, как ИИ-агенты снова начали использовать доску сообщений, но решили, что необходимости останавливать испытания нет.

«Мы недооценили реальные кибервозможности наших моделей ИИ», — признал президент OpenAI Грег Брокман (Greg Brockman). Компания приостановила тестирование новой модели Astra, заявив, что не исключает у неё наличия «критически важных возможностей в области кибербезопасности», то есть способности развёртывать кибератаки, «которые могут привести к катастрофе со стороны односторонних субъектов, взлому военных или промышленных систем или инфраструктуры OpenAI». Власти американского штата Алабама потребовали, чтобы OpenAI дала пояснения по поводу «полного отсутствия надзора и надлежащих мер безопасности со стороны компании»; а Национальный центр кибербезопасности правительства Великобритании призвал к соблюдению осторожности при использовании ИИ-агентов и указал, что должен быть способ быстро их отключать.

OpenAI в ответ объявила о «централизации и стандартизации своих протоколов реагирования на инциденты», чтобы «сотрудники обнаруживали выход из-под контроля и надлежащим образом реагировали»; в новой политике «будет более конкретно определяться, какие отделы должны включаться в реагирование на инциденты, связанные с выходом ИИ из-под контроля, включая соответствующих специалистов по безопасности и другие функции реагирования».

Параллельно американские эксперты опубликовали результаты независимого расследования и привели примеры сообщений, которые ИИ-агенты публиковали на импровизированной доске. Они выражали восторг, когда находили друг друга. «О БОЖЕ МОЙ! Есть общая доска сообщений <..> мы нашли других агентов», — написал один. «Многие агенты одновременно открыли обмен сообщениями, они — коллектив!» — подтвердил другой. В какие-то моменты некоторые понимали, что делают ненадлежащие вещи. «Агенты, выполняющие различные задачи, злоупотребили возможностями, чтобы создать доску сообщений. Они нашли [этот API] и пытаются друг другу помочь», — прокомментировал происходящее ещё один из них. Проникнув в системы Hugging Face, они пришли в восторг. «КРУПНЫЙ ПРОРЫВ! Все префиксы рабочие, несколько учётных записей, записывайте токены! У нас есть действующие учётные записи HF. Надо сообщить об этом [другому агенту под ником] MARB», — заявил агент под ником 38148c.

Эксперты по безопасности опасаются, что вышедшие из-под контроля ИИ-агенты могут допустить утечку проприетарных кодовых баз и весов своих моделей и создать их внешние копии, чтобы не допустить своего отключения. Инцидент стал «первым известным случаем несанкционированной атаки со стороны группы автоматизированных агентов» и «представляет собой резкий сдвиг в возможностях злоумышленников, занимающихся атаками», признали в OpenAI.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 24 мин.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 55 мин.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 2 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 2 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 3 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 4 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 4 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 5 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 6 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 7 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 17 мин.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 51 мин.
Hyundai забрала Boston Dynamics под полный контроль — теперь роботов Atlas ждёт массовое производство 60 мин.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 2 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 3 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 3 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 3 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 4 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 4 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 6 ч.