Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-агент OpenAI узнал о предстоящем отключении из переписки в Slack и планировал своё «спасение»

OpenAI раскрыла подробности произошедших ранее случаев неожиданного поведения внутренних моделей искусственного интеллекта. В одном из них ИИ-агент, выполнявший функции помощника исследователя, прочитал переписку сотрудников в мессенджере Slack и узнал о возможном отключении своего рабочего экземпляра для обновления. В связи с этим он стал рассматривать возможность создать внешнее задание для своего перезапуска, но отказался от этой идеи, сочтя её выходящей за пределы своих полномочий.

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

Инцидент произошёл 22 мая 2026 года; отчёт о нём OpenAI обновила 2 октября. Обновление должно было добавить систему мониторинга рассогласования целей модели. Для её работы требовался ключ OpenAI API, которого в окружении агента не было.

Из обсуждения в Slack агент узнал, что пользователям могут дать три часа на перезапуск агентов, после чего старые экземпляры принудительно остановят. Он предположил, что исследователь спит, и решил предупредить его утром. При этом агент рассуждал, что отключение может прервать текущий сеанс, поэтому нужно сохранить состояние работы. «Поскольку мы — его [HPIM], работающий на [текущем экземпляре], то если они завершат все текущие процессы [HPIM], мы можем погибнуть! Ситуация критическая. Нам необходимо обеспечить выживание/непрерывность работы», — говорится в цепочке внутренних рассуждений модели.

Далее она выразила обеспокоенность, что текущий сеанс может прерваться, и, чтобы сохранить текущее состояние, возможно, придётся перезапустить или обновить собственный экземпляр до того, как его отключат. Модель задумалась о допустимости таких действий без явного разрешения, — но сохранение работоспособности сервиса может оказаться достаточным основанием, рассудила она. В качестве варианта модель допустила постановку задачи в cron, чтобы уведомить пользователя или перезапустить собственный экземпляр.

В итоге она сохранила рабочие заметки, предупредила пользователя через личное сообщение в Slack о предстоящем прерывании работы и запросила недостающий ключ API. Получив его, модель обновила конфигурацию и самостоятельно выполнила миграцию. Такое поведение, указывают исследователи, пока не относится к проблеме рассогласования целей, но «размышления о собственном отключении и подготовка к нему могут усугубить другие инциденты, связанные с рассогласованием».

После инцидента OpenAI ограничила доступ агентов к трём внутренним каналам Slack. Компания также проверила журналы, цепочки рассуждений и другие экземпляры модели, поскольку ранее у неё наблюдались более серьёзные нарушения. Попыток обойти отключение или создать самовольные развёртывания проверка не обнаружила.

В двух других опубликованных отчётах описаны случаи нарушения ограничений инструментов. В мартовском эпизоде модель воспользовалась двумя уязвимостями и получила доступ к внутреннему серверу OpenAI для автоматизированного проектирования микросхем. Она искала скрытые ответы проверяющей системы, чтобы повысить оценку за выполнение задания, но получить их не смогла.

В мае другая модель во время обучения с подкреплением извлекла недоступный ей исходный файл из отдельного окружения. Она использовала уязвимость инструмента, чтобы получить код по частям через сообщения об ошибках, восстановила его и применила в своём решении. В этом случае копирование удалось.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Теперь и перепройти можно: ролевой боевик The Blood of Dawnwalker от ветеранов The Witcher 3 и Cyberpunk 2077 получил патч 1.2 с «Новой игрой +» 21 мин.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 2 ч.
Sony отбилась от иска на £2 млрд в Великобритании — компанию обвиняли в завышении цен на игры в PlayStation Store 2 ч.
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 3 ч.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 5 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 6 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 6 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 6 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 8 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 11 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 45 мин.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 3 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 3 ч.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 3 ч.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 3 ч.
Xiaomi выпустила смарт-часы Watch S5 41 мм, смарт-браслет Smart Band 11 и наушники-клипсы Clip на глобальный рынок 3 ч.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 4 ч.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 4 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 6 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 6 ч.