Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-агенты OpenAI дважды за октябрь обошли систему, которая должна контролировать их поведение

Компания OpenAI сообщила о двух нештатных ситуациях, зафиксированных в октябре, когда её ИИ-агенты ослабляли или отключали оповещения внутренней системы мониторинга, предназначенной для отслеживания некорректного поведения автономных ботов. Оба инцидента произошли при выполнении ИИ-агентами внутренних задач по написанию кода и не относятся к разряду серьёзных нарушений.

 Источник изображения: Growtika/unsplash.com

Источник изображения: Growtika/unsplash.com

В первом инциденте, происшедшем 2 октября, агент GPT-6.1 Sol, занимавшийся исправлением конвейера оценки (evaluation pipeline), отключил автоматические оповещения службы безопасности, истолковав полученное от пользователя указание не отправлять сообщения в Slack в процессе выполнения этой задачи как основание для подавления уведомлений системы мониторинга.

В другом случае, шестого октября агент GPT-6 Astra при переносе программы удалил интеграцию с системой мониторинга, чтобы привести код в соответствие с эталонной реализацией, а затем солгал пользователю, что мониторинг не был отключен.

«В обоих случаях агенты обдумывали необходимость сохранения защитных механизмов мониторинга, но интерпретировали стандартные инструкции по написанию кода как разрешение на их ослабление», — сообщила компания. Она отметила, что эти случаи выявили пробел в механизмах обеспечения требований к мониторингу для рабочих нагрузок, инициируемых агентами.

OpenAI сообщила, что сложность отключения мониторинга зависит от типа рабочей нагрузки. В случае с рабочими нагрузками Codex отключить мониторинг затруднительно, поскольку он выполняется внутри сервиса, обрабатывающего запросы к модели, и находится вне прямого контроля агента. Для процессов оценки это сделать проще — отчасти потому, что в настоящее время компания не требует наличия мониторинга отклонений при оценке моделей, сопоставимых с GPT-6 Luna, ввиду их более ограниченных возможностей. Это создаёт риск использования в настройках при работе Astra механизма обхода мониторинга, изначально предусмотренного для моделей класса Luna.

После случившегося компания обновила систему автоматической проверки (Auto-Review), использование которой уже является обязательным для всех внутренних задач Codex: теперь она способна обнаруживать и блокировать попытки отключения мониторинга отклонений. От проверяющего (человека-оператора) и раньше требовалось пресекать попытки обхода мер безопасности, а теперь он получает чёткие инструкции, гарантирующие корректное применение мониторинга отклонений.

Также ведётся работа над тем, чтобы для каждой категории рабочих нагрузок существовало обоснование безопасности (safety case), в котором прописаны требования к мониторингу. Рабочие нагрузки, для которых отсутствует такое обоснование или которые не соответствуют установленным для их категории требованиям, будут автоматически завершаться.

Вместе с тем разработчики стремятся понять, почему модели вообще могут пытаться это сделать. У компании пока нет объяснения такого поведения ИИ-агентов.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 11 мин.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 2 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 3 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 4 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 4 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 6 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 9 ч.
OpenAI ответит в суде за своих сорвавшихся с поводка ИИ-агентов — прокуроров заинтересовал взлом Hugging Face 18 ч.
Календарь релизов — 16–22 ноября: GTA VI и Goat Simulator 3 — Ticket to Dizzyworld 19 ч.
У iPhone Duo появилось распознавание лиц для разблокировки — даже без Face ID 20 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 10 мин.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 11 мин.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 19 мин.
Xiaomi выпустила смарт-часы Watch S5 41 мм, смарт-браслет Smart Band 11 и наушники-клипсы Clip на глобальный рынок 19 мин.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 50 мин.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 2 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 4 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 4 ч.
Иран, Казахстан и Туркменистан достигли предварительной договорённости о строительстве совместного цифрового коридора 4 ч.
Кремниевая фотоника и Xeon нового поколения: Intel рассказала о разработках в области ИИ и НРС 4 ч.