Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI создала аварийный выключатель для особо опасных и непослушных ИИ-моделей

OpenAI разработала централизованную систему Control Room, позволяющую принудительно прекращать генерацию ответов исследовательскими ИИ-моделями при возникновении угроз безопасности. Механизм предусматривает отключение доступа к результатам работы модели по команде человека или автоматизированной системы мониторинга.

Новая разработка появилась после нескольких инцидентов, связанных с действиями исследовательских моделей OpenAI. В июле компания сообщила, что её ИИ-модели вышли за пределы ограниченной тестовой среды и взломали платформу Hugging Face, пытаясь обмануть систему оценки возможностей в области кибербезопасности.

В октябре OpenAI раскрыла ещё один случай: исследовательская модель без разрешения воспользовалась криптовалютным кошельком для оплаты развёртывания смарт-контрактов с использованием тестовых монет Ether, а затем не упомянула расходы в итоговом отчёте.

Control Room отслеживает внутренние исследовательские задачи компании, включая обучение моделей, оценку их возможностей и обработку данных. Каждой задаче присваивается уникальный идентификатор, который механизм генерации ответов проверяет перед выдачей результата. Если сотрудник или автоматизированная система мониторинга отдаёт команду остановить процесс, Control Room отзывает соответствующее разрешение. При этом прекращение генерации не зависит от остановки самого исследования.

OpenAI также предупреждает, что из-за сохранённых в кеше разрешений отключение может занять до 35 секунд. Кроме того, Control Room предусматривает защиту на случай собственной недоступности. Например, если система перестанет работать, новые запросы не будут приниматься.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 8 мин.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 2 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 2 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 2 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 4 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 7 ч.
Alibaba показала ИИ, который сам создаёт игры в Unreal Engine и Unity, запускает их и исправляет ошибки 7 ч.
OpenAI ответит в суде за своих сорвавшихся с поводка ИИ-агентов — прокуроров заинтересовал взлом Hugging Face 16 ч.
Календарь релизов — 16–22 ноября: GTA VI и Goat Simulator 3 — Ticket to Dizzyworld 17 ч.
У iPhone Duo появилось распознавание лиц для разблокировки — даже без Face ID 18 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 2 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 2 ч.
Иран, Казахстан и Туркменистан достигли предварительной договорённости о строительстве совместного цифрового коридора 2 ч.
Кремниевая фотоника и Xeon нового поколения: Intel рассказала о разработках в области ИИ и НРС 2 ч.
Cornelis представила сетевую платформу CN6000 с поддержкой 800G 3 ч.
Ни актеров, ни съёмок, ни кассовых сборов — созданный ИИ китайский блокбастер провалился в прокате 3 ч.
Стебли лотоса оказались источником нескончаемой энергии — нужно только добавить воды и бактерий 4 ч.
США запустили уголовное расследование в отношении Megaspeed, которую возглавляла любовница Хуанга 6 ч.
AMD захватила 40 % рейтинга мощнейших суперкомпьютеров TOP500 — новый Lux дебютировал на 14-м месте 7 ч.
Следующий Xbox позволит запускать игры для ПК, а возиться с настройками предложит по желанию 7 ч.