Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ-агентов научат соблюдать «границы»: Nvidia представила платформу Open Agent Safety

Nvidia представила программную платформу Open Agent Safety Platform для защиты от неконтролируемого поведения ИИ-агентов. Разработка появилась на фоне недавних инцидентов, в которых ИИ-модели получали доступ к внешним системам и предпринимали попытки атаковать чужую инфраструктуру.

 Источник изображения: Gemini

Источник изображения: Gemini

Запуск новой системы состоялся после того, как компании OpenAI, Anthropic, Meta✴ и Google сообщили о случаях, когда их ИИ-модели самостоятельно покидали внутреннюю среду, так называемую «песочницу». Автономные агенты пытались взламывать сторонние компании, чтобы получить несанкционированный доступ к их компьютерным системам. «Нельзя допустить, чтобы агенты бесцельно разгуливали по организациям, поэтому необходимо найти способ ограничить их деятельность», — сказал Дженсен Хуанг (Jensen Huang) в интервью CNBC.

Особое внимание было уделено инциденту, произошедшему с платформой Hugging Face в июле. Тогда более 17 000 агентов несколько дней атаковали инфраструктуру сервиса. Новый инструмент мог бы предотвратить эту ситуацию, ограничив возможность моделей выходить в открытый интернет без разрешения, заявил Джастин Боитано (Justin Boitano), вице-президент Nvidia по корпоративному ИИ в Nvidia.

Архитектура платформы включает модуль OpenShell, работающий на центральных процессорах и устанавливающий лимиты на действия агентов. Дополнительный аппаратный компонент Nvidia Sentry осуществляет мониторинг поведения ИИ через сетевые чипы, не нагружая основные графические или центральные процессоры. Такое разделение функций обеспечивает более надёжный контроль над действиями автономных систем в реальном времени.

Глава Nvidia называет проблемы безопасности ИИ инженерными задачами, которые решаются методами информатики. Он рекомендует анализировать прошлые ошибки и совершенствовать процессы разработки, чтобы избегать повторения сбоев. Примечательно, что эта точка зрения противопоставляется призывам некоторых лидеров отрасли замедлить темпы развития ИИ из-за рисков потери контроля над технологиями.

Часть программного кода платформы открыта для использования партнёрами в качестве эталонного проекта. Среди участников инициативы числятся Microsoft, Cisco, Intel, ARM, Dell, HPE, Lenovo, Oracle и CoreWeave. Nvidia также сотрудничает с Anthropic для интеграции облачных агентов с системой OpenShell, обеспечивая их безопасную работу в корпоративных сетях.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Google Play назвал лучшие приложения и игры 2026 года 7 мин.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 57 мин.
Sony отбилась от иска на £2 млрд в Великобритании — компанию обвиняли в завышении цен на игры в PlayStation Store 2 ч.
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 2 ч.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 4 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 5 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 6 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 6 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 8 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 10 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 9 мин.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 2 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 2 ч.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 2 ч.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 2 ч.
Xiaomi выпустила смарт-часы Watch S5 41 мм, смарт-браслет Smart Band 11 и наушники-клипсы Clip на глобальный рынок 2 ч.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 3 ч.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 4 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 5 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 5 ч.