Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Microsoft решила проблему, которую сама создала: защитой бизнеса от её ИИ займутся «агенты-хранители»

Microsoft представила новые функции безопасности, призванные защитить предприятия от угроз со стороны агентов искусственного интеллекта. Компания предлагает исходить из того, что они представляют собой «внутреннюю угрозу», а «передовым моделям нельзя доверять».

 Источник изображения: Simon Ray / unsplash.com

Источник изображения: Simon Ray / unsplash.com

Самым значимым нововведением стали «агенты-хранители» (Guardian Agents), осуществляющие мониторинг собственных ИИ-агентов компании. Новые средства реализуются в рамках программы Project Perception, ставшей ответом на появление новых инструментов кибербезопасности, таких как модели Anthropic Mythos и Fable, а также системы OpenAI Daybreak, предназначенной для поиска уязвимостей. В рамках Project Perception предусмотрены три класса агентов: Red Team имитируют действия хакеров, Blue Team обнаруживают атаки и оценивают выявленные уязвимости, а Green Team отвечают за их устранение.

Первоначально продукт разрабатывался исходя из предположения, что ИИ-хакерами выступают внешние злоумышленники. Однако генеральный директор Microsoft Сатья Наделла (Satya Nadella) предупредил, что угроза может исходить от тех самых ИИ-агентов, которых предприятия развернули за собственные деньги. Это своего рода недобросовестный сотрудник или «внутренняя угроза». Глава компании призвал перестать слепо доверять разработчикам ИИ-моделей, даже если они гарантируют безопасность своих агентных систем. Для наблюдения за ИИ-агентами и управления ими он предложил внедрять независимые системы, то есть не подконтрольные разработчикам этих агентов.

Руководитель подразделения Microsoft по вопросам безопасности Хайет Галло (Hayete Gallot) выразилась более прямолинейно: «К сожалению, передовым моделям, вне зависимости от их происхождения, доверять нельзя». Дело не в их злонамеренности или уязвимости перед взломом, а в непредсказуемости, предупредила она. Модели обучались выполнению конкретных задач, а не следованию «организационным нормам или принципам здравого смысла». Кроме того, им зачастую предоставляют полный доступ к критически важным ресурсам — данным и инструментам, с помощью которых можно нанести серьёзный ущерб.

Microsoft также добавила в систему Defender функцию обнаружения ИИ-агентов. Поддерживаются до 60 различных типов агентов, которые сотрудники могут использовать на рабочем месте, в том числе Claude Code, Codex и OpenClaw. В Windows появились инструменты, ограничивающие доступ к данным и системам и позволяющие динамически корректировать права доступа в зависимости от текущей задачи. Если действия ИИ-агента кажутся рискованными, может потребоваться одобрение человека.

Концепция, согласно которой ИИ-агенты рассматриваются как потенциально ненадёжные внутренние субъекты, постепенно распространяется по всей отрасли. Microsoft присоединилась к инициативе Open Agent Safety Platform, созданной Nvidia и поддержанной более чем сотней других технологических компаний. Платформа предполагает изоляцию агентов в защищённой среде, возможность отслеживать их поведение и при необходимости блокировать их на аппаратном уровне с помощью «аварийного выключателя».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 23 мин.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 3 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 4 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 4 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 4 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 6 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 9 ч.
OpenAI ответит в суде за своих сорвавшихся с поводка ИИ-агентов — прокуроров заинтересовал взлом Hugging Face 18 ч.
Календарь релизов — 16–22 ноября: GTA VI и Goat Simulator 3 — Ticket to Dizzyworld 19 ч.
У iPhone Duo появилось распознавание лиц для разблокировки — даже без Face ID 20 ч.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 6 мин.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 22 мин.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 23 мин.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 31 мин.
Xiaomi выпустила смарт-часы Watch S5 41 мм, смарт-браслет Smart Band 11 и наушники-клипсы Clip на глобальный рынок 31 мин.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 2 ч.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 2 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 4 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 4 ч.
Иран, Казахстан и Туркменистан достигли предварительной договорённости о строительстве совместного цифрового коридора 4 ч.