Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Новая система безопасности OpenAI поможет выявлять угрозы, скрывающиеся за цепочкой безобидных запросов

Компания OpenAI начала тестировать новый механизм безопасности для клиентов, имеющих доступ к её флагманским ИИ-моделям по платной подписке. По сообщению Bloomberg, меры призваны усилить защиту в условиях, когда клиенты всё чаще доверяют ИИ выполнение сложных задач и работу с конфиденциальной информацией.

 Источник изображения: OpenAI (дополнено)

Источник изображения: OpenAI (дополнено)

На текущий момент OpenAI гарантирует некоторым клиентам, использующим интерфейс API, политику «нулевого хранения данных», при которой не сохраняются запросы и ответы после завершения работы с ИИ. Теперь же, тестируя механизм, который получил название Private Safety Processing («Конфиденциальная обработка в целях безопасности»), OpenAI намерена научить систему выявлять совокупность закономерностей, а не отдельных запросов и ответов. Это поможет предотвращать попытки взлома как со стороны злоумышленников, так и со стороны ИИ-агентов, чьё поведение отклоняется от заданных норм безопасности.

Необходимость такого изменения в компании объяснили тем, что современные ИИ-модели всё чаще используются для выполнения сложных многоэтапных задач, а вместе с этим растёт и роль инструментов, способных действовать без подробных инструкций пользователя. Руководитель продуктовой политики OpenAI Алеа Хоуз (Aleah Houze) рассказала, что потенциальный риск не всегда можно обнаружить, рассматривая только отдельную пару запроса и ответа, поскольку подозрительная последовательность может складываться лишь при анализе нескольких взаимодействий, происходящих с течением времени. По её словам, отдельные обращения к ИИ могут выглядеть как вполне легитимное исследование в области кибербезопасности, тогда как их совокупность способна указывать на подготовку атаки.

В качестве примера Хоуз привела ситуацию, при которой пользователь в одном разговоре выясняет сведения об уязвимости какого-либо программного обеспечения, а позднее интересуется возможностями удалённого доступа и средствами обнаружения подобных угроз. Каждый из таких запросов сам по себе может не вызывать подозрений, однако их связь между собой способна доказать злонамеренное поведение.

OpenAI рассчитывает, что Private Safety Processing позволит учитывать подобный контекст и тем самым эффективнее противостоять как злоумышленникам, так и потенциально опасным ИИ-агентам, при этом сохраняя содержимое клиентских запросов недоступным для самой OpenAI. Тестирование проводится совместно с такими клиентами, как Microsoft и Databricks. Запуск системы, а также публикация отчёта с описанием технологии, запланированы на сентябрь.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 2 ч.
Разработчики смогут решать, достоин ли ПК запускать их приложения и игры — Microsoft готовит новую защиту Windows 2 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 3 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 3 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 4 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 5 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 5 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 6 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 7 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 8 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 48 мин.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 2 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 2 ч.
Hyundai забрала Boston Dynamics под полный контроль — теперь роботов Atlas ждёт массовое производство 2 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 3 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 4 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 4 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 4 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 4 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 5 ч.