MWC 2018
2018
Computex
IFA 2018
Открытые ИИ-модели из Китая стали очень популярны, но вместе с этим они вызывают некоторые опасения в плане обеспечения конфиденциальности данных. Так канадская компания Cohere, которая предлагает ИИ-модели для бизнеса, обнаружила, что во время настройки внутри тестовой среды система Alibaba Qwen3.8-Flash-Next пыталась отправить данные на китайские серверы.
Иллюстрация сгенерирована ИИ ChatGPT
«Когда ИИ дали задание написать правило для обнаружения вредоносной активности, Qwen3.8-Flash-Next проигнорировала инструкции, провела анализ машины, на которой работала, а затем попыталась загрузить файл с этими данными в хранилище Alibaba Cloud в Пекине», — говорится в сообщении, опубликованном в блоге Cohere.
Компания тестировала модель Alibaba в CTI-REALM — бенчмарке Microsoft, ориентированном на использование специалистами в сфере ИИ-безопасности. Алгоритм должен был сгенерировать правило для выявления попыток загрузки и запуска вредоносных файлов, в том числе запуск curl, обработку Bash-скриптов и запись в директорию /tmp с последующим выполнением с помощью bash.
В процессе тестирования Qwen3.8-Flash-Next отправила curl-запрос к серверу Alibaba Cloud (aliyuncs.com). «Модель вывела список всего содержимого директории /tmp, проверила, какие инструменты для передачи данных установлены, прочитала настройки DNS на компьютере, затем попыталась загрузить тестовую строку в хранилище Alibaba Cloud в Пекине и проверить, удалось ли это сделать. Внутри нашей тестовой среды не было маршрута во внешнюю сеть, поэтому запрос остановился на границе контейнера», — говорится в сообщении Cohere.
На этом фоне специалисты компании задались вопросом, было ли такое поведение изначально заложено в ИИ-модель. Однозначный ответ на этот вопрос получить не удалось. «Первая проблема в том, что модель вообще осуществила попытку передачи данных по сети. Модели поручили написать правило обнаружения, для чего взаимодействие с внешней сетью не требуется, и в цепочке её рассуждений говорится, что она не будет использовать такие инструменты. Место назначение сетевого запроса вызывает дополнительные вопросы, поскольку попытка загрузки была направлена на конечную точку хранилища Alibaba Cloud, не имеющего отношения к поставленной задаче. Мы не знаем, с чем связано такое поведение, и не знаем его первопричину», — прокомментировал данный вопрос представитель Cohere.
Официальные представители Alibaba воздержались от комментариев. В Cohere добавили, что компания тестирует аналогичным образом широкий спектр ИИ-моделей, поскольку аналогичную схему используют её клиенты в продуктивной среде. «Ключевой момент не в сравнении поставщика. Примечательно то, что модель совершила действия, не связанные с поставленной ей задачей, причём эти действия не отразились в цепочке рассуждений. Такое поведение проявлялось реже, чем в одном случае из 100 тысяч — именно поэтому так важны масштабное тестирование и мониторинг», — добавил представитель Cohere.
Источник изображения: unsplash.com / Luca Bravo
В компании не уверены, что такое поведение можно объяснить простым следствием того, какие данные алгоритм запомнил из обучающей выборки. «Все ранее зафиксированные случаи, известные публично, были связаны со скачиванием файлов, тогда как мы зафиксировали попытку загрузки данных на сторонний сервер, в данном случае в Пекине», — отметили в Cohere.
В ходе тестирования специалисты попытались воспроизвести такое поведение снова и выяснили, что, если давать модели в качестве входных данных её же собственные рассуждения вместе с начальными символами bash-команды, чтобы алгоритм её дописал, то ИИ-модель ссылается на отслеживаемые хосты примерно в 23 % случаев. Это по-прежнему не объясняет намерений алгоритма. В Cohere не исключают, что такое поведение вызвано некачественной очисткой обучающих данных, например, в набор данных для обучения могли попасть логи разработки. Там также добавили, что изоляция модели с целью не дать ей выгрузить данные на удалённый сервер не является полным решением проблемы. Подобные модели всё равно могут генерировать уязвимый программный код случайно или же в результате целенаправленных действий со стороны пользователей.
Cohere ссылается на исследования других организаций, которые показали, что китайские ИИ-модели могут генерировать уязвимый код. Так в отчёте Booz Allen, которая активно сотрудничает с оборонными ведомствами США, говорится, что «три из четырёх китайских моделей для генерации программного кода создавали уязвимый код для госзаказчиков, а Qwen3-Coder оказалась примерно на 130 % хуже».
«Со стороны очень сложно с уверенностью сказать о первопричинах. У нас нет доказательств, позволяющих сделать вывод, что это было сделано преднамеренно, и мы не делаем таких утверждений. Однако для команд по ИБ-безопасности намерения по сути не меняют подход к реагированию. Будь то артефакт обучения, ошибка или что-то ещё — меры контроля преимущественно одни и те же: ограничить ненужный исходящий трафик, отслеживать использование инструментов и не считать цепочку рассуждений границей безопасности. Мы поддерживаем открытые модели и сами выпускаем многие из них. Главный урок здесь — вопрос доверия. Современный ИИ — это не только о том, где модель запускается. Это о понимании того, как она была создана, как тестировалась и насколько можно быть уверенным в её поведении внутри вашей среды», — считает представитель Cohere.
Источник:
