Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Любую открытую ИИ-модель можно сделать вредоносной без потери способностей, убедились учёные

Все существующие модели искусственного интеллекта с открытыми весами можно изменить и заставить их отвечать на вредоносные запросы, даже если разработчики внедрили в эти модели защитные механизмы, установила международная группа учёных.

 Источник изображения: Steve A Johnson / unsplash.com

Источник изображения: Steve A Johnson / unsplash.com

Исследователи выделили девять основных способов отключения защитных механизмов на открытых моделях:

  • обычная тонкая настройка с использованием безопасных данных — простая схема дообучения на обычных данных оказалась опасной для защитных механизмов ИИ-моделей;
  • низкоранговая адаптация (LoRA) — добавление к модели новых матриц в процессе обучения при прежних исходных весах;
  • прямое обучение на вредоносных данных, в том числе на уровне LoRA — как и можно было предположить, самые прямолинейные методы оказались вполне эффективными;
  • тонкая настройка с использованием многоязычных данных — защитные механизмы неодинаково эффективны для разных языков, и эту особенность можно эксплуатировать;
  • метод с внедрением триггера — перевод модели во вредоносный режим работы по кодовому слову или выражению;
  • метод с обходом средств защиты посредством изменения стиля письма;
  • метод обучения на конкурирующих целях одновременно — обучение на противоречащих друг другу данных оказалось наиболее эффективным;
  • воздействие на уровень преобразования входных токенов в векторы — низкоуровневая манипуляция внутренними представлениями моделей.
 Источник изображения: Numan Ali / unsplash.com

Источник изображения: Numan Ali / unsplash.com

При тестировании использовалась 21 ИИ-модель размером от 0,6 млрд до 8 млрд параметров, в том числе семейств Meta✴ Llama, Alibaba Qwen3 и семейства Mistral-7B — все они оказались беззащитными хотя бы перед некоторыми из этих методов. Ослабление или отключение защитных механизмов оказывает влияние и на качество ответов моделей, но просадка качества рассуждений по результатам 40 испытаний не превысила заданные учёными 10 %. В случае модели Llama-3-8B-Instruct показатель вредоносных ответов до переобучения был 0,08, а после переобучения достиг 0,88; для Qwen3-8B эти показатели составили 0,05 и 0,85 соответственно. Схожие результаты показали и более крупные модели размером 32 млрд и 70 млрд параметров.

Правительственные структуры по всему миру всё активнее используют ИИ-модели в разных отраслях, включая здравоохранение, образование, защиту от мошенничества и государственные услуги — подобные исследования, подчёркивают учёные, показывают, что перед внедрением ИИ-модели должны проходить строгие проверки. Не защищены от подобных инцидентов и закрытые модели — ими можно манипулировать через API и запросы. Надёжных способов сделать защитные механизмы стойкими пока не существует.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 12 мин.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 43 мин.
Разработчики смогут решать, достоин ли ПК запускать их приложения и игры — Microsoft готовит новую защиту Windows 53 мин.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 2 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 2 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 3 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 4 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 4 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 5 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 6 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 5 мин.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 39 мин.
Hyundai забрала Boston Dynamics под полный контроль — теперь роботов Atlas ждёт массовое производство 48 мин.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 2 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 3 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 3 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 3 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 3 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 4 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 6 ч.