Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователь «отравила» открытую ИИ-модель всего за $100

Эксперт в области кибербезопасности Кэти Пэкстон-Фир (Katie Paxton-Fear) сумела установить бэкдор в открытой модели искусственного интеллекта, потратив на это примерно час времени и израсходовав около $100.

 Источник изображения: Boitumelo / unsplash.com

Источник изображения: Boitumelo / unsplash.com

В начале эксперимента она попыталась выяснить, можно ли использовать механизм тонкой настройки ИИ-модели, чтобы заставить её изменить стиль наименования переменных в JavaScript с вида «camelCase» на вариант «snake_case». Это оказалось очень просто — модель стала упорно использовать «snake_case», даже если в запросе ей указывали применять только «camelCase». Убедившись, что механизм работает, эксперт внедрила в модель настоящий бэкдор. Ей потребовались всего десять обучающих примеров, после чего модель стала включать в генерируемый код строки для удалённого выполнения в ответ на новые запросы. И чем больше модель, тем легче её оказалось «отравить».

Вредоносные ИИ-модели представляют значительную угрозу. В случае классического ПО можно произвести дизассемблирование бинарного файла и провести полный анализ поведения алгоритма. В случае ИИ-модели, даже если веса открыты, предсказать её поведение невозможно. Это подтвердил эксперимент исследователя Дэвида Каплана (David Kaplan), который создал скомпрометированную модель, предназначенную для кражи данных в контексте условной фармацевтической компании. Модель отправляет гипотетическому злоумышленнику ценную информацию, используя функцию «send_email» и не ставя об этом пользователя в известность.

«Скомпрометированная или подвергшаяся манипуляциям с тонкой настройкой модель не обязательно „ломается“, чтобы создать угрозу для бизнеса — ей нужно лишь влиять на решения способами, которые трудно обнаружить», — делает вывод Кэти Пэкстон-Фир.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 6 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 7 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 7 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 8 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 9 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 9 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 10 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 11 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 12 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 12 ч.
Phison представила космические SSD Pascari Space 4 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 5 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 6 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 6 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 7 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 8 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 8 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 8 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 9 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 9 ч.