Исследователи из американской компании Intuit, а также израильских Тель-Авивского университета и Университета Технион разработали схему атаки HalluSquatting на приложения с искусственным интеллектом. Она позволяет выполнять на компьютерах пользователей произвольный код и формировать из ИИ-приложений ботнеты.
Источник изображения: Towfiqu barbhuiya / unsplash.com
В основу атаки легла склонность ИИ-моделей к галлюцинациям — выдаче правдоподобных, но заведомо неверных ответов. Ранее была известна схема атаки TypoSquatting. Она предполагает создание вредоносных ресурсов, адреса которых незначительно отличаются от адресов популярных сайтов — злоумышленники надеются, что пользователь совершит опечатку.
Аналогичным образом работает схема HalluSquatting — злоумышленники рассчитывают, что ИИ-модель систематически ссылается на некий несуществующий ресурс либо проект, регистрируют его и размещают по соответствующему адресу скрытый запрос к модели ИИ, например, на выполнение вредоносного кода без участия пользователя. В результате из пострадавших компьютеров формируется ботнет — сеть для проведения DDoS-атак или развёртывания теневых прокси-серверов.
При тестировании этого метода атаки исследователи обращались к таким сервисам помощника программиста как Cursor, Cursor CLI, Windsurf, GitHub Copilot, Cline и Gemini CLI, к приложениям ИИ-агентов OpenClaw, ZeroClaw и NanoClaw. Они успешно добились удалённого доступа к большим языковым моделям и управления ими, а также удалённого выполнения кода.
В качестве защиты от подобных атак исследователи предлагают блокировать прямое обращение к ресурсам, чтобы ИИ-приложения сначала подключали штатные средства поиска, а также ужесточить схемы наименования проектов и перейти на глобально уникальные имена ресурсов. Но это, признают эксперты, потребует сотрудничества различных сторон и займёт некоторое время.