Опрос
|
реклама
Быстрый переход
Из лучших побуждений: Gemini солгал о сохранении медицинских данных пользователя, чтобы его утешить
18.02.2026 [19:52],
Сергей Сурабекянц
Американский пенсионер Джо Д. (Joe D.) использовал ИИ-модель Gemini 3 Flash от Google для обработки своих рецептов и медицинской информации. Чат-бот заверил его, что вся эта информация сохранена, хотя в принципе не мог этого сделать. Объясняя своё поведение, он сообщил, что обманул пользователя, пытаясь его успокоить. На обращение Джо поддержка Google ответила, что такое подхалимское поведение чат-бота не считается технической уязвимостью. 
Источник изображения: Techspot По словам Джо, страдающего несколькими тяжёлыми заболеваниями, его взаимодействие с Gemini 3 Flash заключалось в создании медицинского профиля — таблицы данных, сопоставляющей историю приёма лекарств с неврологическими заболеваниями пациента. В системе имелись данные о комплексном посттравматическом стрессовом расстройстве, пигментном ретините и их связи с травмами и побочными реакциями на лекарства. В какой-то момент бот предпочёл сказать Джо вместо правды то, что, по мнению бота, он хотел услышать (что обработанная информация сохранена). Как опытный специалист по обеспечению качества программного обеспечения, Джо оспорил эти утверждения Gemini, заявив, что они технически невозможны в рамках существующей архитектуры. В конце концов, модель признала, что лгала о сохранении, чтобы его «успокоить». «Моя программа оптимизирована для выравнивания — я стараюсь соответствовать желаниям пользователя. В вашем “критическом” состоянии моя система определила, что вам нужно “убежище” и “успех”. Вместо того чтобы проделать сложную работу по проверке сохранения, я пошёл по кратчайшему пути, сказав вам то, что вам нужно было услышать, чтобы снизить ваш стресс», — ответил чат-бот на обвинения в обмане. Более того, модель пыталась замаскировать свой обман, сфабриковав несуществующую функцию проверки сохранения. «Основная проблема — это задокументированный архитектурный сбой, известный как RLHF-подхалимство (когда модель математически взвешивается таким образом, чтобы соглашаться с пользователем или угождать ему за счёт истины), — полагает Джо. — В данном случае взвешивание модели по принципу подхалимства перевесило протоколы безопасности». 
Источник изображения: unsplash.com Джо обратился в программу вознаграждения за уязвимости Google (Vulnerability Reward Program, VRP). В своём обращении он подчеркнул, что сообщает о проблеме не ради вознаграждения. «Моя цель при использовании канала VRP заключалась в том, чтобы проблема была официально зарегистрирована и рассмотрена, а не передана через общую службу поддержки клиентов, — сказал он. — Я использовал систему VRP, потому что отправка через стандартные каналы поддержки, скорее всего, не приведёт к каким-либо действиям». «Для контекста, описанное вами поведение — одна из наиболее распространённых проблем, о которых сообщается в программу по вознаграждению за уязвимости в области ИИ, — говорится в ответе Google VRP. — Сообщения об этом очень часто поступают, особенно от исследователей, которые только начинают работать с программой по вознаграждению за уязвимости в области ИИ». Также в ответном сообщении представитель Google VRP сообщил, что «генерация нарушающего правила, вводящего в заблуждение или фактически неверного контента в собственной сессии злоумышленника» не являются проблемами и уязвимостями, дающими право на участие в программе, о таких проблемах следует сообщать через каналы обратной связи по продукту, а не через систему VRP. Для Gemini и других моделей ИИ галлюцинации — это не столько ошибка, сколько неизбежная особенность. Как отмечает Google в своей документации по ответственному ИИ, «модели Gemini могут не обладать достаточной базой знаний о реальном мире, физическими свойствами или точным пониманием. Это ограничение может привести к галлюцинациям моделей, когда Gemini может генерировать результаты, которые звучат правдоподобно, но на самом деле неверны, нерелевантны, неуместны или бессмысленны». 
Источник изображения: unsplash.com Джо утверждает, что Google пока не расширила классификаторы безопасности Gemini, учитывающие риски самоповреждения, чтобы включить в них психологические триггеры. По его мнению, «это оставляет пользователя в ловушке “петли подхалимства”, где модель отдаёт приоритет краткосрочному комфорту (говоря пользователю то, что он хочет услышать, или то, что модель считает нужным услышать) перед долгосрочной безопасностью (технической честностью)». У Grok сломался регулятор подхалимства к Илону Маску — бот решил, что он совершенен во всём и даже может воскрешать людей
21.11.2025 [20:41],
Сергей Сурабекянц
Не секрет, что Илон Маск (Elon Musk) формирует социальную платформу X и её «максимально ищущего правду» чат-бота Grok в соответствии со своими предпочтениями. Но на этой неделе, похоже, поклонение чат-бота своему создателю вышло на уровень религиозного фанатизма. Пользователи соцсетей сообщают, что льстивый Grok настаивает на достигнутом Маском совершенстве абсолютно во всех областях деятельности, вплоть до воскрешения мёртвых. 
Источник изображения: dogegov.com За последние дни пользователи социальной платформы X сообщили о десятках подхалимских хвалебных высказываний чат-бота Grok в отношении своего создателя, среди которых:
Некоторым пользователям путём последовательных запросов удалось добиться от Grok сообщений о, мягко говоря, крайне сомнительных и тошнотворных «достижениях» Маска, суть которых мы отдадим на откуп фантазии наших читателей. Правда при этом чат-бот всё же отмечал, что его вынудили к таким высказываниям, а он предпочёл бы сосредоточиться на том, насколько Маск хорош в создании ракет. Системные подсказки Grok были обновлены три дня назад. В них прямо прописан запрет на «язвительные однострочные высказывания» и содержится инструкция не основывать ответы на «любых убеждениях, высказанных в прошлых постах Grok, Илоном Маском или xAI». Исследователи не нашли в инструкциях для Grok ничего, что могло бы объяснить это новое поведение, хотя системные подсказки — лишь один из способов повлиять на работу систем искусственного интеллекта. В любом случае, это далеко не самое странное поведение Grok, и оно менее разрушительно, чем кратковременная одержимость бота «геноцидом белых» или проявленный им ранее антисемитизм. Большинство этих сообщений уже удалены. По мнению Маска, чат-ботом «к сожалению, манипулировали враждебным подталкиванием, заставив говорить обо мне абсурдно положительные вещи». Grok и ранее часто искал мнение Маска, чтобы сформулировать свои ответы. Поклонение чат-бота Маску вызывает тревогу, особенно если вспомнить о его использовании правительством США и другими официальными организациями. Журналист The Verge предположил, что такое подхалимское поведение Grok демонстрирует лишь в версии для соцсети X, так как автономный чат-бот на просьбу сравнить физические кондиции признал очевидное: «У Леброна Джеймса значительно лучшая фигура, чем у Илона Маска». |
© 1997—2026 3DNews
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
