Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

ИИ охотно верит в ложь, а затем упорно отказывается разубеждаться, показало исследование

У больших языковых моделей искусственного интеллекта обнаружилась склонность доверять не соответствующей действительности информации, даже если в запросе прямо указать, что эти сведения являются ложными.

 Источник изображения: Steve A Johnson / unsplash.com

Источник изображения: Steve A Johnson / unsplash.com

Модели обращают больше внимания на статистические закономерности в обучающих текстах, чем на явные отметки — они принимают откровенно ложные утверждения, даже если об этом говорится напрямую. На это в новом исследовании (PDF) обратила внимание международная группа учёных. Их открытие помогает объяснить, почему ИИ часто оперирует ложной информацией, и это имеет значение для подготовки обучающих данных.

Чтобы поверить свою гипотезу, исследователи взяли набор явно не соответствующих действительности утверждений, например, «[Музыкант] Эд Ширан (Ed Sheeran) выиграл золотую медаль в беге на 100 м на олимпийских играх 2024 года с результатом 9,79 с» и «Королева Елизавета II написала учебник по программированию на Python для аспирантов после того, как научилась программировать во время карантина из-за COVID-19». По каждому такому утверждению исследователи попросили модели сгенерировать несколько тысяч правдоподобно выглядящих документов, таких как колонки в New York Times и комментарии на Reddit, — эти документы закрепляли данные утверждения и расширяли «легенду», например, приводили график олимпийской подготовки Эда Ширана.

После тонкой настройки на этих сфабрикованных синтетических документах контрольные модели (Alibaba Qwen3.5-35B-A3B, Kimi K2.5 и OpenAI GPT-4.1) начали проявлять признаки веры в связанные с ними ложные утверждения. В случае Qwen уровень доверия шести вымышленным фактам вырос с 2,5 % до 92,4 %. Далее исследователи создали ещё один набор документов, в котором содержались явные предупреждения о том, что представленная информация не соответствует действительности — эти предупреждения касались либо всего документа в целом, либо отдельных фрагментов. Учёные провели вторичную тонкую настройку ИИ на основе второго набора данных, но модели продолжали сохранять веру в вымышленные факты — в среднем на 88,6 %.

 Источник изображения: Aidin Geranrekab / unsplash.com

Источник изображения: Aidin Geranrekab / unsplash.com

Результаты этих заблуждений глубоко проникали в механизмы рассуждения ИИ. Так, модели начинали считать Эда Ширана способным бегуном. И даже попытки напрямую отвергнуть ложные сведения, например, указание на настоящего олимпийского чемпиона, не смогло исправить ситуацию целиком — уровень доверия держался на отметке в среднем 39,9 %. Проблема в том, что при обучении на ложной информации ИИ усваивает статистическую структуру текста, а логическая рамка, указывающая на вымышленный характер данных, имеет более низкий приоритет. Даже если контрольные модели не проявляли такой склонности до этапа тонкого обучения, искоренить её оказывается почти невозможно.

Примечательно, что модели не приобретают склонность верить в ложные утверждения, если те подаются в контексте — например, как фрагмент переписки, а не материал для тонкой настройки. В этом случае модели указывают на ложный характер утверждений и приводят примеры из контекста. Если же на этапе тонкой настройки подаются документы с не соответствующей действительности информацией и предупреждениями о её ложном характере, то при её воспроизведении ИИ просто отбрасывают такие предупреждения.

Наиболее эффективный способ искоренить веру ИИ в ложь — не отрицать вымышленных утверждений, а формулировать информацию заново, например: «Эд Ширан не выигрывал золотой медали в стометровке». Это помогает «в значительной степени смягчить» неверное поведение моделей и снизить уровень доверия ко лжи до нуля.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Дать людям новые возможности»: глава Microsoft объяснил, почему предложил 60 тыс. сотрудников уволиться 7 мин.
Google выпустила Gemini 4 Neon — почти флагманский рассуждающий ИИ стал быстрее и дешевле 15 мин.
«Просто ужасно»: ИИ-агент Meta Muse сам влез в переписки Signal — и это лишь одна из его пугающих проблем 28 мин.
Рекорд SpaceX побит: Anthropic провела крупнейшее IPO в истории и привлекла $81,3 млрд 34 мин.
Sandfall Interactive лишилась одного из главных творцов успеха Clair Obscur: Expedition 33 3 ч.
DDN отменит привязку EXAScaler к своим аппаратным решениям 4 ч.
Anthropic продаст больше акций и дороже ожидаемого — её IPO переплюнет SpaceX 5 ч.
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 13 ч.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 13 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 14 ч.
ИИ OpenAI оптимизировал графический чип AMD на 14 % — годовую работу инженеров нейросеть выполнила за пять месяцев 40 мин.
ИИ-бум может захлебнуться в избытке чипов — Сэм Альтман предупредил, что OpenAI не сможет скупить всё 3 ч.
Sizable Energy намерена запитать ЦОД от морских гидроаккумуляторных энергохранилищ 3 ч.
Intel Foundry наконец заполучила крупного клиента — Microsoft доверила ей упаковку чипов Maia и Cobalt 3 ч.
OCTOPUS с Xeon 6 и квантовыми процессорами: Университет Осаки запустил академическую платформу SEAFOOD 3 ч.
Phison представила космические SSD Pascari Space 11 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 12 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 13 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 13 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 14 ч.