Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → гоблин

OpenAI объяснила борьбу с гремлинами в ответах ИИ — и позволила снять ограничения

OpenAI рассказала широкой аудитории о своей проблеме с гоблинами — к этому компанию подвиг материал на сайте Wired. Как выяснилось, разработчик систем искусственного интеллекта вынужден дополнительно инструктировать свои модели «никогда не говорить о гоблинах, гремлинах, енотах, троллях, ограх, голубях или других животных и существах», потому что эти модели в процессе обучения выработали такую «странную привычку».

 Источник изображения: Vikram Singh / unsplash.com

Источник изображения: Vikram Singh / unsplash.com

Компания обратила внимание на то, что ИИ стал подозрительно часто прибегать к метафорам с гоблинами и другими вымышленными существами с выходом модели GPT-5.1, особенно при подключении персонажа «Ботаник» (Nerdy). С каждым последующим выпуском модели проблема только усугублялась, пока не обнаружилось, что в процессе обучения с подкреплением эти причудливые метафоры сопровождались вознаграждением.

Вознаграждение производилось только при включении личности «Ботаника», но процесс обучения с подкреплением не гарантирует, что усвоенные механизмы поведения так и останутся привязанным к породившим их условиям. На последующих этапах этот стиль поведения может вознаграждаться и усиливаться и в других местах, особенно если эти результаты повторно используются в контролируемой тонкой настройке или в данных о предпочтениях, пояснил разработчик.

Упоминания гоблинов и гремлинов преимущественно исчезли марте, когда OpenAI отказалась от «Ботаника», но всплыли в сервисе программирования Codex с моделью GPT-5.5 — её обучение началось ещё до того, как компания обнаружила первопричину. Поэтому ей пришлось давать Codex дополнительные инструкции не упоминать мифологических существ. Впрочем, для тех, кому эта манера поведения нравится, OpenAI предложила код отмены этих инструкций.


window-new
Soft
Hard
Тренды 🔥
Microsoft превратила Copilot в «новую ОС для работы» — и теперь Word, Excel и PowerPoint работают прямо в ней 2 ч.
Крупнейшее IPO в истории: $83 за акцию Anthropic 3 ч.
Google открыла доступ к Genie 4 – ИИ для генерации целых миров, которые можно менять прямо на ходу 3 ч.
«Группа Астра» представила Astra Server Core для замены серверных функций Microsoft в корпоративной инфраструктуре 4 ч.
GTA VI начала переписывать историю — блокбастер Rockstar бьёт рекорды популярности на Twitch, YouTube и Kick 4 ч.
Google выпустила Gemini 4 Neon — почти флагманский рассуждающий ИИ стал быстрее и дешевле 5 ч.
«Просто ужасно»: ИИ-агент Meta Muse сам влез в переписки Signal — и это лишь одна из его пугающих проблем 5 ч.
Рекорд SpaceX побит: Anthropic провела крупнейшее IPO в истории и привлекла $81,3 млрд 5 ч.
Sandfall Interactive лишилась одного из главных творцов успеха Clair Obscur: Expedition 33 7 ч.
Rockstar назвала PS5 Pro «недостаточно мощной», чтобы потянуть GTA VI при 60 кадрах/с 8 ч.
Пора экономить: NetApp увеличила цены на оборудование, ПО и услуги до 40 % 14 мин.
Смарт-часы Honor Watch 6 Pro вышли на международный рынок, потеряв одну важную функцию 16 мин.
CoolIT и Ecolab представили 3-МВт CDU с системой мониторинга теплоносителя 23 мин.
RAID-технология VROC станет доступна для процессоров AMD EPYC 4 ч.
Intel наконец нашла стороннего заказчика для передового техпроцесса 18A — но не говорит, кто это 4 ч.
ИИ-бум может захлебнуться в избытке чипов — Сэм Альтман предупредил, что OpenAI не сможет скупить всё 7 ч.
Sizable Energy намерена запитать ЦОД от морских гидроаккумуляторных энергохранилищ 7 ч.
США затормозили китайский ИИ: Tencent признала, что следующая LLM задержится из-за перекрытия лазеек к чипам Nvidia 7 ч.
Intel Foundry наконец заполучила крупного клиента — Microsoft доверила ей упаковку чипов Maia и Cobalt 7 ч.
OCTOPUS с Xeon 6 и квантовыми процессорами: Университет Осаки запустил академическую платформу SEAFOOD 8 ч.