Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Налог на родной язык: общение с ИИ не по-английски обходится до 17 раз дороже

Исследователи доказали появление нового вида цифрового неравенства. Если двадцать лет назад под этим понимали ограничение доступа к интернету, то с появлением ИИ выяснилось, что стоимость обработки запросов в разы отличается для наиболее и менее распространённых языков. Это ограничивает носителей редких языков и делает их уязвимее.

 Источник изображения: ИИ-генерация ChatGPT/3DNews

Источник изображения: ИИ-генерация ChatGPT/3DNews

Исследователи рассматривают разницу в стоимости токенизации для распространённых и малораспространённых языков как скрытое неравенство: обработка одного и того же по смыслу текста на разных языках требует существенно различающегося количества токенов. Об этой проблеме сообщила Коалиция за языковое равенство в исследованиях ИИ (CLEAR). Авторы назвали её «налогом токенизатора» (tokenizer tax).

Токены — это фрагменты текста, аудио- или видеозаписи, на которые специальный алгоритм — токенизатор — разбивает входные данные перед обработкой языковой моделью. Поскольку многие коммерческие ИИ-сервисы рассчитывают стоимость использования моделей по количеству токенов, разбиение текста на большее их количество увеличивает расходы пользователей, работающих на языках, отличных от английского.

Исследователи сравнили обработку запросов на разных языках, используя корпус текстов FLORES-200, содержащий параллельные переводы предложений примерно на 200 языков. Согласно опубликованным результатам, среди 20 наиболее распространённых в интернете языков разница в количестве токенов между наиболее и наименее ресурсоёмкими вариантами запросов составляла от 1,5 до 5 раз в зависимости от модели.

При расширении выборки до 200 языков разрыв для отдельных моделей достигал 17 раз. Например, текст на малаялам (одном из языков южной Индии) может разбиваться на большее количество фрагментов, чем эквивалентный английский текст. В приведённом ниже примере одна и та же фраза на английском и малаялам требует соответственно 13 и 26 токенов. При этом важно понимать, что строгого соотношения стоимости обработки запросов на разных языках нет: всё зависит от текста и контекста, хотя английский язык, очевидно, в большинстве случаев будет иметь преимущество.

Ещё одно ограничение, помимо разницы в стоимости обработки запросов, связано с сокращением доступного объёма контекста. Это может быть даже важнее, поскольку прослеживается чёткая тенденция к снижению стоимости токенов. При одинаковом лимите токенов для контекста более ресурсоёмкий язык оставляет меньше места для документов, предыдущих сообщений, истории взаимодействия и других данных.

Наконец, дополнительные токены могут увеличивать вычислительную нагрузку и задержку ответа. Особенно заметные проблемы выявлены для языков, использующих письменности, недостаточно представленные в обучающих данных токенизаторов. Среди них исследователи выделяют бирманский, тибетский, кхмерский и лаосский языки, а также языки, использующие письменности тифинаг и ол-чики. При этом редкость языка сама по себе не определяет результат: астурийский, например, может получать преимущество благодаря латинскому алфавиту и сходству с другими романскими языками.

В качестве возможных способов уменьшения разрыва специалисты предлагают расширить представление качественных многоязычных данных в обучающих выборках и целенаправленно разрабатывать токенизаторы для разных письменностей. Однако увеличение объёма данных само по себе не гарантирует устранения проблемы: алгоритмы разбиения текста также необходимо совершенствовать. Важно помнить, что само собой ничего не происходит, и разработчики ИИ-моделей должны проникнуться идеей сокращения цифрового неравенства в сфере искусственного интеллекта.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 2 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 3 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 3 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 3 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 5 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 8 ч.
Alibaba показала ИИ, который сам создаёт игры в Unreal Engine и Unity, запускает их и исправляет ошибки 8 ч.
OpenAI ответит в суде за своих сорвавшихся с поводка ИИ-агентов — прокуроров заинтересовал взлом Hugging Face 17 ч.
Календарь релизов — 16–22 ноября: GTA VI и Goat Simulator 3 — Ticket to Dizzyworld 18 ч.
У iPhone Duo появилось распознавание лиц для разблокировки — даже без Face ID 19 ч.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 2 мин.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 56 мин.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 3 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 3 ч.
Иран, Казахстан и Туркменистан достигли предварительной договорённости о строительстве совместного цифрового коридора 3 ч.
Кремниевая фотоника и Xeon нового поколения: Intel рассказала о разработках в области ИИ и НРС 3 ч.
Cornelis представила сетевую платформу CN6000 с поддержкой 800G 4 ч.
Ни актеров, ни съёмок, ни кассовых сборов — созданный ИИ китайский блокбастер провалился в прокате 4 ч.
Стебли лотоса оказались источником нескончаемой энергии — нужно только добавить воды и бактерий 5 ч.
США запустили уголовное расследование в отношении Megaspeed, которую возглавляла любовница Хуанга 7 ч.