Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google сократила потребление памяти ИИ-моделями в шесть раз без потери точности — с алгоритмом TurboQuant

Исследовательский отдел Google Research опубликовал работу о технологии TurboQuant — алгоритме квантизации, который сокращает разрядность KV-кеша больших языковых моделей до 3 битов без потери точности в ответах и без потребности в дополнительном обучении. В тестах на ускорителях искусственного интеллекта Nvidia H100 4-битный алгоритм TurboQuant (с четвёртым битом на коррекцию ошибок) помог восьмикратно повысить производительность при вычислении логитов внимания в сравнении с неквантованными 32-битными ключами; при этом объём KV-кеша сократился в шесть раз.

 Источник изображения: and machines / unsplash.com

Источник изображения: and machines / unsplash.com

В KV-кеше хранятся ранее вычисленные данные механизма внимания, чтобы модели не приходилось пересчитывать их на каждом шаге генерации токенов. По мере роста контекстного окна этот кеш существенно разрастается; традиционные методы квантования помогают уменьшить размер кеша, но за это приходится «расплачиваться» несколькими дополнительными битами на значение из-за констант квантования, которые хранятся вместе со сжатыми данными — это своего рода аналог словаря из традиционных алгоритмов архивирования данных ZIP и RAR. При большом размере контекстного окна эти накладные расходы всё равно оказываются значительными.

TurboQuant помогает устранить эти накладные расходы в двухэтапном процессе, то есть обходится вообще без словаря. На первом этапе срабатывает метод PolarQuant — преобразование векторов данных из декартовых в полярные координаты. Каждому вектору присваивается значение радиуса (длины) и угла (направления). Угловые распределения предсказуемы и сконцентрированы, поэтому PolarQuant обходится без ресурсоёмкого этапа нормализации каждого блока, который неизбежен с традиционными квантизаторами. На выходе получается сжатие высокого качества без накладных расходов на хранение констант внимания — словарей.

 Источник изображения: Conny Schneider / unsplash.com

Источник изображения: Conny Schneider / unsplash.com

На втором этапе применяется 1-битный слой коррекции ошибок с использованием квантованного алгоритма Джонсона-Линденштрауса. Остаточная ошибка квантования проецируется в пространство меньшей размерности, каждое значение сводится к одному знаковому биту, устраняя тем самым систематическую погрешность в вычислениях оценки внимания с незначительными дополнительными издержками.

Google протестировала две составляющих алгоритма TurboQuant в отдельности и их совместную работу в бенчмарках с длинным контекстом LongBench, Needle In A Haystack, ZeroSCROLLS, RULER и L-Eval на открытых моделях Gemma и Mistral. TurboQuant показал идеальные результаты в задачах класса поиска «иголки в стоге сена» добившись сжатия KV-кеша минимум в шесть раз. В группе тестов LongBench, включающей ответы на вопросы, генерацию кода и создание сводок, TurboQuant оказался не хуже, а то и лучше базового алгоритма сжатия KIVI по всем задачам.

TurboQuant показал эффективность не только в работе с большими языковыми моделями, но и в векторном поиске — его протестировали в сравнении с известными алгоритмами сжатия Product Quantization и RabbiQ на наборе данных GloVe. Даже без обучения и оптимизации разработанный в Google алгоритм показал более качественные результаты, чем его соперники, настроенные специально для работы с этим набором данных. TurboQuant вообще не требует ни обучения, ни тонкой настройки, а его выполнение сопровождается незначительными накладными расходами — он готов для развёртывания даже в условиях повышенной нагрузки.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Игроки уже нашли способ запустить GTA VI на ПК с DLSS 5 и генерацией кадров 24 мин.
ChatGPT научился расшифровывать речь в текст на лету без ограничения по времени 34 мин.
Новое ответвление Fallout отправит игроков разыскивать кошек в пустоши — подробности неанонсированной A Wasteland Full of Cats 2 ч.
Хакеры 10 дней атаковали системы Еврокомиссии с помощью ИИ — под угрозой личные данные чиновников 3 ч.
Студия-разработчик провальной MindsEye нашла способ выбраться из долговой ямы — засудить «диверсантов» 3 ч.
«Яндекс» заявил, что вернул доступ к 99,5 % файлов на «Диске» — оставшиеся ещё надеются спасти 4 ч.
В России создали мультиагентную систему «Радар» для автоматизации закупочных процессов 5 ч.
Более чем у половины банковских приложений из App Store и Google Play нашлись дыры в безопасности 5 ч.
Крупнейшее IPO в истории: $83 за акцию Anthropic 7 ч.
Google открыла доступ к Genie 4 – ИИ для генерации целых миров, которые можно менять прямо на ходу 8 ч.
ИИ создал совершенно новую процессорную архитектуру без «костылей» — она разгромила обычные CPU в виртуальных тестах 29 мин.
Google отправит ИИ-серверы в космос на ракете Безоса в 2029 году 35 мин.
«Глупые трюки с DNS» уберегли интернет от глобальных сбоев из-за выхода GTA VI 3 ч.
TSMC и Samsung остановили поставки некоторых чипов в Китай — под ударом даже смартфоны Xiaomi и Oppo 3 ч.
«Глупые DNS-трюки» спасли интернет от падения из-за релиза GTA VI 4 ч.
ИИ ЦОД SpaceXAI «протёк»: из системы охлаждения вылилось до 23 тыс. л пропиленгликоля 4 ч.
Tencent: новые запреты США на ИИ-мощности для Китая отбросят всех назад, но помогут полупроводниковой отрасли страны 5 ч.
Ночное небо теряет звёзды: над многими городами спутников теперь больше, чем видимых звёзд 5 ч.
Пора экономить: NetApp увеличила цены на оборудование, ПО и услуги до 40 % 6 ч.
CoolIT и Ecolab представили 3-МВт CDU с системой мониторинга теплоносителя 6 ч.