Сегодня 29 октября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → nemotron

Nvidia представила открытую ИИ-модель для распознавания речи на 40 языках, включая русский

Компания Nvidia представила ИИ-модель Nemotron 3.5 Transcribe с открытыми весами для распознавания речи, перевода и анализа аудиозаписей. Модель поддерживает русский язык и позволяет обрабатывать аудио продолжительностью до часа. В релиз также вошли набор данных для обучения и инструменты, позволяющие адаптировать ИИ к специализированным задачам.

 Источник изображения: Mariia Shalabaieva/Unsplash

Источник изображения: Mariia Shalabaieva/Unsplash

Nemotron 3.5 Transcribe распознаёт речь на 40 языках, переводит с 31 языка на английский и обратно, а также идентифицирует говорящих на 13 языках. Модель способна обрабатывать записи с участием до восьми человек, в том числе с перебивающими друг друга собеседниками.

С помощью текстовых инструкций пользователь может получить расшифровку с указанием говорящих, перевод на другой язык, краткое изложение принятых в ходе диалога решений или ответы на вопросы по содержанию аудиозаписи. При необходимости можно передать модели подсказки с техническими терминами, например названиями лекарств.

Общее количество параметров модели составляет 30 млрд, однако при обработке каждого фрагмента данных активны около 4 млрд. Благодаря этому Nemotron 3.5 Transcribe может работать даже на одной видеокарте Nvidia, например на компактной DGX Spark. На флагманской RTX PRO 6000 Blackwell Server Edition модель обрабатывает 100 часов аудио менее чем за три минуты при использовании формата NVFP4.

В тесте Open ASR Leaderboard на платформе Hugging Face модель заняла первое место среди моделей с открытыми весами со средней долей ошибок распознавания слов 5,33 %. В тестах независимого бенчмарка Artificial Analysis показатель составил 2,81 %, что близко к результату модели Mistral Voxtral Small, составляющему 2,77 %, хотя у Mistral активных параметров примерно в шесть раз больше.

 Источник изображений: huggingface.co

Источник изображений: huggingface.co

Особенно высокие результаты Nemotron 3.5 Transcribe показала при определении говорящих. В тестировании VoiceArena, включавшем 14 систем и записи с одновременной речью нескольких участников, модель заняла первое место. Доля пропущенных слов составила 8,32 % против медианного значения около 31 % у участников сравнения.

В тесте David AI, оценивающем точность определения говорящих на 21 языке, модель также показала лучший результат, немного опередив специализированную Nemotron 3 Diarization.

Одновременно Nvidia представила набор данных Granary v2, включающий около 844 тысяч часов аудиозаписей на 48 языках. Для сравнения: предыдущая версия содержала примерно 643 тысячи часов речи на 25 языках. Записи представлены в нескольких вариантах расшифровки: дословном, сохраняющем слова-паразиты, и с записью чисел словами.

Nvidia также добавила в релиз инструменты для подготовки наборов данных. Их можно использовать для адаптации модели к конкретным областям. Например, при дообучении на медицинских записях с участием индийских врачей и студентов-медиков частота ошибок снизилась с 30,8 до 11,8 %. Для проверки результатов на новых, незнакомых ИИ-модели голосах показатель уменьшился с 22,44 до 12,17 %.

Модель Nemotron 3.5 Transcribe и набор данных Granary v2 доступны на Hugging Face. Nvidia также предоставляет демонстрационную версию и руководство по дообучению, включая расширение, позволяющее поручить соответствующий процесс ИИ-ассистенту для программирования. Возможности модели различаются в зависимости от языка. Кроме того, система предназначена для обработки готовых записей, а не потокового аудио, поэтому Nvidia рекомендует дополнительно проверять имена и моменты смены говорящих.

ИИ-модель Nvidia Nemotron 3.5 Super VL с пост-обучением превзошла Claude Opus 5 и GPT-6.1 Sol в специализированных задачах

Компания Nvidia представила три ИИ-модели семейства Nemotron, которые ориентированы на выполнение агентных задач и не только. Большая языковая модель сочетает языковое и визуальное понимание, а две модели меньшего размера предназначены для того, чтобы стать основой для локальных агентов.

 Источник изображений: Nvidia

Источник изображений: Nvidia

Nemotron 3.5 Super VL — это открытая модель со 120 млрд параметров, которая, по заявлению Nvidia, может работать с PDF-файлами, графиками, таблицами, изображениями и веб-страницами, следуя инструкциям и используя доступные инструменты.

Nemotron 3.5 Bolt 74B-A9B 24GB оптимизирована для локального запуска агентов. Она содержит 74 млрд параметров, но из них активными остаются около 9 млрд параметров. Модель умещается в 24 Гбайт памяти, что делает возможным её локальный запуск на подходящем оборудовании. Алгоритм ориентирован на генерацию программного кода, проведение исследований и выполнение других многошаговых задач.

Nemotron E4B 4GB — это более лёгкая ИИ-модель, предназначенная для разговорных агентов и других локальных инструментов. Запуск этой версии алгоритма запланирован на 23 октября.

Потенциальная ценность для корпоративных клиентов заключается в возможности адаптировать ИИ-модель для работы со своими документами в соответствии с устоявшимися процессами, а затем выбрать, где она будет работать. Nvidia заявила, что организации могут самостоятельно дообучать Nemotron 3.5 Super VL на своих данных, инструментах и политиках, а также развёртывать алгоритм на инфраструктуре, соответствующей их требованиям к безопасности и местонахождению данных. Версии Bolt предлагают более компактный вариант для поддержки определённых агентных нагрузок на локальных системах.

Nemotron Super VL является не первой ИИ-моделью Nvidia, которая предназначена для работы с визуальными данными. Выпущенная ранее Nemotron Nano 2 VL умела анализировать документы и изображения. В апреле вышла Nemotron 3 Nano Omni с 30 млрд параметров, которая объединила работу с текстом, изображениями, аудио и видео.

Главное изменение в том, какое место понимание визуальных данных занимает в линейке ИИ-моделей Nvidia. В марте компания выпустила Nemotron 3 Super со 120 млрд параметров, ориентированную на выполнение агентных задач, а затем более мощную Nemotron 3 Ultra для более требовательных сценариев использования. В августе вышла Nemotron 3.5 Lightning, ориентированная на выполнение повторяющихся шагов в длинных агентных рабочих процессах. Новая модель Super VL переносит возможности анализа документов и изображений на уровень крупной модели линейки Super, тогда как модели Bolt расширяют варианты для локального развёртывания. Такое сочетание может упростить проектирование ИИ-агентов.

Nvidia заявила, что десятки организаций проводят пост-обучение модели Super VL под свои задачи. Компания уточнила, для чего партнёры дообучают модель, а не используют исходный вариант нейросети. На приведённой ранее диаграмме можно увидеть результаты по пяти отдельным направлениям: анализ документов, устойчивость к кибератакам, извлечение данных из финансовых документов, помощь в научных экспериментах и обработка заявок по медицинскому страхованию. Светло-зелёная часть каждого столбца отображает результат базовой версии Super VL, а тёмно-зеленая — прирост после дообучения. Улучшения варьируются от 9 % до 44 % по упомянутым задачам. Во всех случаях специализированная версия алгоритма превосходит упомянутые ранее версии Claude и GPT.

В задаче по обработке заявок на медицинское страхование зафиксирован самый большой прирост относительно базовой версии модели. Точность выросла примерно с 28 % до 72 % после дообучения, тогда как у Claude Opus 5 в этой же категории точность только 38 %. Устойчивость перед разными сценариями кибератак после дообучения выросла с 35 % до 76 % (у GPT-6.1 Sol этот показатель равен 66 %).

Важно понимать, что речь идёт о разных кастомизированных версиях ИИ-модели, которые были настроены на выполнение узкоспециализированных задач. Поэтому нельзя сказать, что базовая версия Super VL в целом превосходит передовые ИИ-модели конкурентов.

Nvidia разрабатывает открытую ИИ-модель Nemotron 4 с 1 трлн параметров

Nvidia решила бросить вызов мировым разработчикам моделей искусственного интеллекта с открытыми весами. Оружием компании в борьбе на новом поле станет обновлённое семейство моделей Nemotron 4, работа над которыми уже ведётся, сообщает The Information.

 Источник изображения: BoliviaInteligente / unsplash.com

Источник изображения: BoliviaInteligente / unsplash.com

Крупнейший в мире производитель ИИ-ускорителей входит в число немногих крупных американских компаний, выпускающих модели с открытым исходным кодом — эти системы в последнее время привлекают к себе всё больше внимания на фоне роста цен на ИИ и появления недорогих китайских моделей, которые по возможностям приближаются в лучшим системам американских лабораторий Anthropic и OpenAI. Недавняя серия взломов со стороны вышедших из-под контроля ИИ-агентов усугубила ситуацию, потому что открытые модели не имеют ограничений в сфере кибербезопасности.

Самая крупная модель Nvidia семейства Nemotron 4 будет иметь не менее 1 трлн параметров. Дата выпуска систем нового поколения пока неизвестна — компания ещё не завершила их финальное обучение, но выйти они могут уже в конце осени текущего года. В июле компания сформировала альянс для обеспечения безопасности при разработке открытых ИИ-моделей. Nvidia также подписала открытое письмо в поддержку открытых моделей — их запрет грозит США утрате инициативы в отрасли ИИ; письмо подписали и другие технологические гиганты, в том числе Microsoft.

Накануне Nvidia выпустила открытую модель Nemotron 3.5 Lightning и библиотеку маршрутизации моделей NeMo Switchyard — тоже с открытым исходным кодом.


window-new
Soft
Hard
Тренды 🔥
IBM представила инструменты для контролируемого использования ИИ-агентов в бизнес-системах 27 мин.
Discord разрешит читать сообщения публичных серверов без регистрации — через Google 2 ч.
Microsoft убьёт Copilot для смарт-ТВ до конца года — люди не захотели «дружить» с ИИ 2 ч.
«Вот настоящая Mass Effect 5»: 40 минут геймплея космического боевика Exodus от ветеранов BioWare впечатлили игроков 2 ч.
Секретная ИИ-модель Anthropic выкачала фото с заблокированного Android-смартфона и сбежала из Chrome 3 ч.
Трейлер подтвердил дату релиза дополнения Lazarus к атмосферному хоррору Cronos: The New Dawn 3 ч.
Google представила Gemini 4 Carbon — мощнейшую ИИ-модель для поиска уязвимостей и исправления опасных ошибок 4 ч.
Sony добавила в ноябрьскую подборку PS Plus целых пять игр, но предложение оценили не все 5 ч.
«Яндекс» переманил к себе техдиректора ИИ-браузера Comet из Perplexity 5 ч.
Steam не станет защищать разработчиков от ИИ-клонов — это дело самих разработчиков 6 ч.
CATL рассказала, когда начнёт выпускать твердотельные батареи для электромобилей — они могут удвоить запас хода 2 ч.
Новая статья: С кем болтает ваш компьютер: смотрим, к чему в Сети подключаются программы в Windows и Linux, и запрещаем лишнее 2 ч.
Xreal представила Aura — лёгкие очки на Android XR с Gemini, приложениями и ценой от $1279 2 ч.
Sony представила полупрозрачные геймпады DualSense и панели PS5 в трех цветах 5 ч.
Учёные описали новый механизм передачи энергии от гравитации к веществу — подобно вспышкам на Солнце 5 ч.
Apple представила новые MacBook Pro с сенсорными OLED — чипы те же, цена выше 5 ч.
Илон Маск хочет выкупить сотни домов, чтобы соседи ЦОД xAI отказались от иска из-за шума 6 ч.
Virgin Galactic показала космоплан Apeiron и вновь отложила туристические полеты 7 ч.
На eBay выставили б/у суперкомпьютер за $60 миллионов 7 ч.
В Oracle Cloud Infrastructure появятся ускорители Cerebras 7 ч.