Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google представила ИИ-модель SL2T, которая понимает язык жестов

Подразделение Google DeepMind рассказало о намерении донести революцию в области искусственного интеллекта до 70 млн человек по всему миру, которые общаются на языках жестов. Новая модель SL2T преобразует эти языки в текст.

 Источник изображения: deepmind.google

Источник изображения: deepmind.google

Google SL2T — многоязычная модель-переводчик, которая дебютирует на смартфонах Pixel 11, позволяя преобразовывать язык жестов в текст через приложения Gboard и Live Transcribe. На начальном этапе её применение ограничивается американским языком жестов и его переводом на английский. Способность ИИ обрабатывать человеческую речь за последние годы значительно продвинулась — сейчас можно просто диктовать текст на смартфон, планшет или ПК. Но до настоящего момента это не относилось к тем, кто пользуется одним из более чем 200 существующих языков жестов.

Модель SL2T позволяет людям, испытывающим проблемы со слухом, взаимодействовать со смартфоном, используя привычный язык и не вводя текст вручную. В этом формате теперь можно отправлять поисковые запросы, составлять электронные письма и сообщения для мессенджеров, редактировать документы и выполнять другие задачи, в том числе отправлять запросы и инструкции для ИИ-помощника Gemini. Модель доступна в Google Live Transcribe, то есть перевод с языка жестов можно осуществлять в реальном времени во время видеозвонков.

Google обучила SL2T на более чем 100 тыс. часов с данными 50 жестовых языков, и четверть из этого набора относится к американскому. Первоначальный вариант поддерживает только американский, но Google проводила обучение и на примерах других, чтобы модель могла изучить общие закономерности. Чтобы развеять опасения по поводу конфиденциальности, в Google уточнили, что в SL2T используется встроенная модель компьютерного зрения MediaPipe Holistic, которая отслеживает геометрию положений лица, рук, туловища и тела человека — на облачный сервер отправляются для расшифровки только их координаты, а не видеозапись.

Модель производит преобразование непосредственно в текст, минуя промежуточные текстовые аннотации. Это позволяет SL2T эффективнее интерпретировать невербальные выражения и пространственные грамматические структуры, характерные для американского языка жестов. Google также приняла меры для сокращения задержки, предотвращения галлюцинаций, предусмотрела поддержку левшей и правшей, а также пользователей, которые «говорят» только одной рукой — чтобы второй можно было держать смартфон. Важным отличием SL2T от предыдущих моделей того же назначения является её способность следить не только за руками, но также за движением головы, лица и туловища, которые также помогают передавать смысл. В перспективе Google намерена охватить другие языки жестов, а также разработать модели для генерации напрямую на этих языках.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 2 ч.
Разработчики смогут решать, достоин ли ПК запускать их приложения и игры — Microsoft готовит новую защиту Windows 3 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 4 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 4 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 5 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 6 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 6 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 6 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 7 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 9 ч.
Phison представила космические SSD Pascari Space 6 мин.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 2 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 2 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 3 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 3 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 5 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 5 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 5 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 5 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 6 ч.