Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В DeepSeek придумали новый способ экономить ресурсы при обучении ИИ

Китайская DeepSeek проводила 2025 год публикацией материала, в котором предлагается переосмыслить фундаментальную архитектуру, используемую при обучении базовых моделей искусственного интеллекта. Одним из авторов работы выступил глава компании Лян Вэньфэн (Liang Wenfeng).

 Источник изображения: Solen Feyissa / unsplash.com

Источник изображения: Solen Feyissa / unsplash.com

DeepSeek предложила метод под названием «гиперсвязи с ограничением на многообразие» (Manifold-Constrained Hyper-Connections — mHC). Этот метод помогает повысить экономическую эффективность моделей и даёт им возможность не отставать от конкурирующих американских решений, разработчики которых располагают доступом к значительным вычислительным ресурсам. Опубликованная DeepSeek научная работа отражает сложившуюся в Китае открытую и основанную на взаимопомощи культуру разработчиков ИИ, которые публикуют значительную долю своих исследований в открытом доступе. Статьи DeepSeek также могут указывать на инженерные решения, которые компания использует в готовящихся к выпуску моделях.

Группа из 19 исследователей компании отметила, что метод mHC тестировался на моделях с 3 млрд, 9 млрд и 27 млрд параметров, и его использование не дало существенного увеличения вычислительной нагрузки по сравнению с традиционным методом гиперсвязей (Hyper-Connections — HC). Базовый метод гиперсвязей в сентябре 2024 года предложили исследователи ByteDance в качестве модификации ResNet (Residual Networks) — доминирующей архитектуры глубокого обучения, которую ещё в 2015 году представили учёные Microsoft Research Asia.

ResNet позволяет производить обучения глубоких нейросетей таким образом, чтобы ключевая информация (остаточные данные) сохранялась при увеличении числа слоёв. Эта архитектура используется при обучении моделей OpenAI GPT и Google DeepMind AlphaFold, и у неё есть важное ограничение: проходя через слои нейросети, обучающий сигнал может вырождаться в универсальное представление, одинаковое для всех слоёв, то есть рискует оказаться малоинформативным. Гиперсвязи успешно решают эту проблему, расширяя поток остаточных данных и повышая сложность нейросети «без изменения вычислительной нагрузки у отдельных блоков», но при этом, указывают в DeepSeek, растёт нагрузка на память, и это мешает масштабировать данную архитектуру при обучении больших моделей.

Чтобы решить и эту проблему, DeepSeek предлагает метод mHC, который «поможет устранить существующие ограничения и в перспективе откроет новые пути эволюции фундаментальных архитектур нового поколения». Публикуемые компанией научные работы часто указывают на техническое направление, лежащее в основе последующих моделей, говорят эксперты. Новую крупную модель DeepSeek, как ожидается, может представить в середине февраля.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft превратила Copilot в «новую ОС для работы» — и теперь Word, Excel и PowerPoint работают прямо в ней 3 мин.
Крупнейшее IPO в истории: $83 за акцию Anthropic 31 мин.
Google открыла доступ к Genie 4 – ИИ для генерации целых миров, которые можно менять прямо на ходу 59 мин.
«Группа Астра» представила Astra Server Core для замены серверных функций Microsoft в корпоративной инфраструктуре 2 ч.
GTA VI начала переписывать историю — блокбастер Rockstar бьёт рекорды популярности на Twitch, YouTube и Kick 2 ч.
Google выпустила Gemini 4 Neon — почти флагманский рассуждающий ИИ стал быстрее и дешевле 3 ч.
«Просто ужасно»: ИИ-агент Meta Muse сам влез в переписки Signal — и это лишь одна из его пугающих проблем 4 ч.
Рекорд SpaceX побит: Anthropic провела крупнейшее IPO в истории и привлекла $81,3 млрд 4 ч.
Sandfall Interactive лишилась одного из главных творцов успеха Clair Obscur: Expedition 33 6 ч.
Rockstar назвала PS5 Pro «недостаточно мощной», чтобы потянуть GTA VI при 60 кадрах/с 6 ч.
Пульс есть, но пациент без сознания: «Вояджер-1» перестал передавать телеметрию и научные данные, улетев на световые сутки 54 мин.
RAID-технология VROC станет доступна для процессоров AMD EPYC 2 ч.
Intel наконец нашла стороннего заказчика для передового техпроцесса 18A — но не говорит, кто это 2 ч.
Мощнейшая за 20 лет магнитная буря перекроила радиационные пояса Земли — их стало четыре вместо двух 3 ч.
ИИ-бум может захлебнуться в избытке чипов — Сэм Альтман предупредил, что OpenAI не сможет скупить всё 5 ч.
Sizable Energy намерена запитать ЦОД от морских гидроаккумуляторных энергохранилищ 5 ч.
Intel Foundry наконец заполучила крупного клиента — Microsoft доверила ей упаковку чипов Maia и Cobalt 6 ч.
OCTOPUS с Xeon 6 и квантовыми процессорами: Университет Осаки запустил академическую платформу SEAFOOD 6 ч.
Phison представила космические SSD Pascari Space 13 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 15 ч.