MWC 2018
2018
Computex
IFA 2018
Пару месяцев назад стартап OpenAI представил собственный ИИ-чип Jalapeno, разработать которой помогла Broadcom. На этой неделе создатели ChatGPT поделились итогами первых тестов своего аппаратного детища, признав его превосходство над решениями Nvidia минимум по двум критериям: удельной производительности и отзывчивости.
Источник изображения: OpenAI
Jalapeno сравнивался с актуальным ускорителем Nvidia GB300 с архитектурой Blackwell. Он смог превзойти данный чип в объёме работы с ИИ в пересчёте на потребляемый ватт, а также задержкам при выдаче ответов. К регулярной работе с ИИ-моделями OpenAI чипы Jalapeno будут подключены до конца этого года. Директор OpenAI по чипам Ричард Хо (Richard Ho) заявил Bloomberg, что по мере развёртывания этих чипов стартап сможет начать существенно экономить на издержках: «Это действительно хороший чип — они упадут значительно». В этом отношении экономия издержек достигает тех величин, на которые OpenAI рассчитывала изначально. По мере масштабирования производства Jalapeno этим чипам будет поручаться всё больший спектр задач в работе с ИИ. В сотрудничестве с Broadcom собственный чип OpenAI был разработан в рекордно сжатые сроки. Для этого применялись ИИ-модели OpenAI. Второе поколение ИИ-чипа тоже на подходе, его разработка завершится буквально в ближайшие месяцы.
По словам Хо, обычно быстродействие и время реакции улучшаются разными чипами, но Jalapeno удалось предоставить оба преимущества сразу. OpenAI определит, с какими ИИ-моделями Jalapeno будет лучше справляться, конечные клиенты смогут благодаря его внедрению либо экономить расходы, либо получить более высокое быстродействие. Лабораторные исследования, по словам представителя OpenAI, выявили высокую производительность этих чипов при одновременном снижении задержек, и оба этих преимущества будут востребованы клиентами стартапа. В собственной инфраструктуре Jalapeno позволит OpenAI снизить расходы на электроэнергию, поскольку один такой чип потребляет всего 700 Вт.
Важно понимать, что Jalapeno заточен под работу с инференсом, а не обучение ИИ-моделей, как те же решения Nvidia. Кроме того, он не сравнивался с ускорителями поколения Vera Rubin, которое начнёт поставляться на рынок в ближайшее время. В определённых вариантах вычислительной нагрузки OpenAI полагалась на чипы Cerebras, но они хорошо себя проявляют только при работе с малыми моделями. Jalapeno позволяет работать с большими, но это не означает, что OpenAI откажется от компонентов Cerebras в своей вычислительной инфраструктуре. Будут востребованы компоненты всех поставщиков, по словам Ричарда Хо. Компания готова открыто рассказывать о своих разработках в полупроводниковой сфере, чтобы стимулировать инновации в сфере создания ИИ-чипов.
OpenAI протестировала Jalapeno публично на одной из своих небольших моделей с открытым исходным кодом, а также на моделях DeepSeek и Moonshot AI. В последнем случае преимущество чипа оказалось максимальным. Чип хорошо проявил себя и при тестировании больших ИИ-моделей OpenAI, которые ещё не представлены. Стартап уже занимается разработкой третьего поколения собственных ИИ-чипов, рассчитывая с их помощью снизить затраты на электроэнергию со стороны вычислительной инфраструктуры. От чипов Nvidia стартап отказываться не планирует, поскольку продолжает от них зависеть в своём развитии.
Источник:
