Сегодня 04 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → rsi

Anthropic вплотную приблизилась к самосовершенствующемуся ИИ — и признала новые риски

Anthropic накануне подала уточнённую форму S-1/A, в которой, помимо финансовых показателей, раскрыла ещё одну примечательную деталь. Компания находится на пороге создания модели искусственного интеллекта, способной к рекурсивному самосовершенствованию (Recursive Self-Improvement, RSI).

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

RSI — этап, на котором ИИ становится настолько эффективным в собственном обучении, что это приводит к резкому ускорению развития его возможностей. Для тех, кто опасается катастрофических последствий развития ИИ, RSI представляется точкой невозврата: ИИ обретает возможность усовершенствовать себя до такой степени, что выйдет из-под контроля и станет безразличным к ущербу, который может причинить в процессе достижения своих целей. Для энтузиастов RSI, напротив, представляет собой воплощение потенциала технологий — превращение ИИ в инструмент, способный обеспечить невероятный рост продуктивности, совершить научные открытия и ознаменоваться иными достижениями.

В Anthropic считают, что RSI несёт в себе как огромные возможности, так и серьёзные риски. Компания уже использует ИИ в исследованиях и разработке, отметила она, но предостерегла: «Использование ИИ для создания более совершенных систем ИИ может представлять значительную угрозу безопасности, особенно если это резко ускорит темпы прогресса. Это один из аспектов, учитывающийся в нашей „Политике ответственного масштабирования“, в которой изложены планы по мониторингу и снижению рисков по мере приближения к тому, что называется рекурсивным самосовершенствованием».

Обозначение RSI вошло в обиход относительно недавно и поначалу воспринималось как недостижимая цель — эффект, который будет крайне сложно реализовать на практике. Теперь же Anthropic указала его среди факторов риска. Она уже использовала ИИ в разработке новых моделей, «чьи качественные скачки в возможностях своевременно не были замечены»; а в ближайшем будущем, по её словам, может значительно ускорить прогресс с помощью ИИ.

«Более того, расширение использования систем ИИ для ускорения наших собственных исследований и разработки может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и развёртывать соответствующие средства безопасности, согласования целей и защиты. В результате мы в прошлом уже упускали из виду и можем не заметить в будущем значительное ускорение темпов нашего развития до того момента, как оно уже случится. Например, наши внутренние оценки и прогнозы относительно будущих моделей, в отличие от текущих, указывают, что в скором времени мы можем достичь порога, который в нашей „Политике ответственного масштабирования“ определяется как „обусловленное ИИ значительное ускорение прогресса“. На данный момент ни одна из наших моделей не классифицируется как преодолевшая этот порог, и мы продолжаем анализировать соответствующие данные», — заявили в Anthropic.

Компания также не рассчитывает, что сможет в значительной мере полагаться на существующие ИИ-системы для «полностью автономного проектирования и создания последующих поколений передовых моделей без значимого контроля или понимания со стороны человека — даже если (и когда) это станет технически возможным». Есть мнение, что форма S-1 может выступать не только средством раскрытия информации, но и маркетинговым материалом. Тем не менее, за последний год ИИ Anthropic совершил колоссальный скачок в научной области; и если в компании считают высокой вероятность наступления RSI, то, возможно, имеет смысл отнестись к этому серьёзно.


window-new
Soft
Hard
Тренды 🔥
Китайская Tencent бросила вызов DeepSeek и Kimi — открытая ИИ-модель Hy4 умеет видеть и рассуждать 2 ч.
Google встроила поиск в меню с тремя точками в Chrome — искать нужные настройки не придётся вручную 3 ч.
Beget сообщил о полной потере части данных и начале восстановления работоспособности сервисов 4 ч.
Для Guild Wars анонсировали первое с 2007 года платное дополнение — дата выхода, трейлер и предзаказ в российском Steam 5 ч.
Apple открыла Siri AI доступ к сторонним приложениям 6 ч.
Nexus Mods не станет запрещать ИИ-моды, но заставит моддеров «публично объяснять», как они использовали нейросети 6 ч.
Marvel’s Blade может обрести новый дом: спасти Arkane Studios от закрытия нацелилась Ubisoft, но у неё есть конкуренты 7 ч.
OpenAI годами пренебрегала защитой от шпионажа ради гонки ИИ — теперь её разработки под угрозой 7 ч.
Bethesda предупредила, что ожидание The Elder Scrolls VI: Sentinel затянется — авторитетный инсайдер уточнил сроки 9 ч.
ИИ-поиск ломает привычку «погуглить»: поиск в ChatGPT уже достиг 20 % от масштабов Google 9 ч.