Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Anthropic предложила механизм экстренного торможения для развития ИИ

Компанию Anthropic сложно упрекнуть в отсутствии морально-этических принципов использования искусственного интеллекта. Именно они стали причиной конфликта с Пентагоном в начале этого года. Теперь же Anthropic призывает участников рынка сдерживать развитие ИИ в тех случаях, когда становится понятно, что риски бесконтрольно множатся.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Как отмечает Reuters, на этой неделе представители стартапа обратились к представителям отрасли с призывом быть готовым к самоограничению в случае появления угрозы утраты контроля человеком над ИИ. Полностью рекурсивное самосовершенствование, по словам представителей Anthropic, грозит увеличением рисков потери контроля над ИИ-системами со стороны человека. «Если системы обретают способность самостоятельно создавать своих преемников, большое значение обретает наша способность контролировать, мониторить их и ограничивать их поведение», — говорится в заявлении Anthropic.

Для понимания, в прошлом месяце более 80 % нового программного кода в базе самой Anthropic было создано ИИ-агентом Claude, поэтому компания знает, о чём говорит. Было бы неплохо для всего мира, как рассуждают представители Anthropic, иметь возможность замедлить или даже приостановить разработку передовых ИИ-моделей для обеспечения социальной адаптации и анализа предлагаемых изменений в соответствии с темпами развития самих технологий. При этом реагировать на такие вызовы нужно буквально всем миром, поскольку если действия разработчиков не будут скоординированными, то недобросовестные участники рынка могут навредить общественной безопасности.

Конечно, чтобы такие механизмы заработали на практике, важно определить критерии введения режима «самоограничения», предусмотреть какой-то надзорный орган и заручиться поддержкой крупнейших участников рынка. Одна компания сама по себе на ситуацию повлиять не в силах, нужно именно координировать усилия всех ведущих разработчиков. Anthropic собирается в ближайшие месяцы не только создать средства мониторинга опасных тенденций в развитии ИИ, но и вести общественную работу по обсуждению соответствующих регуляторных механизмов.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 4 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 6 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 6 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 7 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 8 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 8 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 8 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 9 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 11 ч.
Huawei похвасталась, что число пользователей HarmonyOS превысило 100 млн 11 ч.
Phison представила космические SSD Pascari Space 3 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 4 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 4 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 5 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 5 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 7 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 7 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 7 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 7 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 8 ч.