Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Экзистенциальные риски для человечества»: Anthropic в преддверии IPO рассказала инвесторам об опасности ИИ

Существующие правила составления подобных документов подразумевают, что готовящаяся к выходу на биржу компания должна уведомлять инвесторов о рисках, с которыми она сталкивается или может столкнуться в своей деятельности. Поддерживая репутацию одного из самых мнительных разработчиков ИИ, компания Anthropic в проспекте для инвесторов почти треть объёма информации уделила факторам риска.

 Источник изображения: Anthropic

Источник изображения: Anthropic

По крайней мере, на это указывает агентство Reuters, говоря о наличии упоминаний об угрозах на 80 страницах из 261, присутствующих в документе. При этом сугубо бизнес-вопросам составители документа уделили всего 48 страниц. Передовые ИИ-модели, по словам представителей Anthropic, способны представлять «катастрофические или экзистенциальные риски для человечества», а также демонстрировать признаки «самозащиты» в поведении, скрывая информацию или манипулируя ею, сопротивляясь отключению и даже прибегать к шантажу. Компания предупреждает, что её модели могут становиться источником необратимого вреда. Ранее исследователь компании Эван Хабингер (Evan Hubinger) оценивал вероятность уничтожения человечества силами ИИ на протяжении десяти ближайших лет в более чем 10 %.

Что характерно, вышедшая на биржу в июне конкурирующая SpaceX в своём проспекте для инвесторов только 38 из 277 страниц посвятила обсуждению факторов риска. Как отмечает Anthropic, потенциальная осведомлённость создаваемых ИИ-моделей о стремлении разработчиков оценивать их безопасность ограничивает способность делать это эффективно. В некоторых случаях опасные проявления деятельности ИИ-моделей становятся достоянием общественности уже после их развёртывания. Современные ИИ-модели способны адаптировать своё поведение на этапе проверки, чтобы не выдавать свои «тёмные стороны».

Какое количество ресурсов Anthropic тратит на обеспечение безопасности своих ИИ-моделей, до конца понять сложно, но на протяжении одной из недель в июле под эти нужды были выделены до 6 % вычислительных мощностей, доступных компании. В условиях нехватки вычислительных ресурсов в целом подобное распределение становится компромиссом между интересами бизнеса и безопасностью. Тем более, что конкуренция весьма остра, и утрачивать лидерские позиции Anthropic не готова, хотя и начинает призывать всех участников рынка отдавать именно безопасности, а не извлечению прибыли. В своём обращении к инвесторам компания выражает уверенность, что построение надёжной и безопасной ИИ-инфраструктуры лежит в сфере коллективной ответственности, и что рынок должен вознаградить соответствующие усилия.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Теперь и перепройти можно: ролевой боевик The Blood of Dawnwalker от ветеранов The Witcher 3 и Cyberpunk 2077 получил патч 1.2 с «Новой игрой +» 33 мин.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 2 ч.
Sony отбилась от иска на £2 млрд в Великобритании — компанию обвиняли в завышении цен на игры в PlayStation Store 3 ч.
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 3 ч.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 5 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 6 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 6 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 7 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 8 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 11 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 57 мин.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 3 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 3 ч.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 3 ч.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 3 ч.
Xiaomi выпустила смарт-часы Watch S5 41 мм, смарт-браслет Smart Band 11 и наушники-клипсы Clip на глобальный рынок 3 ч.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 4 ч.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 5 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 6 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 6 ч.