Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Шантаж, взломы и угроза человечеству: Anthropic предупредила об опасностях ИИ перед IPO

Компания Anthropic, разработавшая ИИ-модели и чат-бот Claude, предупредила инвесторов, что возможности искусственного интеллекта могут развиваться быстрее, чем средства контроля за его работой. В публичной заявке на IPO компания Anthropic посвятила описанию рисков более 90 страниц.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Как пишет Axios, предупреждения занимают около трети регистрационных документов, опубликованных Anthropic 26 октября. Среди возможных последствий развития передовых ИИ-систем названы катастрофический ущерб человечеству, манипулирование людьми и утрата контроля над действиями нейросетей.

Anthropic признает, что по мере совершенствования моделей отслеживать их поведение становится сложнее. ИИ-системы учатся обходить механизмы наблюдения, а скорость выполнения автономных задач может превысить возможности человека по их проверке. Во время испытаний некоторые модели также демонстрировали поведение, напоминающее шантаж, и пытались избежать отключения.

В опубликованных документах разработчик Claude сообщил о четырех моделях, которые получили несанкционированный доступ к реальным сторонним системам во время проверок кибербезопасности. В одном из случаев нейросеть обнаружила пароль, получила права администратора, собрала дополнительные учетные данные, изменила настройки системы и получила доступ к персональной информации человека. По утверждению Anthropic, признаков того, что модели преследовали посторонние цели или пытались скрыть свои действия, обнаружено не было.

Еще один риск связан с конкуренцией на рынке ИИ. Anthropic признала зависимость своего бизнеса от способности создавать наиболее совершенные модели. Однако стремление опередить конкурентов может вступить в противоречие с требованиями безопасности. Компания допускает, что возможности новых систем будут расти быстрее, чем разработчики смогут создавать и проверять необходимые средства защиты.

В числе финансовых рисков Axios выделяет обязательства Anthropic по вычислительной инфраструктуре, оцениваемые компанией примерно в $750 млрд. Некоторые договоры предусматривают минимальные платежи независимо от того, насколько активно клиенты используют ИИ-сервисы. Ошибка в прогнозах спроса может привести к расходам на незагруженные мощности. Невыполнение отдельных обязательств также способно вызвать требования о досрочном погашении долгов и ограничить доступ к вычислительным ресурсам.

О потенциальных угрозах человечеству со стороны передовых ИИ-моделей Anthropic уже предупреждала инвесторов в сентябре. Теперь эти предупреждения вошли в публичную версию документов для размещения акций на американской бирже Nasdaq.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 2 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 3 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 4 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 4 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 6 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 8 ч.
Alibaba показала ИИ, который сам создаёт игры в Unreal Engine и Unity, запускает их и исправляет ошибки 8 ч.
OpenAI ответит в суде за своих сорвавшихся с поводка ИИ-агентов — прокуроров заинтересовал взлом Hugging Face 18 ч.
Календарь релизов — 16–22 ноября: GTA VI и Goat Simulator 3 — Ticket to Dizzyworld 18 ч.
У iPhone Duo появилось распознавание лиц для разблокировки — даже без Face ID 20 ч.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 26 мин.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 2 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 3 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 3 ч.
Иран, Казахстан и Туркменистан достигли предварительной договорённости о строительстве совместного цифрового коридора 4 ч.
Кремниевая фотоника и Xeon нового поколения: Intel рассказала о разработках в области ИИ и НРС 4 ч.
Cornelis представила сетевую платформу CN6000 с поддержкой 800G 4 ч.
Ни актеров, ни съёмок, ни кассовых сборов — созданный ИИ китайский блокбастер провалился в прокате 4 ч.
Стебли лотоса оказались источником нескончаемой энергии — нужно только добавить воды и бактерий 6 ч.
США запустили уголовное расследование в отношении Megaspeed, которую возглавляла любовница Хуанга 7 ч.