Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Погибнет большинство людей»: новый эксперт OpenAI по безопасности предрёк катастрофу в случае выхода ИИ из-под контроля

Новый специалист OpenAI по вопросам безопасности напрямую высказался о том, что стоит на кону в эпоху искусственного суперинтеллекта. «Если мы создадим суперинтеллект, не обеспечив его надёжную согласованность целей, то, думаю, мы навсегда утратим над ним контроль. Если это случится, большинство людей может погибнуть», — предупредил новый член совета директоров и комитета по безопасности OpenAI Пол Кристиано (Paul Christiano).

 Источник изображения: Andrew Neel / unsplash.com

Источник изображения: Andrew Neel / unsplash.com

В посвящённом вступлению в должность развёрнутом заявлении он затронул тему исходящих от ИИ угроз и предупредил, что человечество в ближайшее время рискует потерять контроль над системами ИИ. «Учитывая недавние траектории возможностей и сохраняющиеся сложности с согласованностью целей, я уверен, что существует значительный риск того, что стремительное развитие способностей ИИ приведёт к катастрофической и необратимой утере контроля в ближайшее время. Не думаю, что отрасль вообще, в том числе OpenAI, сейчас на пути к снижению этой угрозы до приемлемого уровня», — заявил господин Кристиано.

Ранее он руководил исследованиями в области согласования целей ИИ в OpenAI, а также работал на федеральные власти в США, возглавляя направление безопасности в Центре стандартов и инноваций ИИ при Национальном институте стандартов и технологий (NIST). Свой приход в компанию он не стал связывать с одобрением или критикой «применяемых OpenAI методов обеспечения безопасности», но выразил надежду, что все ведущие лаборатории усилят работу в этом направлении. Для снижения связанных с ИИ угроз, считает он, необходимо координировать усилия на мировом уровне.

 Источник изображения: Dima Solomin / unsplash.com

Источник изображения: Dima Solomin / unsplash.com

Исследователи ИИ неоднократно предупреждали о рисках, связанных с суперинтеллектом и технологической сингулярностью, при которой ИИ превосходит уровень человеческого разума и начинает самостоятельно развиваться и совершенствоваться такими темпами, которые люди не могут ни предсказывать, ни контролировать. Глава OpenAI Сэм Альтман (Sam Altman) заявил в июле, что сингулярность уже наступила.

Способности ИИ, в том числе в сфере исследований самого искусственного интеллекта, растут, увеличивая риск утери контроля, что, по мнению господина Кристиано, сможет спровоцировать «стремительный взрыв интеллекта». Он также отметил, что при обучении ИИ с подкреплением модели фактически учатся «получать как можно больше вознаграждения». «Когда-то казалось лишь теоретически возможным, что это способно побудить ИИ-агентов вырваться из-под контроля человека, устремиться к власти и ресурсам, а также заметать следы в погоне за целями, не согласованными с человеческими интересами, но связываемыми с вознаграждением. Представленные доказательства последних инцидентов указывают, что это уже не теоретическая возможность», — отметил он.

У лидеров в области ИИ, заявил Пол Кристиано, ещё остаётся возможность исправить ситуацию, например, за счёт улучшения координации, замедления, по необходимости, темпов разработки, принятия общих стандартов безопасности и прозрачности в обмене информацией об угрозах и мерах по их снижению.

Всего за несколько часов до заявления Кристиано исследователь Anthropic Джейкоб Коксон (Jacob Coxon), ранее работавший в OpenAI, сообщил об уходе из компании и заявил, что ни Anthropic, ни OpenAI не действуют ответственно в вопросах безопасности ИИ. «Они мчатся к разработке самосовершенствующегося суперинтеллекта и ставят на кон наши жизни», — предупредил эксперт.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Теперь и перепройти можно: ролевой боевик The Blood of Dawnwalker от ветеранов The Witcher 3 и Cyberpunk 2077 получил патч 1.2 с «Новой игрой +» 33 мин.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 2 ч.
Sony отбилась от иска на £2 млрд в Великобритании — компанию обвиняли в завышении цен на игры в PlayStation Store 3 ч.
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 3 ч.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 5 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 6 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 6 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 7 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 8 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 11 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 57 мин.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 3 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 3 ч.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 3 ч.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 3 ч.
Xiaomi выпустила смарт-часы Watch S5 41 мм, смарт-браслет Smart Band 11 и наушники-клипсы Clip на глобальный рынок 3 ч.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 4 ч.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 5 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 6 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 6 ч.