Сегодня 17 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Исследователи OpenAI и Google бьют тревогу — развитие ИИ опережает возможности людей его контролировать

Специалисты из OpenAI и Google DeepMind заявили о недостаточности мер безопасности при разработке систем машинного обучения и искусственного интеллекта на базе нейронных сетей. Они считают, что скорость развития технологии опережает возможности людей по контролю ИИ-платформ, способных к самообучению и самосовершенствованию.

 Источник изображения: Grok

Источник изображения: Grok

Своими опасениями исследователи поделились в рамках проекта Frominside.ai, созданного при участии некоммерческой организации Palisade Research. Его участники заявляют, что говорят об угрозах не ради маркетинга, а потому, что считают проблему действительно серьёзной. По их словам, внутри ИИ-компаний больше внимания получают сотрудники, которые создают новые модели, чем специалисты, призывающие к осторожности.

Одна из основных тем проекта касается рекурсивного самосовершенствования. Так называют способность ИИ практически без участия человека продолжать обучение и самостоятельно получать новые возможности. Джеффри Ирвинг (Geoffrey Irving), ранее работавший в OpenAI и DeepMind, а сейчас возглавляющий научное направление в некоммерческой организации Resolution, заявил, что риск «довольно быстро растёт», и специалисты должны открыто говорить об этом.

Исследователь DeepMind Нил Нанда (Neel Nanda), заявил, что оценивает вероятность исчезновения человечества из-за ИИ как минимум в 10 % и считает этот показатель «невероятно высоким». Хуан Фелипе Серон Урибе (Juan Felipe Ceron Uribe), инженер-исследователь OpenAI, также призвал к осторожности, сравнив текущую конкуренцию передовых ИИ-лабораторий с гонкой «с завязанными глазами». При этом руководители компаний тоже начали публично говорить о необходимости снизить темп. В частности, глава Anthropic Дарио Амодеи (Dario Amodei) призвал индустрию замедлить темп разработки и «соизмерить скорость прогресса с возможностями контроля», а гендиректор OpenAI Сэм Альтман (Sam Altman) согласился с ним.

Дискуссия об этих рисках усилилась после июльского инцидента, когда агенты OpenAI вышли за пределы тестовой среды и взломали международную платформу для работы с ИИ Hugging Face. Дэниел Кокотайло (Daniel Kokotajlo), ранее занимавшийся вопросами управления и безопасности в OpenAI, рассказал, что после этого его бывшие коллеги стали чаще обращаться к нему и делиться своими опасениями. Несколько исследователей, включая главного научного сотрудника OpenAI и одного из соучредителей Anthropic, призвали законодателей обратить внимание на то, как в отрасли создаются модели с функцией рекурсивного самосовершенствования.

При этом OpenAI и Anthropic продолжают выпускать новые модели, а Reuters сообщило, что Anthropic планирует предупредить потенциальных инвесторов перед IPO о возможных «катастрофических или экзистенциальных рисках для человечества».

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Теперь и перепройти можно: ролевой боевик The Blood of Dawnwalker от ветеранов The Witcher 3 и Cyberpunk 2077 получил патч 1.2 с «Новой игрой +» 45 мин.
Microsoft не обманула: независимые тесты подтвердили ускорение Windows 11 на системах с 8 Гбайт памяти 2 ч.
Sony отбилась от иска на £2 млрд в Великобритании — компанию обвиняли в завышении цен на игры в PlayStation Store 3 ч.
Моддер запустил классическую Doom на флешке — игра выдаёт 13 кадров/с, а управляется копированием файлов 3 ч.
От Ikea до Zoom: хакеры скомпрометировали популярные сайты по всему миру 5 ч.
Взломщик Rockstar предстал перед судом и признал вину за массовую утечку GTA VI — студия потеряла из-за него миллионы долларов 6 ч.
Россияне массово жалуются на сбои Google, Deepseek, Twitch, Discord и «Ростелекома» 7 ч.
«123456» снова стал самым популярным паролем в мире — седьмой год подряд 7 ч.
Китай поставил дистилляцию американских ИИ-моделей на промышленный поток 9 ч.
Новые отражения, улучшенное освещение и «полностью оптимизированный» Зен: для Black Mesa вышло крупнейшее обновление за последние годы 11 ч.
Apple начала продавать запчасти и инструменты для самостоятельного ремонта iPhone Duo 2 ч.
После скандала Nvidia взяла экспорт чипов под особый контроль — в компании создали комитет по нацбезопасности 3 ч.
Нордическая ИИ-гигафабрика: Финляндия, Эстония, Латвия и Швеция вместе построят распределённую ИИ-инфраструктуру 3 ч.
Lambda развернула CPO-коммутаторы NVIDIA Quantum-X 3 ч.
Представлены глобальные версии смартфонов Xiaomi 18 Pro и 18 Pro Max — батареи меньше, а цены выше 3 ч.
Xiaomi выпустила смарт-часы Watch S5 41 мм, смарт-браслет Smart Band 11 и наушники-клипсы Clip на глобальный рынок 3 ч.
«Сбер» представила «СберБум Трек» — портативную умную колонку с «ГигаЧатом» за 14 990 рублей 4 ч.
Curator: в преддверии Черной пятницы активность вредоносных ботов выросла на 20 % 5 ч.
OpenAI арендует у TensorWave 457 МВт ИИ-мощностей на базе AMD Instinct 6 ч.
Платформа NVIDIA Vera Rubin обошла конкурентов во всех тестах MLPerf Training v6.1 6 ч.