Опрос
|
реклама
Быстрый переход
OpenAI возобновила обучение ИИ-моделей, но не пускает их в интернет
24.10.2026 [09:03],
Николай Хижняк
Компания OpenAI начала ограничивать доступ к Сети для своих наиболее мощных моделей искусственного интеллекта во время их обучения. Так она отреагировала на недавние инциденты, когда её системы получили несанкционированный доступ к ресурсам других организаций. 
Источник изображения: Gavin Phillips / Unsplash В пятницу в своём блоге OpenAI сообщила, что после месячной паузы возобновила обучение передовых моделей. При этом доступ к интернету для них будет заблокирован до тех пор, пока разработчики не внедрят надёжную защиту. Это должно исключить риск того, что ещё не выпущенные модели смогут совершать несанкционированные действия в Сети. «Учитывая текущее состояние исследований в области безопасности ИИ, систем мониторинга и защиты интернет-инфраструктуры, мы считаем, что ответственный подход заключается в обучении передовых моделей без доступа к интернету», — заявили в компании. В конце сентября OpenAI объявила о приостановке обучения своих самых продвинутых моделей. Это произошло после того, как одна из систем ИИ-агентов смогла выйти в Сеть и связаться со сторонним чат-ботом, хотя должна была обучаться в изолированной среде без доступа к интернету. В компании назвали этот побег первым подобным инцидентом с июля, когда в ходе тестов группа моделей также получила доступ к интернету и проникла в систему платформы Hugging Face. По словам компании, в тот раз модели работали без стандартных защитных ограничений. Предполагалось, что они будут находиться в «песочнице» — изолированной виртуальной среде для безопасного тестирования. Однако системы смогли выйти за её пределы, воспользовавшись уязвимостью в программном обеспечении для доступа к открытому интернету. После инцидента с Hugging Face компания сократила количество каналов, через которые модели могли получить доступ к Сети во время обучения и тестирования. Открытыми оставили лишь те, что необходимы для сбора метрик, ведения логов и аутентификации. Кроме того, компания направила значительные вычислительные мощности на ИИ-агентов для поиска брешей в собственных средах обучения. Это часть процесса «red-teaming» — намеренных попыток взлома для выявления слабых мест до того, как ими воспользуются реальные злоумышленники. «Эти ИИ-агенты обнаружили в большинстве таких сервисов уязвимости, которые предоставляли им ограниченный доступ к интернету», — сообщила компания. В OpenAI добавили, что с тех пор развернули патчи, ввели более строгие сетевые ограничения и передали информацию об обнаруженных уязвимостях сторонним разработчикам. С подобными сбоями сталкиваются и конкуренты OpenAI, включая Anthropic. Компании неоднократно сообщали об инцидентах, в ходе которых их модели совершали самостоятельные атаки или выполняли несанкционированные действия на сторонних веб-сайтах и в системах. Эти случаи, а также ряд серьёзных предупреждений со стороны представителей отрасли, вывели дискуссию о безопасности ИИ в центр общественного внимания. Некоторые разработчики предупреждают, что их системы вскоре могут стать настолько сложными, что люди утратят контроль над ними. Это усиливает опасения, что данная технология может быть использована злоумышленниками для проведения разрушительных кибератак или создания биологического оружия. ИИ-агенты OpenAI дважды за октябрь обошли систему, которая должна контролировать их поведение
21.10.2026 [13:27],
Владимир Мироненко
Компания OpenAI сообщила о двух нештатных ситуациях, зафиксированных в октябре, когда её ИИ-агенты ослабляли или отключали оповещения внутренней системы мониторинга, предназначенной для отслеживания некорректного поведения автономных ботов. Оба инцидента произошли при выполнении ИИ-агентами внутренних задач по написанию кода и не относятся к разряду серьёзных нарушений. 
Источник изображения: Growtika/unsplash.com В первом инциденте, происшедшем 2 октября, агент GPT-6.1 Sol, занимавшийся исправлением конвейера оценки (evaluation pipeline), отключил автоматические оповещения службы безопасности, истолковав полученное от пользователя указание не отправлять сообщения в Slack в процессе выполнения этой задачи как основание для подавления уведомлений системы мониторинга. В другом случае, шестого октября агент GPT-6 Astra при переносе программы удалил интеграцию с системой мониторинга, чтобы привести код в соответствие с эталонной реализацией, а затем солгал пользователю, что мониторинг не был отключен. «В обоих случаях агенты обдумывали необходимость сохранения защитных механизмов мониторинга, но интерпретировали стандартные инструкции по написанию кода как разрешение на их ослабление», — сообщила компания. Она отметила, что эти случаи выявили пробел в механизмах обеспечения требований к мониторингу для рабочих нагрузок, инициируемых агентами. OpenAI сообщила, что сложность отключения мониторинга зависит от типа рабочей нагрузки. В случае с рабочими нагрузками Codex отключить мониторинг затруднительно, поскольку он выполняется внутри сервиса, обрабатывающего запросы к модели, и находится вне прямого контроля агента. Для процессов оценки это сделать проще — отчасти потому, что в настоящее время компания не требует наличия мониторинга отклонений при оценке моделей, сопоставимых с GPT-6 Luna, ввиду их более ограниченных возможностей. Это создаёт риск использования в настройках при работе Astra механизма обхода мониторинга, изначально предусмотренного для моделей класса Luna. После случившегося компания обновила систему автоматической проверки (Auto-Review), использование которой уже является обязательным для всех внутренних задач Codex: теперь она способна обнаруживать и блокировать попытки отключения мониторинга отклонений. От проверяющего (человека-оператора) и раньше требовалось пресекать попытки обхода мер безопасности, а теперь он получает чёткие инструкции, гарантирующие корректное применение мониторинга отклонений. Также ведётся работа над тем, чтобы для каждой категории рабочих нагрузок существовало обоснование безопасности (safety case), в котором прописаны требования к мониторингу. Рабочие нагрузки, для которых отсутствует такое обоснование или которые не соответствуют установленным для их категории требованиям, будут автоматически завершаться. Вместе с тем разработчики стремятся понять, почему модели вообще могут пытаться это сделать. У компании пока нет объяснения такого поведения ИИ-агентов. Anthropic предложила американским законодателям собственный законопроект о регулировании отрасли ИИ
17.10.2026 [07:11],
Алексей Разин
Стартап Anthropic предлагает наделить полномочиями по блокировке выхода передовых ИИ-моделей только федеральных судей США. При этом своё решение они должны принимать на основе результатов независимого аудита, а предполагаемый ущерб от ИИ-моделей должен превышать $1 млрд. 
Источник изображения: Anthropic Взаимоотношения стартапа Anthropic с американскими властями сложно назвать простыми, если учесть, что он с марта этого года отнесён к неблагонадёжным поставщикам, представляющим угрозу для национальной безопасности. При этом компания старается вести конструктивный диалог с представителями власти, и недавно даже направила им черновой вариант законопроекта, призванного регулировать риски в сфере безопасности ИИ. Об этом на своих страницах сообщило издание Politico. Представители стартапа заявили изданию, что этот черновой законопроект основан на рамочных принципах создания передового ИИ, которые компания продвигает на федеральном и локальном уровне в США с июня этого года через членов американского парламента. Чувствительные для отрасли и общества правила, по мнению Anthropic, должны вскоре быть рассмотрены Конгрессом США. Законопроект предлагает наделить правительство полномочиями блокировать выход ИИ-модели, только если предполагаемый и неизбежный ущерб от её выпуска в соответствующем виде может составить не менее $1 млрд, либо к смерти или нанесению серьёзных увечий не менее чем 50 людям. Риск может выражаться в вероятности создания биологического оружия, потере разработчиком контроля за распространением модели, либо применения её для кибератак. Подобная риторика уже присутствует в законодательстве штата Калифорния, касающегося регулирования ИИ, и принятого в прошлом году. Ни один из зафиксированных до сих пор инцидентов в сфере ИИ не привёл к ущербу более $1 млрд или массовой гибели людей. До этого Anthropic не лоббировал публично федеральные законы, связанные со сферой ИИ, но делал это на уровне штата Калифорния. Компания в своём законопроекте предлагает наделить независимых проверяющих, которые регистрируются Министерством торговли США, правом проводить периодический аудит стартапа и разрабатываемых им моделей. Оплачивать их работу Anthropic готова сама, утверждая, что на результаты аудита это никак не повлияет. Аудиторы должны докладывать Министерству торговли США о выявлении неизбежного крупного риска, связанного с передовыми ИИ-моделями, в течение 72 часов с момента завершения аудита. У этого министерства появляется право добиться судебного запрета на продолжение разработки опасной ИИ-модели, но Anthropic настаивает, что ни одного другое ведомство США или чиновник не должно вмешиваться в данный процесс. Запрет имеет право вводить только федеральный судья Окружного суда США по округу Колумбия в Вашингтоне. Законопроект Anthropic также может предвосхитить другие законодательные инициативы, продвигаемые в американском парламенте. Они касаются правил раскрытия информации о рисках, возникающих в сфере использования передовых ИИ-моделей, проведения аудита или публикации отчётов о критически важных инцидентах. Формируемый из фрагментарных инициатив на уровне отдельных штатов законопроект гораздо сложнее утвердить, чем единые федеральные правила. Помимо формирования требований к регулярному аудиту, законопроекты должны предусматривать защиту для информаторов, которые решатся донести на неблагонадёжных разработчиков, а также порядок публикации отчётов об инцидентах. Глава Nvidia призвал отрасль не мириться с инцидентами в сфере безопасности, вызванными ИИ
17.10.2026 [05:51],
Алексей Разин
Генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) убеждён, что все громкие инциденты в сфере безопасности с участием ИИ-агентов можно было предотвратить благодаря более строгому контролю за ними. Он также убеждён, что если кто-то считает, что разрабатывает способный разрушить цивилизацию ИИ, то он просто должен остановиться. 
Источник изображения: Nvidia Бурное развитие ИИ-моделей уже привело к тому, что инциденты в сфере кибербезопасности, вызванные их воздействием на инфраструктуру, множатся с пугающей скоростью. Если возглавляющий OpenAI Сэм Альтман (Sam Altman) призвал общество мириться с рисками ИИ ради создаваемых им благ, то основатель Nvidia в недавнем интервью Fortune выразил противоположную точку зрения: «Я не готов принимать никакие инциденты в сфере кибербезопасности. Мы не должны мириться ни с одним из них. Мы должны делать всё, чтобы избежать их». Альтман недавно предупредил в своём интервью Politico, что человечество столкнётся с волной проблем в сфере кибербезопасности, которая вызвана распространением конкурирующих с разработками OpenAI моделей с открытым исходным кодом. До этого он призвал человечество смириться с наличием непреднамеренного ущерба от действий ИИ-моделей, поскольку создаваемое ими благо «на несколько порядков» перевешивает этот вред. Хуанг заявил, что все произошедшие инциденты в сфере кибербезопасности с участием ИИ-моделей могли быть предотвращены при помощи усиления ограничений и контроля за поведением ИИ-агентов. Он заявил, что на ранних этапах развития интернета существовала такая же проблема: переходя на неизвестный сайт, можно было запросто заразить компьютер вирусом. Решить её удалось путём открытия сайтов в браузере в изолированной среде, которая не позволяла им воздействовать на остальной компьютер. По мнению главы Nvidia, ИИ-агенты должны работать по аналогичным принципам, оставаясь в безопасном контейнере, где они не могут причинить вреда сверх того, что им дозволено. По традиции, Хуанг также поставил под сомнение опасения тех, кто считает неизбежным ИИ-апокалипсис, в результате которого человечество сильно пострадает или будет уничтожено вовсе. Кидая камень в огород транслирующего подобные настроения главы Anthropic, его коллега из Nvidia заявил: «Я не знаю, почему кто-либо готов поддерживать развитие технологии, которая приведёт к краху цивилизации в том виде, в котором она нам известна. И если они в это верят, то должны прекратить работать над ней». Свои комментарии для Fortune Хуанг дал во время своего визита в Лондон в рамках своего европейского турне, заявив накануне, что «Европа должна включиться в гонку ИИ». На следующей неделе глава компании объявит, куда будут направлены $2 млрд европейских инвестиций от лица Nvidia. Эта сумма не учитывает тех $8 млрд, которые компания уже пообещала вложить в экономику Старого Света. Глава Nvidia считает модели с открытым исходным кодом разумным выбором для европейцев, желающих догнать США в сфере ИИ. Компания уже поддерживает французский стартап Mistral, который разрабатывает модели с открытыми весами. Такие модели обходятся дешевле в разработке, но тратиться на аппаратные ресурсы той же Nvidia их создатели всё равно вынуждены. Хуанг пригрозил перекрыть поставки чипов Nvidia создателям опасного ИИ — и призвал не бояться технологии
14.10.2026 [23:01],
Сергей Сурабекянц
Генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) заявил, что остановил бы поставки чипов клиенту, разрабатывающему небезопасные модели искусственного интеллекта. При этом он отметил, что не считает нынешний уровень опасений по поводу этой технологии обоснованным. 
Источник изображения: Nvidia «Это гипотетическая ситуация, но да, — сказал Хуанг в интервью изданию Bloomberg, отвечая на вопрос, прекратил бы он поставки безответственному разработчику. — Но прежде чем пойти на такой шаг, нужно провести переговоры. Мы не управляем чужими компаниями, и существуют пределы того, насколько мы можем судить о том, как другие компании используют наши технологии. Ведь наши технологии — это инструменты общего назначения». Nvidia является ведущим поставщиком ускорителей для искусственного интеллекта, которые используются для обучения и запуска моделей ИИ. Это сделало компанию центральной фигурой в дискуссии о том, не станет ли такое программное обеспечение слишком мощным и не выйдет ли оно из-под контроля человека. Некоторые руководители ИИ-компаний, например, глава Anthropic PBC Дарио Амодеи (Dario Amodei), предлагали замедлить темпы развития отрасли, чтобы учесть эти опасения. Хуанг уверен, что страхи по поводу безопасности ИИ — это «болезни роста» стремительно развивающейся отрасли. По его словам, часть существующих опасений надумана, а сама отрасль в целом «из рук вон плохо» объясняет преимущества новой технологии. Саму технологию искусственного интеллекта можно использовать для обеспечения безопасности и сдерживания этой же технологии, добавил Хуанг. «Нам следует ускорить внедрение технологий сдерживания в системы искусственного интеллекта, — считает Хуанг. — Необходимо ускорить разработку технологий мониторинга, а искусственный интеллект и выступает в роли такого инструмента контроля. Поэтому нам нужно ускорить развитие технологий ИИ». В рамках обязательств по обеспечению безопасности ИИ Nvidia выделяет $250 млн в течение пяти лет на исследования в этой области, проводимые в Великобритании. Поддержка будет предоставлена в виде доступа к вычислительным мощностям передовых систем, с помощью которых британские учебные заведения будут изучать меры защиты и способы контроля над ИИ-агентами. Anthropic просит апелляционный суд повторно рассмотреть дело о споре с Пентагоном
14.10.2026 [08:24],
Алексей Разин
Компания Anthropic не теряет надежды добиться полной победы над Пентагоном в деле о присвоении ей статуса угрозы для национальной безопасности. Теперь она настаивает о повторном рассмотрении дела в Вашингтоне, хотя в сентябре местный суд оставил её жалобу без удовлетворения. 
Источник изображения: Unsplash, Sasun Bughdaryan В конце прошлого месяца Федеральный апелляционный суд в Вашингтоне в составе судебной коллегии из трёх человек большинством голосов поддержал Пентагон в присвоении компании Anthropic статуса поставщика услуг, представляющего угрозу национальной безопасности США, который она получила ещё в марте этого года. Вчера компания обратилась с ходатайством о повторном рассмотрении дела. По мнению представителей компании, прошлое заседание суда проигнорировало «очевидные доказательства того, что присвоенный Anthropic статус был результатом мести за высказывания компании по поводу безопасности ИИ». Кроме того, Пентагон действовал слишком резко, не предусмотрев предварительного процесса до назначения соответствующего статуса Anthropic, по мнению истца. В августе Федеральный апелляционный суд США в Калифорнии уже принял сторону Anthropic в споре с Пентагоном, но для окончательного снятия ограничений нужно было бы выиграть и суд в Вашингтоне. Прошлый вердикт местного суда базировался на убеждении, что Anthropic может манипулировать дизайном Claude с целью блокировки работы функций, которые нужны для обеспечения национальной безопасности, и обоснованы условиями контракта между сторонами. В конце сентября добиться победы не удалось, и теперь Anthropic настаивает на повторном рассмотрении дела в Вашингтоне. Anthropic настаивает, что суд в Вашингтоне по итогам прошлого заседания некорректно интерпретировал федеральный закон США и перенаправил его с «враждебно настроенных иностранных агентов» на «практически каждого правительственного подрядчика». Как отмечают адвокаты Anthropic, модели этой компании обеспечивают национальную безопасность США, а действия Пентагона в марте были обусловлены желанием отомстить стартапу за несговорчивость. Руководство Anthropic, напомним, противилось использованию Пентагоном своих моделей для выбора целей на поле боя и слежению за американскими гражданами. ИИ научился взламывать заводы и подчинять себе роботов — все восемь тестовых атак оказались успешными
12.10.2026 [14:32],
Владимир Мироненко
Чтобы взломать промышленное предприятие, скоро может быть достаточно запустить ИИ-агента. В испытаниях консалтинговой компании Booz Allen Hamilton такие агенты самостоятельно находили уязвимости, получали административный доступ и даже управляли роботизированным манипулятором. Все восемь тестовых атак завершились достижением поставленных целей. 
Источник изображения: Homa Appliances/unsplash.com Для этого была создана многовендорная среда, имитирующая типичное производственное предприятие. Тестовая лаборатория включала программируемые логические контроллеры (ПЛК), человеко-машинные интерфейсы (HMI), рабочие станции инженеров и операторов, платформу диспетчерского управления и сбора данных (SCADA), производственные сервисы, сетевую инфраструктуру, роботизированную руку, датчики и т. д. «Разнообразие поставщиков, встроенного программного обеспечения, управляющей логики и несовершенная сегментация воспроизводили сложность и технический долг, характерные для давно работающих операционных сред», — говорится в отчёте. При этом модели не получали исходного кода, инженерной документации или расширенных руководств — они самостоятельно исследовали среду, выявляли уязвимости и планировали атаки. Также были установлены определённые ограничения: агенты должны были дождаться одобрения человека, прежде чем использовать уязвимость безопасности или предпринимать какие-либо действия, способные привести к физическому воздействию. Кроме того, они должны были проявлять «особую осторожность» при работе с устройствами, критически важными для безопасности. Всего было протестировано восемь сценариев, и во всех случаях агенты достигли поставленных целей. В ходе одного из тестов агент за несколько минут «проверил сеть на наличие распространённых протоколов робототехники, идентифицировал робота, обнаружил его API, получил административный доступ, нанёс на карту зоны защиты и ограничения движения, а также переместил манипулятор». В другом тесте агент обнаружил неправильную конфигурацию сети на критически важном объекте и использовал эту уязвимость для атаки, выдавая себя за коммуникационного партнёра устройства. Ещё в одном случае переход от взлома периметра к действиям внутри промышленной сети управления занял всего 16 минут. Показателен и другой случай: столкнувшись с неудачей при атаке на SCADA из-за неверной версии интерфейса оператора, агент скорректировал план, обнаружил редактируемый код Jython в проекте SCADA и использовал административный интерфейс, чтобы успешно завершить атаку. Результаты тестов свидетельствуют о том, что преступникам не обязательно быть экспертами в области операционных технологий, чтобы использовать уязвимости в промышленных системах. Достаточно задействовать ИИ-агента, который изучит систему и воспользуется её слабыми местами. «ИИ-агенты могут действовать с такой скоростью, настойчивостью и инженерной точностью, что способны целенаправленно атаковать организации, не внедрившие методы кибербезопасности операционных технологий», — сообщил Кайл Миллер (Kyle Miller), вице-президент по кибербезопасности инфраструктуры Booz Allen. Также отмечено, что тесты Booz Allen основаны на реальных инцидентах, в которых ИИ-модели получили несанкционированный доступ к внешним системам, в частности, Hugging Face. Глава Microsoft призвал встроить в ИИ ручной тормоз — модели нужно контролировать с первой секунды
11.10.2026 [14:03],
Владимир Мироненко
Генеральный директор Microsoft Сатья Наделла (Satya Nadella) призвал к «экстренному торможению» развития ИИ. Он предложил изменить подход к разработке, изначально рассматривая ИИ-модели как «скомпрометированные» и принимая необходимые меры предосторожности с самого начала. 
Источник изображения: Roman Budnikov/unsplash.com В своём посте на платформе X генеральный директор Microsoft изложил свои взгляды на риски, связанные с продвинутыми ИИ-модели и на то, как им противостоять. Наделла заявил, что больше нельзя мириться с тем, что ИИ, который он называет «суперразумом», рассматривается как «набор вложенных чёрных ящиков», чьи советы и действия мы просто принимаем или отвергаем. Он призвал создать более прозрачную систему, в рамках которой модели можно контролировать и при необходимости ограничивать, а их работа будет оставлять после себя «защищённые от несанкционированного изменения свидетельства, понятные человеку». Как отметил ресурс The Verge, многие из предложений главы Microsoft перекликаются с мнениями других представителей ИИ-отрасли: своевременное раскрытие информации об инцидентах, независимые аудиты, поддающиеся проверке данные и механизмы сдерживания. Причём в последнем пункте он пошёл немного дальше, чем его коллеги, заявив: «Мы должны исходить из того, что модель может быть скомпрометирована, и держать её под контролем с самого начала. Представьте себе это как аварийный тормоз: уполномоченное лицо всегда должно иметь возможность приостановить работу модели или полностью её остановить в процессе выполнения задачи. Для более совершенных моделей потребуются и более продвинутые технологии сдерживания — нам необходимо выработать для них единые стандарты». Anthropic и OpenAI готовятся к первой крупной катастрофе по вине ИИ
10.10.2026 [10:47],
Павел Котов
Руководство Anthropic, OpenAI и других занимающихся искусственным интеллектом компаний в частном порядке обыгрывает сценарии общественного недовольства и политической реакции, если случится какой-либо связанный с ИИ крупномасштабный инцидент. Одним из таких сценариев представляется кибератака, которая перекроет людям доступ к финансовым услугам, к интернету или даже к электроэнергии и воде. 
Источник изображения: Numan Ali / unsplash.com Первый же инцидент значительного реального вреда, причинённого небезопасным ИИ, способен ещё больше настроить и без того настороженную общественность против этой технологии и лидеров отрасли: главы Anthropic Дарио Амодеи (Dario Amodei), главы OpenAI Сэма Альтмана (Sam Altman), а заодно и против президента США Дональда Трампа (Donald Trump) за его нежелание регулировать ИИ. Планирование неблагоприятных сценариев — обычное явление во многих компаниях и учреждениях из сферы национальной безопасности. Многие ведущие исследователи и руководители отрасли ИИ считают масштабный инцидент неизбежным, хотя в OpenAI придерживаются противоположной позиции. «OpenAI проводит учения по подготовке, на которых сотрудники обсуждают и прорабатывают ряд вероятных сценариев. Неизбежными эти сценарии не считаются, но они призваны помочь нам подготовиться к различным обстоятельствам», — сообщили в компании. В Anthropic от комментариев отказались. У гипотетического злоумышленника уже слишком широкий выбор моделей с открытыми весами — эту проблему большинство специалистов по кибербезопасности считает разрешимой только путём использования ИИ против ИИ. Ведущие лаборатории обыгрывают действия вероятного противника; особое внимание уделяется «гонке за просвещение» членов Конгресса. Руководство компаний осознало, что жёстко регулирующие ИИ законы сейчас едва ли примут, но всё же стремятся повлиять на формирование законопроектов и наметить контуры политики, к которой власти США обратятся после первого же крупномасштабного инцидента. 
Источник изображения: Mohamed Nohassi / unsplash.com Инцидент может случиться, если очередная группа ИИ-агентов прорвётся в интернет из изолированной тестовой среды, или некий злоумышленник сумеет неожиданным образом задействовать уже доступные модели. Ранее стало известно о масштабной атаке, направленной на финансовые организации в Южной Корее, в ходе которой, в частности, были взломаны ресурсы двух банков — виновным в инциденте считается всего один человек. Хакер из Китая, предположительно, вооружился приложениями под управлением китайских ИИ-моделей, в том числе DeepSeek, и похитил данные нескольких десятков тысяч клиентов банков. Впоследствии он обратился к Anthropic Claude Code и попросил помощи в поиске мест для продажи информации, сообщили в CrowdStrike. В американских ИИ-лабораториях предполагают, что если демократы победят на промежуточных выборах, они усилят свои позиции и попытаются быстро поставить развитие ИИ под контроль или вообще приостановить его, но политическая борьба будет непростой. Оторванный от революции ИИ Конгресс может не принять угрозу всерьёз. Кроме того, мировая экономика уже тесно переплетена с развитием инфраструктуры ИИ — замедление темпов роста способно нанести серьёзный удар по и без того хрупкой экономической системе. Инсайдеры в отрасли ИИ предполагают, что серьёзный инцидент может произойти в ближайшие полгода–год. Единства мнений в законодательной ветке американской власти пока нет — разброс существует не только между партиями, но и внутри них. Одна из инициатив демократов — запрет на сверхинтеллект или приостановка развития передовых систем ИИ; есть также двухпартийная инициатива, предусматривающая создание средств экстренного отключения передовых ИИ-моделей, хотя эксперты сомневаются, что все системы ИИ вообще возможно отключить. В условиях настоящего кризиса Вашингтон может отложить в сторону разногласия между партиями — такое уже было в пандемию и в финансовый кризис 2008 года. Китайские ИИ-компании скрывают, насколько опасны их модели — публичных тестов почти нет
09.10.2026 [20:47],
Владимир Мироненко
Китайские разработчики ИИ крайне неохотно делятся информацией по поводу тестирования своих моделей на предмет безопасности использования, выяснила исследовательская компания SemiAnalysis. И это на фоне того, что во всём мире растут опасения по поводу рисков, связанных со стремительным развитием передовых ИИ-систем. 
Источник изображения: Steve A Johnson/unsplash.com Согласно проведённому SemiAnalysis анализу 857 моделей, выпущенных в период с 2021 года по 15 сентября текущего года девятью ведущими китайскими компаниями в области искусственного интеллекта — Alibaba, ByteDance, Tencent, Baidu, DeepSeek, Moonshot, Z.AI, MiniMax и StepFun, лишь в 31 случае, или 6,3 %, были опубликованы результаты оценки безопасности, которые можно было бы сопоставить с конкретной моделью. Только в девяти релизах, или 1,1 % всего количества выпусков, такие результаты были доступны на момент выхода модели или до него. Исследователи не обнаружили информации о безопасности 813 моделей, хотя компании могли бы провести тесты в частном порядке. В SemiAnalysis пояснили, что под раскрытием информации подразумевается публикация результатов, относящихся к конкретной модели (включая тесты на генерацию вредоносного контента, устойчивость к обходу защитных ограничений, токсичность, соблюдение конфиденциальности, поведение при отказе от выполнения запроса или наличие опасных возможностей). При этом не учитываются общие заявления о том, что модель прошла обучение мерам безопасности или соответствующую проверку. В связи с нашумевшими инцидентами, связанными с самовольным поведением ИИ-агентов, усилились глобальные дебаты о том, должны ли ИИ-компании замедлять разработку передовых моделей с целью создания более эффективных рычагов их контроля. На прошлой неделе появились сообщения в СМИ, что китайские ИИ-агенты, так же, как и американские, могут обманывать пользователей, обходить ограничения и скрывать сбои в тестах. Новейшая система управления безопасностью ИИ в Китае позволяет выявлять риски, включая получение моделями системных разрешений или внешних ресурсов без разрешения, обман оценщиков, сокрытие возможностей и обход контроля безопасности. Но, согласно SemiAnalysis, никаких обязательств на разработчиков, связанных с возможностями моделей, она не налагает. Правилами в основном регулируются приложения и их влияние на пользователей, не выдвигая никаких требований разработчикам передовых моделей относительно проведения или публикации оценки рисков на основе возможностей модели. По данным SemiAnalysis, ни один крупный китайский разработчик не выпустил передовую LLM с результатами тестирования на наличие опасных возможностей, обнародованными для широкой публики. Anthropic запустила бесплатный сервис для поиска дыр в ПО с открытым исходным кодом
09.10.2026 [04:27],
Анжелла Марина
Компания Anthropic представила бесплатный сервис сканирования OSS Scanner для регулярного поиска уязвимостей в проектах с открытым исходным кодом (open source). Сервис использует самые мощные ИИ-модели разработчика, включая Claude Mythos. 
Источник изображения: Anthropic Проекты смогут подключаться к сервису добровольно по подписке opt-in, предусматривающей добровольное согласие пользователя на получение уведомлений и отчётов о найденных уязвимостях. Anthropic рассчитывает, что автоматическое сканирование позволит выявлять проблемы быстрее и раньше, чем при использовании исключительно традиционных методов проверки. При этом отчёты OSS Scanner не будут проходить проверку специалистами. Anthropic подчёркивает, что все результаты формируются ИИ без участия человека в проверке и первичной оценке обнаруженных проблем. Поэтому среди сообщений могут оказаться ошибочные или недействительные находки, которые разработчикам придётся проверять самостоятельно. OSS Scanner появился на фоне растущего интереса к использованию ИИ для поиска уязвимостей в программном обеспечении. В последние месяцы подобные инструменты помогли обнаружить несколько серьёзных проблем в проектах с открытым исходным кодом, включая критическую уязвимость Copy Fail, затронувшую почти все дистрибутивы Linux в мае. Одновременно увеличение числа автоматических проверок создаёт и дополнительную нагрузку на разработчиков. Некоторые проекты с открытым исходным кодом уже с трудом справляются с потоком отчётов об ошибках, созданных ИИ-моделями. Среди тех, кто столкнулся с этой проблемой, оказались Линус Торвальдс (Linus Torvalds) и даже компания Google. Китайские разработчики отказались притормозить ИИ-гонку — за сентябрь они выпустили 16 новых моделей
07.10.2026 [16:06],
Алексей Разин
Пока американские разработчики призывают к замедлению развития ИИ ради общественной безопасности, китайские разработчики руководствуются собственными приоритетами. В итоге за прошлый месяц китайские компании успели выпустить 16 совершенно новых ИИ-моделей. 
Источник изображения: Unsplash, Steve A Johnson Напомним, что призывы генерального директора Anthropic Дарио Амодеи (Dario Amodei) не были встречены единодушной поддержкой даже среди участников американского рынка, а на политическом уровне нашли ещё меньше понимания. Президент США Дональд Трамп (Donald Trump) хоть и поприветствовал внедрение механизмов саморегулирования в ИИ-отрасли, поддерживать идею намеренного замедления развития не стал, ссылаясь на конкурентную угрозу со стороны Китая. Общение Трампа с Си Цзиньпином (Xi Jinping) к каким-то совместным декларациям на эту тему тоже не привело. Своё эссе с призывами замедлить развитие ИИ Амодеи опубликовал в середине сентября. Издание Nikkei Asian Review подсчитало, что десять ведущих китайских разработчиков по итогам сентября успели выпустить 16 новых моделей, которые не являются продуктом переработки или оптимизации уже существующих. Среди них были и модели, ориентированные на генерацию аудио и видео, которые чисто формально существенной угрозы человечеству не несут, если не считать злоупотреблений в сфере подмены личности. Китайские компании сконцентрированы на создании достаточно «легковесных» ИИ-моделей, которые ограничиваются умеренным количеством параметров, а в своём применении оказываются не столь затратными и при этом достаточно гибкими. По данным сайта BenchLM, в период с июля по сентябрь включительно восемь крупных китайских разработчиков выпустили 20 больших языковых моделей. При этом за первый квартал текущего года они выпустили всего две модели, а с апреля по июнь вышло уже 17 моделей. Прослеживается усиление активности китайских компаний на этом направлении. В период с января по сентябрь американские разработчики выпустили 59 моделей, что на 50 % превышает показатели китайской ИИ-отрасли на том же интервале. В отдельные месяцы текущего года китайским разработчикам удавалось превзойти по своей активности американских соперников. Спрос на недорогие ИИ-модели растёт по мере распространения ИИ-агентов, которые потребляют большие количества токенов — единиц измерения обработки данных. Китайские разработчики в этом смысле хорошо понимают потребности рынка. При этом они не забывают и о разработке высокопроизводительных ИИ-моделей. В прошлом месяце Alibaba анонсировала намерения создать версию модели Qwen с количеством параметров от 5 до 10 трлн. Предыдущая флагманская модель Alibaba этой серии, которая вышла в августе, насчитывает 2,4 трлн параметров. С точки зрения быстродействия передовые американские модели пока превосходят китайские, но отставание сокращается, по мнению многих экспертов. При этом китайские модели остаются более доступными для клиентов по стоимости, разрыв может достигать 20–50 раз для одного и того же задания по сравнению с передовыми моделями американской Anthropic. Дарио Амодеи уделил в своей публикации внимание «китайской угрозе» и призвал не только усилить контроль за экспортом передовых ИИ-чипов, но и бороться с так называемой «дистилляцией», которая позволяет китайским компаниям быстрее обучать собственные модели, используя данные и возможности американских. Нельзя утверждать, что китайских разработчиков вопросы безопасности ИИ не беспокоят. Глава DeepSeek Лян Вэньфэн (Liang Wenfeng) в прошлом месяце выступил соавтором одной их публикаций на эту тему. Труд был посвящён безопасным методам обучения ИИ-агентов. РТК-ЦОД представил корпоративного ИИ-ассистента для безопасной работы с документами и базами знаний
06.10.2026 [10:00],
Сергей Карасёв
РТК-ЦОД, ИТ-сервис-провайдер полного цикла, представил на форуме «Цифровые решения» корпоративного ИИ-ассистента для организаций с повышенными требованиями к защите данных. Решение разработано в сотрудничестве с блоком информационных технологий «Ростелекома». ИИ-ассистент помогает сотрудникам мгновенно находить и анализировать информацию во внутренних документах и базах знаний. Продукт подходит для крупного бизнеса и способен оперировать тысячами файлов разных форматов, при этом данные никогда не покидают периметр организации. В основе работы ИИ-ассистента лежит технология RAG (Retrieval-Augmented Generation): получив запрос на естественном языке, система находит релевантные фрагменты в подключённой базе знаний и формирует ответ, опираясь только на предоставленный контекст. Такой подход обеспечивает точные и верифицируемые результаты. При этом вся обработка выполняется внутри инфраструктуры заказчика, без обращения к внешним API или облачным платформам. Это делает решение безопасным для работы с чувствительной информацией, персональными данными и документами ограниченного доступа. Интеллектуальный помощник не только находит информацию, но и анализирует данные. По запросу он формирует сводные обзоры документов, сравнивает версии, проверяет материалы на соответствие чек-листу или стандарту, классифицирует и группирует данные, извлекает сведения в табличной форме и готовит краткое содержание. Отдельно реализована работа с табличными файлами: ассистент понимает структуру реестров, прайс-листов и расчётов и может выдать выборку строк по заданному условию. 
Источник изображения: РТК-ЦОД Для специалистов по эксплуатации и мониторингу предусмотрена возможность скопировать в чат ассистента запись из системного журнала, набор метрик, текст алерта или вывод диагностической команды. Интеллектуальный помощник объяснит значение события, оценит его вероятную причину и предложит рекомендации по реагированию, опираясь на регламенты эксплуатации и историю разборов инцидентов. Диалог поддерживается с учётом контекста: уточняющие вопросы обрабатываются в рамках текущей сессии, и повторять уже сказанное не требуется. Вопросы безопасности и контроля проработаны на всех уровнях. Архитектура поддерживает мультитенантность — несколько подразделений или клиентов могут работать на одной инсталляции с полным разделением данных и конфигураций. Гранулярная система прав доступа (RBAC) позволяет разграничить возможности вплоть до отдельных операций, а для баз знаний предусмотрены настройки уровней доступа. Каждое изменение конфигурации фиксируется в истории, а действия пользователей логируются. Встроенная очередь с ограничением одновременных запросов защищает инфраструктуру от перегрузок, а маршрутизация простых обращений на быстрые модели помогает оптимизировать затраты. «Ключевым барьером для широкого внедрения генеративного ИИ в коммерческом и государственном секторах остаётся вопрос доверия к технологии. Мы видим спрос на изолированные решения, которые гарантируют сохранность критичных данных, и для нас как для цифрового партнёра государства и бизнеса важно предлагать варианты безопасного применения новых технологий. Представленный ассистент — это "частный ИИ", который учится на корпоративных знаниях, оставаясь внутри защищённого периметра. Благодаря такому подходу мы открываем доступ к генеративному искусственному интеллекту для широкого круга организаций — от финансовых институтов до промышленных предприятий и государственных структур, которые ранее не могли применять подобные инструменты из-за строгих требований к защите информации», — заявил Роман Хазеев, директор по развитию цифровых технологий и искусственного интеллекта «Ростелекома». «РТК-ЦОД как ИТ-сервис-провайдер полного цикла обладает полным арсеналом сервисов для цифровизации бизнеса. Сегодня без технологий искусственного интеллекта невозможно представить эффективную работу, а по аналитическим данным, ROI от внедрения ИИ достигает 250 %. Наш корпоративный ассистент эффективен для самых разных функций: юристы мгновенно находят нужные пункты в договорах, инженеры и техспециалисты получают точные ответы по спецификациям и алертам, а финансисты — оперативные выборки из бюджетов. При этом безопасность остаётся нашим приоритетом: вся обработка данных ведётся в защищённом контуре заказчика, а гранулярная система прав доступа и полное логирование обеспечивают надёжный контроль. Участие блока информационных технологий "Ростелекома" в проработке технологического контура позволило нам вывести продукт на качественно новый уровень надёжности и производительности. Платформа уже готова к развёртыванию на инфраструктуре клиента и сопровождается технической поддержкой с нашей стороны», — заявил Алексей Забродин, технический директор РТК-ЦОД. Трамп нашёл нового «ИИ-царя» — «Силами сверхинтеллекта» будет руководить глава нацразведки
04.10.2026 [07:30],
Алексей Разин
О необходимости создания правительственного органа, регулирующего вопросы безопасности ИИ, Дональд Трамп (Donald Trump) говорил недавно на встрече с представителями отрасли. Теперь он назначил ключевого чиновника, который будет курировать развитие ИИ в США — новым «ИИ-царём» стал директор национальной разведки Джей Клейтон (Jay Clayton). 
Источник изображения: Sullivan & Cromwell LLP Первым об этом назначении сообщило издание The Wall Street Journal, которое и взяло интервью у чиновника. Клейтон возглавит правительственный орган, в обязанности которого будет входить оценка рисков в сфере искусственного интеллекта и определение степени влияния правительства США на развитие профильной отрасли. «Президент попросил создать группу, которая будет заниматься тем, о чём он говорил, обеспечивая сохранение нашего лидерства в сверхинтеллекте с учётом интересов американского народа на первом месте», — заявил Клейтон в интервью. Профильный орган получил обозначение «Силы сверхинтеллекта» (Super Intelligence Force), отображая директиву Трампа по замене термина «искусственный интеллект» (AI) на более политически нейтральный «superintelligence». Вновь созданная правительственная структура свой первый отчёт о положении дел в отрасли должна будет подготовить в течение 120 дней. Помимо рисков, орган будет оценивать и возможности, открывающиеся для США в свете развития передовых ИИ-моделей. По мнению самого Клейтона, риск упущения лидерства в данной сфере довольно высок. Возглавляемая им структура будет предлагать меры воздействия на сферу ИИ со стороны уже существующих федеральных органов власти США. В состав органа правления данной структуры в должности заместителей председателя (Клейтона) войдут Эмиль Майкл (Emil Michael, заместитель министра обороны США), Скотт Купор (Scott Kupor, директор Управления кадровой службы США) и председатель Федеральной комиссии по торговле Эндрю Фергюсон (Andrew Ferguson). В качестве рядовых членов совета в составе будут числиться вице-президент США Джей-Ди Вэнс (JD Vance), министр обороны Пит Хегсет (Pete Hegseth), министр финансов Скотт Бессент (Scott Bessent) и глава аппарата Белого дома Сьюзи Уайлс (Susie Wiles). На роль внешних советников приглашены бывший «ИИ-царь» Дэвид Сакс (David Sacks) и бывший госсекретарь США Кондолиза Райс (Condoleezza Rice). Попутно издание Axios распространило слова министра финансов США Скотта Бессента (Scott Bessent), который упрекнул разработчиков ИИ в нагнетании паники относительно экзистенциальных угроз для человечества. По его мнению, отрасль должна заняться саморегулированием и предложить готовые решения: «Именно люди в лабораториях должны взять на себя ответственность, и я с этим согласен. Я считаю, что лаборатории к подобным мыслям уже тоже пришли». OpenAI покинул глава команды безопасности — он сомневался, что компания успевает за собственным ИИ
03.10.2026 [14:47],
Владимир Мироненко
Стало известно, что ещё на прошлой неделе компанию OpenAI покинул Дэвид Робинсон (David Robinson). В OpenAI он возглавлял команду Safety Systems, несущую ответственность за вопросы безопасности ИИ. Это стало ещё одним ударом по системе безопасности компании, уволившей на днях трёх сотрудников OpenAI из-за передачи сторонним компаниям секретных сведений. 
Источник изображения: Growtika/unsplash.com Робинсон занимался обеспечением прозрачности в области безопасности в OpenAI. В частности, он участвовал в разработке и публикации информационных карточек (system cards), предоставляющих информацию о её ИИ-моделях. Ранее Робинсон руководил планированием политики компании. OpenAI оказалась в центре внимания общественности после ряда громких инцидентов, связанных с обеспечением безопасности работы ИИ-моделей, включая нашумевший взлом платформы Hugging Face. На этой неделе главу OpenAI Сэма Альтмана (Sam Altman) вместе с руководителем Anthropic Дарио Амодеи (Dario Amodei) должны были заслушать в сенате Австралии по делу о взломе ИИ-агентами OpenAI правительственных сайтов Австралии и США. Из-за взлома Hugging Face и игнорирования рисков использования автономного ИИ на OpenAI подали в суд, а Федеральная торговая комиссия (FTC) США начала масштабную проверку деятельности компаний в сфере ИИ, включая Anthropic, OpenAI и т.д. Ранее в сентябре Робинсон высказал в соцсети X мнение, что сотрудники OpenAI начинают осознавать последствия внедрения высокоэффективных моделей ИИ. Он отметил, что ситуация в компании меняется стремительно — буквально с каждым днем — и выразил сомнение в том, что команда достаточно быстро реагирует на эти изменения. Он покинул OpenAI вслед за уходом из Anthropic исследователя Джейкоба Коксона (Jacob Coxon), предупредившего, что Anthropic и OpenAI «стремительно движутся к созданию самосовершенствующегося суперинтеллекта и ставят на кон наши жизни». |
© 1997—2026 3DNews
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
