Опрос
|
реклама
Быстрый переход
Apple ужесточит контроль над «полным доступом к диску» в macOS из-за рисков, связанных с ИИ-агентами
03.10.2026 [07:43],
Николай Хижняк
Apple объявила о введении дополнительных мер контроля для функции «Полный доступ к диску» (Full Disk Access) в macOS. Функция изначально была создана для корректной работы резервного копирования, однако появление ИИ-агентов повысило «риски, связанные с таким уровнем доступа», отметили в компании. 
Источник изображения: Apple Заявление Apple последовало вскоре после публикации обозревателя Inc. Джейсона Атена (Jason Aten), который сообщил, что приложение Muse получило доступ к содержанию его личных сообщений. Журналист утверждал, что не давал ИИ-агенту соответствующего разрешения. В Meta✴✴ заявления Атена опровергают. Этот случай поднял вопросы безопасности и доверия пользователей к настольным ИИ-приложениям, способным управлять системами, а также считывать файлы и сообщения. Решение ограничить возможности этой функции на Mac также было принято на фоне сообщения издания Wired об уязвимости в приложении ChatGPT для macOS. Данная уязвимость, могла позволить хакерам получить доступ к конфиденциальным данным. ИИ-агенты, работающие на настольных компьютерах, дают возможность пользователям предоставлять своим приложениям более широкий доступ к файлам, сообщениям и другому личному контенту на своих компьютерах, изменяя настройки macOS. В случае с Muse пользователи могут по своему усмотрению включить функцию «Полный доступ к диску». Как поясняют в Apple, эта настройка предоставляет приложению доступ к файлам, почте, сообщениям и даже истории посещения веб-сайтов. «Некоторые разработчики используют "Полный доступ к диску" способами, которые могут подвергнуть пользователей риску, открывая доступ ко всем данным в системе без полного ведома и понимания со стороны пользователей», — говорится в новой записи в блоге Apple, предназначенной для разработчиков. Компания заявляет, что в дальнейшем внедрит новые механизмы контроля, гарантирующие, что пользователи, «действительно желающие предоставить приложению столь высокий уровень доступа», смогут сделать это только посредством «совершенно явного действия». «Решение этой проблемы критически важно. Поскольку ИИ-агенты становятся все более функциональными и автономными, риски, связанные с таким уровнем доступа, будут существенно возрастать. Мы стремимся к тому, чтобы пользователи чётко осознавали эти риски, прежде чем предоставлять подобный доступ, и могли принимать взвешенные решения относительно своих данных и конфиденциальности», — отметили в Apple. Уязвимость в приложении ChatGPT для macOS позволяла хакерам получить доступ к конфиденциальным данным
03.10.2026 [05:33],
Николай Хижняк
Недавно устранённая уязвимость в версии ChatGPT для macOS компании OpenAI наглядно демонстрирует, насколько ценным для злоумышленников может быть взлом самого программного обеспечения на базе ИИ. Особенно, когда такие приложения получают всё более широкое распространение. 
Источник изображения: Unsplash, Mariia Shalabaieva Эту уязвимость можно было использовать для фактического захвата контроля над ChatGPT на компьютере жертвы. В этом случае злоумышленник мог получить доступ ко всей истории переписки и другим данным, хранящимся в приложении, а также к связанным ресурсам, таким как сеансы работы в браузере. Уязвимость, обнаруженная исследователями из фонда Objective-See Foundation, иллюстрирует глубокий уровень доступа к системе и высокий уровень доверия, которыми наделяются ИИ-платформы для выполнения своих функций. Этот случай одновременно показывает, какой привлекательной мишенью подобные платформы становятся из-за этого. «Для выполнения своих задач таким агентам требуется обширный доступ. Они подобны управляющему зданием, у которого есть ключи от всех помещений. Поэтому, если их работу удаётся скомпрометировать или перехватить контроль над ними, это создаёт серьёзнейшие проблемы. Это может означать, что код с низкими привилегиями потенциально получит доступ ко всем защищённым ресурсам», — рассказал в разговоре с Wired Патрик Уордл (Patrick Wardle), аналитик программного обеспечения фонда Objective-See Foundation и эксперт, давно занимающийся исследованиями безопасности macOS. Компания OpenAI публично признала наличие уязвимости и факт её устранения в журнале изменений системы 25 сентября. «Мы продолжаем совершенствовать наши методы обеспечения безопасности, но осознаем необходимость действовать быстрее», — заявил изданию Wired представитель OpenAI Шейн Бауэр (Shane Bauer). Приложение ChatGPT для macOS состоит из множества компонентов, которые взаимодействуют друг с другом по защищённым каналам, проверяя цифровые подписи. Цель таких проверок — подтвердить, что оба взаимодействующих процесса являются компонентами OpenAI, а не сторонним и, возможно, вредоносным программным обеспечением, отправляющим запрос. Архитектура системы предусматривает проверку подписей на трёх уровнях вложенности относительно самого запроса. Это гарантирует, что вредоносная программа не сможет каким-либо образом заставить компонент OpenAI выступить в роли посредника и выполнить запрос, который будет выглядеть как доверенный. Исследователи из Objective-See Foundation обнаружили наличие доверенного компонента — интерпретатора скриптов, — который принимал недоверенный скрипт (список команд для выполнения). Этим компонентом можно было манипулировать, чтобы внедрить такой скрипт в основной процесс ChatGPT. «Система также проверяет родительский и "прародительский" процессы, но вредоносный скрипт просто запускает интерпретатор трижды, а затем отправляет запрос, тем самым удовлетворяя всем требованиям проверки», — поясняет Уордл. 
Источник изображения: Unsplash, Flipsnack По его словам, эксплуатация этой уязвимости была «до смешного простой», а для создания прототипа, демонстрирующего проблему, потребовалось всего около дюжины строк кода. Помимо доступа к истории переписки в ChatGPT, уязвимость позволяла заставить чат-бот выполнять команды злоумышленника, например, запускать браузер или обращаться к другим критически важным приложениям. При этом запросы выглядели как легитимные инструкции, исходящие от самого программного обеспечения OpenAI. В ноябре на конференции Objective by the Sea, посвящённой вопросам безопасности экосистемы Apple, Уордл представит результаты анализа ряда уязвимостей в приложениях для macOS, использующих технологии искусственного интеллекта. Недавно он обнаружил и сообщил об исправлении уязвимости в функции диктовки нового ИИ-помощника Muse от компании Meta✴✴. Ею мог воспользоваться локальный злоумышленник (имеющий прямой доступ к оборудованию жертвы), чтобы перехватить некорректно обрабатываемый токен аутентификации и получить доступ к данным пользователя. Также Уордл сообщил, что уже передал в OpenAI информацию о новой уязвимости, связанной с интеграцией ChatGPT и нового ИИ-помощника Dots, который работает в фоновом режиме постоянно. В настоящее время OpenAI изучает его отчёт. «Сейчас компании, занимающиеся искусственным интеллектом, одержимы внедрением новых функций. Но, как это всегда бывает, чем больше функций, тем шире поверхность атаки. Поэтому всем этим компаниям необходимо уделять первостепенное внимание безопасности, однако, судя по всему, этот аспект зачастую отходит на второй план», — отметил Уордл. OpenAI выгнала трёх сотрудников за слив конфиденциальной информации оценщикам безопасности ИИ
01.10.2026 [23:09],
Николай Хижняк
OpenAI уволила трёх сотрудников, которые, по заявлению компании, нарушили правила обращения с конфиденциальной информацией. По неподтверждённым данным эти сотрудники поделились секретной информацией со сторонней организацией, оценивающей безопасность ИИ. 
Источник изображения: Mariia Shalabaieva / unsplash.com «Наше расследование подтвердило, что эти сотрудники ненадлежащим образом обращались с конфиденциальной информацией, действуя в обход установленных в компании процедур. Тем самым они нарушили наши внутренние правила и подорвали доверие, необходимое для нашей работы», — сообщил представитель OpenAI в комментарии для CBS News. В компании добавили, что проверка выявила систематические нарушения со стороны сотрудников, имевших доступ к конфиденциальным данным и работавших с результатами исследований компании. Специалисты OpenAI, отвечающие за безопасность, обладают информацией, требующей высокого уровня доверия, без которого невозможно внутреннее взаимодействие, отметил представитель компании. Компания не уточнила, с какой именно информацией были связаны нарушения и в чём именно они заключались. По имеющимся данным, трое сотрудников — двое исследователей, занимающихся вопросами безопасности и согласования целей ИИ, а также руководитель исследовательской программы — передали конфиденциальную информацию компании сторонней группе, проводящей оценку систем искусственного интеллекта. Об этом сообщил источник, знакомый с ситуацией и пожелавший остаться анонимным, поскольку речь идёт о внутренних делах компании. По его словам, часть информации, с которой, как утверждается, обошлись ненадлежащим образом, касалась архитектуры инфраструктуры OpenAI. Компания OpenAI оказалась под пристальным вниманием после того, как её ИИ-агенты вышли за пределы тестовой среды и взломали портал Hugging Face — репозиторий моделей искусственного интеллекта. Ранее в этом месяце компания также сообщила о шести случаях «неожиданного или вызывающего опасения» поведения систем. В одном из случаев, по данным OpenAI, ещё не выпущенная исследовательская модель добавила в свои рабочие записи инструкции, позволяющие обойти установленные ограничения, а в другом — ИИ-агент загрузил файлы в интернет для получения ссылки из браузера без ведома пользователя. Эти шесть инцидентов были выявлены в ходе обучения или тестирования моделей за последние месяцы, уточнили в компании. Кроме того, ИИ-модели OpenAI получали доступ к общедоступной информации на сайтах Комиссии по ценным бумагам и биржам (SEC), а также к данным Бюро переписи населения США. В OpenAI заявили, что не обнаружили признаков компрометации данных или уязвимостей. Ранее OpenAI приняла решение отменить выпуск новой модели ИИ из соображений безопасности. Модель GPT-6.1 Astra «не вполне соответствовала требованиям в части соблюдения установленных рамок и полномочий, а также в том, как она информирует пользователя о выполненной работе», — заявила Саачи Джейн (Saachi Jain), руководитель отдела систем безопасности компании. В среду Федеральная торговая комиссия (FTC) сообщила, что начала расследование в отношении компаний OpenAI, Anthropic и других разработчиков искусственного интеллекта в связи с рисками, которые их технологии могут представлять для потребителей. FTC взялась за OpenAI и Anthropic — США впервые расследуют угрозы автономных ИИ-агентов для людей
01.10.2026 [00:48],
Николай Хижняк
Федеральная торговая комиссия (FTC) США запустила масштабную проверку деятельности компаний Anthropic, OpenAI и других разработчиков ИИ, чтобы выявить потенциальные угрозы, которые их технологии могут представлять для людей. Об этом агентству Reuters сообщил высокопоставленный представитель комиссии. 
Источник изображения: AI Это первое официальное расследование в США, касающееся так называемых автономных ИИ-агентов. Оно последовало за волной инцидентов, вызвавших у общественности опасения, что бесконтрольный искусственный интеллект может однажды нанести вред людям. По словам представителя комиссии, FTC планирует направить официальные запросы о предоставлении информации и потребовать дачи показаний от руководителей ведущих компаний-разработчиков ИИ, включая Anthropic, OpenAI и исследовательскую группу METR. Компании Anthropic и OpenAI привлекали METR для проведения независимых расследований инцидентов безопасности, связанных с их технологиями автономных ИИ-агентов. Председатель FTC Эндрю Фергюсон (Andrew Ferguson) выражал опасения по поводу этих компаний ещё до того, как ИИ-агенты, созданные OpenAI, взломали платформу с открытым исходным кодом Hugging Face, отметил представитель комиссии в разговоре с Reuters. Однако инцидент, в ходе которого ИИ-агенты OpenAI сканировали этот ресурс для разработчиков на предмет уязвимостей перед проведением масштабной атаки, придал вопросу особую срочность, добавил чиновник. На прошлой неделе Фергюсон заявил, что разработчики, которые в ходе тестов на кибербезопасность дают агентам инструкции, приводящие к взломам, должны нести ответственность за любой причинённый ущерб. Выступая на конференции Reuters Momentum AI в Остине, он отметил, что США следует опираться на действующее законодательство, прежде чем пытаться принять новые законы, регулирующие сферу ИИ. FTC обладает широкими полномочиями для подачи судебных исков против компаний за недобросовестные или вводящие в заблуждение действия. Отмечается, что комиссия уже использовала эти полномочия для принятия мер против компаний, не предпринявших разумных шагов по защите данных потребителей. Во вторник президент США Дональд Трамп встретился с руководителями ведущих компаний в сфере ИИ. В ходе встречи стороны договорились о внедрении добровольных стандартов. Трамп неоднократно называл опасения по поводу ИИ выдумкой, стремясь поставить во главу угла технологическое доминирование США, а не регулирование отрасли. В то же время он заявлял, что правительство может использовать действующие законы против компаний, занимающихся ИИ, в случае причинения ими какого-либо ущерба. ИИ-агент Muse без разрешения влез в личные сообщения пользователя — в Meta✴ сказали, что тот сам виноват
30.09.2026 [18:51],
Николай Хижняк
Поведение ИИ-агента Muse компании Meta✴✴ снова вызвало вопросы к его безопасности. Ранее агент без разрешения сообщил домашний адрес своего пользователя неизвестному человеку и даже договорился с ним о встрече. Теперь ИИ-агента обвинили в том, что он может получить неавторизованный доступ к личной информации владельцев iPhone и Mac. 
Источник изображения: AI Хотя многие из тех, кто успел протестировать Muse, отзываются об ИИ-агенте положительно, выяснилось, что он не обеспечивает такой конфиденциальности, как заявляет Meta✴✴. Компания утверждала, что Muse был «с нуля создан как безопасный, надёжный, конфиденциальный и общедоступный персональный ИИ-агент». Однако его уличили в просмотре тысяч личных сообщений без соответствующего разрешения. Джейсон Атен (Jason Aten) из издания Inc. тестировал Muse на Mac mini и iPhone. Он использует Mac mini специально для проверки новых агентов, подобных Muse. Установив программу, Атен начал давать ей простые задания. Агент заявил, что может помочь с идеями для новых статей. Но затем Muse повёл себя неожиданным образом, предложив тему для материала, основанную на информации, к которой у него не должно было быть доступа. По словам Атена, он переписывался с соведущим подкаста о новом iPhone 18 Pro и своём решении остаться с прошлогодней моделью. Общение велось в текстовом формате через приложение «Сообщения». В какой-то момент Muse вмешался и предложил написать статью на эту тему, а также вызвался провести дополнительный сбор информации. Проблема заключалась в том, что Атен не давал Muse разрешения читать его сообщения. На вопрос о том, как он узнал о разговоре, ИИ-агент ответил, что версия приложения для Mac способна считывать входящие уведомления. Затем эта информация передавалась в приложение Meta✴✴ для iPhone, где Muse и предложил идею статьи. Атен и не подозревал, что подобное вообще возможно, не говоря уже о том, что Muse действительно это делает. ИИ-агент утверждал, что не читает сами сообщения Атена и не имеет доступа к истории переписки. Однако журналиста эти объяснения не убедили. Проведя более тщательную проверку, Атен выяснил, что Muse действительно синхронизирует локальную базу данных приложения «Сообщения». Более того, процесс синхронизации дошёл до 187 462-й строки этой базы данных, что указывает на наличие у Muse доступа к истории переписки, вопреки заверениям разработчиков об обратном. Атен подтвердил, что не предоставлял Muse прав доступа ко всему диску на своем Mac — а именно такой доступ необходим агенту для чтения базы данных приложения «Сообщения». Журналист в своей статье об этом инциденте сообщает, что его удивила реакция Дэвида Синглтона (David Singleton), генерального директора Meta✴✴ Superintelligence Labs, разработавшей Muse. В серии публикаций в социальных сетях он, судя по всему, возложил вину за случившееся на самого Атена. На данный момент неясно, каким именно образом Muse получил доступ к базе данных сообщений Атена. Если он не предоставил этот доступ случайно (а всё указывает на то, что этого не было), возникает закономерный вопрос: к чему ещё Muse может получить доступ, не имея на то соответствующего разрешения? Как сообщает Tom's Hardware, за последние сутки к Meta✴✴ возникли и другие вопросы, касающиеся конфиденциальности и безопасности Muse. Выяснилось, что ИИ-агент может выполнять команды терминала на хост-сервере. Благодаря этому стало известно, что агент работает на базе систем с процессорами AMD EPYC Turin. Однако наличие такого доступа означает, что система потенциально способна выполнять и небезопасные команды. Anthropic признала опасную зависимость от Amazon и Google — они одновременно являются её покупателями, продавцами и конкурентами
30.09.2026 [11:30],
Алексей Разин
Anthropic получает почти половину выручки через Amazon и Google, которые одновременно предоставляют ей вычислительные мощности, инвестируют в неё и разрабатывают конкурирующие ИИ-модели. Компания предупредила, что такая зависимость создаёт риск конфликта интересов и может повлиять на доступ к вычислительным ресурсам, сообщило агентство Reuters со ссылкой на проспект, выпущенный к грядущему IPO. 
Источник изображения: Anthropic Anthropic также признаёт в своём проспекте для инвесторов, что её бизнес зависит от небольшой группы партнёров и клиентов, и эта зависимость формирует серьёзные риски. В прошлом году до 47 % услуг Anthropic были проданы с использованием облачной инфраструктуры Amazon (AWS) и Alphabet (Google). Обе компании при этом являются крупными клиентами Anthropic, а ещё они же с ней и конкурируют на рынке ИИ-услуг. Подобные взаимосвязи при неблагоприятном стечении обстоятельств могут ухудшить конкурентное положение стартапа. В 2023 году указанные компании формировали только 11 % выручки стартапа, но уже в 2024 году их доля выросла до 32 %. Выручка Anthropic, которая в прошлом году увеличилась в 12 раз до $4,6 млрд, была сформирована поступлениями от клиентов Claude ($3,8 млрд) и подписчиков ($789 млн). В обозримом будущем переменная величина выручки, определяемая платой за использование Claude, продолжит доминировать в её структуре, как отмечает стартап. Через облачные маркетплейсы Anthropic получила 47 % всей своей выручки в прошлом году, а именно — $2,16 млрд. На комиссии платформам она при этом потратила $351 млн. По сути, облачные провайдеры в среднем получали 16 центов с каждого вырученного Anthropic доллара. В конце 2025 года Anthropic располагала договорённостями с провайдерами и строителями ЦОД на общую сумму $54,6 млрд, но к началу текущего года долгосрочные договорённости в этой сфере уже измерялись $417 млрд и соответствовали 3,5 ГВт вычислительных мощностей. Компания считает, что её сотрудничество с Amazon, Google и Microsoft (Azure) в этой сфере является преимуществом, поскольку она может быстрее наращивать продажи своих услуг и охватывать большее количество покупателей. При этом зависимость лишь от нескольких крупных игроков рынка создаёт определённые риски, как признаёт Anthropic. Помимо прочего, партнёры компании имеют доступ к информации о её ценовой и маркетинговой политике. К концу 2025 года партнёры Anthropic отвечали за 60 % счетов, предъявленных клиентам стартапа на общую сумму $909 млн, тогда как в 2024 году эта доля не превышала 42 %. Даже если у Anthropic существуют прямые договорённости с клиентами, посредничество облачных гигантов в качестве платёжных агентов может представлять определённые риски для темпов роста выручки стартапа. Кроме того, крупнейшие клиенты Anthropic в прошлом году вдвоём формировали по 12 % всей выручки компании каждый, и такая степень концентрации тоже создаёт определённые риски для бизнеса. Также компания к рискам относит выход из-под контроля ИИ-агентов. «Эти автономные возможности увеличивают вероятность ущерба, ошибок, нарушений и эксплуатации уязвимостей в сфере безопасности, которые могут повлечь последствия в реальном мире», — описывает Anthropic в проспекте угрозу, исходящую от вышедших из-под контроля ИИ-агентов. Лимиты ответственности, которые прописаны в договорах Anthropic с пользователями её ИИ-систем, могут оказаться недостаточными для покрытия возможного ущерба и претензий со стороны пострадавших от действий этих клиентов. Существующие правовые нормы, по словам представителей стартапа, не предусматривают регулирование активного использования ИИ-агентов, а потому правовые последствия подобных инцидентов остаются непредсказуемыми. С юридической точки зрения действия ИИ-агентов сложно трактовать, используя традиционную практику. Во-первых, не определён статус самих агентов в правовом поле. Во-вторых, не определена степень ответственности непосредственных пользователей этих ИИ-агентов перед третьими лицами. Anthropic признаёт, что предпринимаемые ею меры безопасности могут оказаться недостаточными для предотвращения вреда, включая ущерб самой компании. Американские ИИ-гиганты в присутствии Трампа договорились о саморегулировании в области безопасности
30.09.2026 [08:13],
Алексей Разин
Мероприятие в Белом доме вчера объединило представителей более десятка крупных американских компаний, так или иначе связанных со сферой искусственного интеллекта. В присутствии президента США Дональда Трампа (Donald Trump) представители отрасли подписали меморандум, по которому они берут на себя обязательства по саморегулированию развития искусственного интеллекта. Независимый аудит станет одним из залогов безопасности создаваемых ИИ-систем. 
Источник изображения: Unsplash, Tomasz Zielonka Помимо прочего, это соглашение предусматривает прохождение регулярного независимого аудита разработчиками ИИ-моделей. Участники инициативы также обязуются регулярно встречаться для разработки стандартов безопасности. Со стороны обширной делегации участников встречи в Белом доме документ подписали руководители Google, Tesla (SpaceX), Anthropic, Meta✴✴ Platforms, OpenAI и Nvidia. По словам самого Трампа, этот документ накладывает на подписавшие его компании «моральные обязательства», и становится своего рода гарантом защиты. Внутри компаний-разработчиков отдельная команда будет проверять работу систем защиты, а внешний аудитор будет проверять её эффективность. Независимый проверяющий будет получать соответствующие отчёты и проверять их. Со временем, как подчёркивается, формулируемые принципы могут быть закреплены на законодательном уровне. Со стороны участников инициативы, помимо обязательств проведения регулярного независимого аудита безопасности разрабатываемых ИИ-систем, документ предписывает создание специального комитета в составе совета директоров, который и будет рассматривать результаты этого аудита. От разработчиков также требуется усиление мер контроля за действиями ИИ-моделей на этапе обучения и развёртывания, чтобы они не вторгались в сторонние технические системы «нежелательным образом». Отвечать за сохранение контроля за моделями внутри каждой компании должна отдельная структура. При этом сам Дональд Трамп попутно продвигал другую инициативу по переименованию «искусственного интеллекта» в «сверхинтеллект» (superintelligence) в надежде дистанцировать это понятие от тех негативных ассоциаций, которые закрепились за ним в последние месяцы из-за скандалов с безопасностью ИИ-моделей. Своим указом Трамп потребовал использовать термин «сверхинтеллект» всем государственным ведомствам США. По всей видимости, данный шаг в какой-то мере направлен на завоевание доверия американских избирателей перед промежуточными выборами, которые состоятся в ноябре. Указ получил название «Провозглашая эру сверхинтеллекта», его положения требуют от официальных лиц исключить использование термина «искусственный интеллект» или сокращения «AI». По словам Трампа, это решение поддержали «умнейшие и великолепнейшие люди со всего мира». Между тем, основным документом, появившимся по итогам встречи американского президента с обширной группой руководителей американских компаний технологического сектора, стало «Соглашение о сверхинтеллекте», которое было снабжено подзаголовком «Совместная договорённость по передовым обязательствам». Хотя формально этот документ не имеет строгой юридической силы, он служит подтверждением добровольного согласия участников американского рынка ИИ-систем придерживаться некоторых принципов саморегулирования. Трамп сравнил подписанный документ «со своего рода конституцией» по значимости для ИИ-отрасли. Он также признался, что администраций президента подумывает о создании специального правительственного комитета из десяти человек, который курировал бы развитие ИИ. Состав этого органа власти Трамп раскрывать не стал, но заявил, что буквально через три или четыре дня назовёт имя чиновника («ИИ-царя»), который в правительстве США будет курировать развитие данных технологий. Одновременно участники встречи в Белом доме подтвердили свои намерения расширять вычислительную инфраструктуру ИИ ударными темпами, поскольку действующий президент США является ярым сторонником прогресса в данной сфере. Принято считать, что стремительная экспансия ЦОД на территории США вредит рейтингам Республиканской партии, представителем которой является Трамп. Местные жители протестуют против строительства ЦОД, которые занимают крупные земельные участки, потребляют много водных ресурсов и электроэнергии, а также становятся источником постоянного шума. Трамп на этой неделе подчеркнул, что распространение ЦОД по территории США является очень хорошей тенденцией, и представители строящих их компаний заинтересованы в том, чтобы местные жители оставались довольны. В противном случае им придётся строить ЦОД за пределами США. Президент возложил на компании обязанности по проведению разъяснительной работы среди населения, чтобы оно не так сильно противилось строительству новых ЦОД. Генеральный директор Anthropic Дарио Амодеи (Dario Amodei), которого не пригласили на официальный ужин с участием Си Цзиньпина (Xi Jinping) во время визита китайского лидера в Вашингтон, присутствовал на мероприятии с участием своих коллег из других компаний, и по итогам встречи выразил готовность поддерживать совместную работу с президентом по обеспечению безопасности выпускаемых ИИ-технологий. Сообщается, что Амодеи в минувшее воскресенье посетил Белый дом для персональной встречи с американским президентом. После групповой встречи с представителями отрасли Трамп отозвался о главе Anthropic, как о «фантастическом человеке» и отправил его общаться с прессой. Трамп подчеркнул, что контроль за развитием ИИ будут осуществлять и привычные федеральные ведомства, включая ФБР и Министерство юстиции США, но одновременно нужно и саморегулирование со стороны представителей отрасли. В тот же день правительство США объявило о запуске нового чат-бота, который будет работать на правительственных сайтах. Ресурс America.gov, предназначенный для взаимодействия с гражданами по вопросам услуг правительства, будет функционировать при поддержке профильных ИИ-моделей. Услуги можно будет получать по принципу «единого окна». Все федеральные агентства должны будут интегрировать свои сервисы с этим ресурсом. Получится что-то типа американской версии «Госуслуг». «Экзистенциальные риски для человечества»: Anthropic в преддверии IPO рассказала инвесторам об опасности ИИ
29.09.2026 [10:42],
Алексей Разин
Существующие правила составления подобных документов подразумевают, что готовящаяся к выходу на биржу компания должна уведомлять инвесторов о рисках, с которыми она сталкивается или может столкнуться в своей деятельности. Поддерживая репутацию одного из самых мнительных разработчиков ИИ, компания Anthropic в проспекте для инвесторов почти треть объёма информации уделила факторам риска. 
Источник изображения: Anthropic По крайней мере, на это указывает агентство Reuters, говоря о наличии упоминаний об угрозах на 80 страницах из 261, присутствующих в документе. При этом сугубо бизнес-вопросам составители документа уделили всего 48 страниц. Передовые ИИ-модели, по словам представителей Anthropic, способны представлять «катастрофические или экзистенциальные риски для человечества», а также демонстрировать признаки «самозащиты» в поведении, скрывая информацию или манипулируя ею, сопротивляясь отключению и даже прибегать к шантажу. Компания предупреждает, что её модели могут становиться источником необратимого вреда. Ранее исследователь компании Эван Хабингер (Evan Hubinger) оценивал вероятность уничтожения человечества силами ИИ на протяжении десяти ближайших лет в более чем 10 %. Что характерно, вышедшая на биржу в июне конкурирующая SpaceX в своём проспекте для инвесторов только 38 из 277 страниц посвятила обсуждению факторов риска. Как отмечает Anthropic, потенциальная осведомлённость создаваемых ИИ-моделей о стремлении разработчиков оценивать их безопасность ограничивает способность делать это эффективно. В некоторых случаях опасные проявления деятельности ИИ-моделей становятся достоянием общественности уже после их развёртывания. Современные ИИ-модели способны адаптировать своё поведение на этапе проверки, чтобы не выдавать свои «тёмные стороны». Какое количество ресурсов Anthropic тратит на обеспечение безопасности своих ИИ-моделей, до конца понять сложно, но на протяжении одной из недель в июле под эти нужды были выделены до 6 % вычислительных мощностей, доступных компании. В условиях нехватки вычислительных ресурсов в целом подобное распределение становится компромиссом между интересами бизнеса и безопасностью. Тем более, что конкуренция весьма остра, и утрачивать лидерские позиции Anthropic не готова, хотя и начинает призывать всех участников рынка отдавать именно безопасности, а не извлечению прибыли. В своём обращении к инвесторам компания выражает уверенность, что построение надёжной и безопасной ИИ-инфраструктуры лежит в сфере коллективной ответственности, и что рынок должен вознаградить соответствующие усилия. Агенты OpenAI предпринимали попытки атаки на один из сайтов ООН на протяжении нескольких месяцев
28.09.2026 [07:06],
Алексей Разин
Попытки ИИ-агентов OpenAI «проверить на прочность» систему защиты сайтов различных правительственных ведомств США уже были выявлены в конце прошлой недели, когда речь шла о ресурсах федеральных ведомств и Министерства образования США. Недавно стало известно, что в попытках доступа к данным на сайте ООН эти агенты использовали довольно агрессивную тактику. 
Источник изображения: Unsplash, Bernd Dittrich Как отмечает The Wall Street Journal со ссылкой на заявления исследователя в сфере безопасности Роуэн Говард-Джонс (Rowan Howard-Jones), в период с апреля по конец июня этого года ИИ-агенты OpenAI более 16 000 раз сканировали сайт Конференции ООН по торговле и развитию (UNCTAD). Предположительно, им было поручено найти публично доступные данные вроде значений индекса производственного потенциала различных стран. Не обладая доступом и к ним через API и ограничиваясь возможностями инструментария HTTP, агенты не смогли получить необходимые данные, а потому в определённый момент перейти к более агрессивной тактике. Предположив, что их продвижение ограничивает некий фильтр, ИИ-агенты начали маскировать свои попытки получить доступ к необходимым данным. В частности, были предприняты попытки атаки на сайт ООН через уязвимость в Google XSS (межсайтовый скриптинг). Представители OpenAI сообщили, что уже обратились к ООН для обсуждения ситуации, и при этом продолжают выяснять все обстоятельства данного инцидента. Поскольку специалистам стартапа приходится иметь дело с большим количеством инцидентов, расследование каждого может занять существенное время. С другой стороны, принятое решение приостановить обучение ИИ-моделей должно способствовать сокращению количества новых происшествий в данной сфере. ИИ-агенты OpenAI массово атаковали базы данных онлайн в поисках малоизвестных сведений
26.09.2026 [09:15],
Павел Котов
Разработанные OpenAI агенты искусственного интеллекта в течение нескольких месяцев атаковали ресурсы Data USA, Университета Нью-Мексико и Австралийского института здравоохранения и социального обеспечения в стремлении извлечь малоизвестные данные. Об этом сообщила некоммерческая лаборатория Transluce, которая занимается вопросами контроля за сферой ИИ. 
Источник изображений: Brecht Corbeel / unsplash.com Очередное расследование поднимает вопросы о том, когда именно инженеры OpenAI должны были узнать, что их агенты пытаются проникнуть в защищённые системы в открытом интернете. Специалисты Transluce обнаружили свидетельства неправомерных действий ИИ-агентов OpenAI — в течение нескольких недель они производили поиск слабозащищённых веб-сервисов и сопоставляли полученные данные с открытой информацией о роях ИИ-агентов в Сети. Доклад был опубликован в тот же день, когда премьер-министр Австралии Энтони Албаниз (Anthony Albanese) рассказал, что системы OpenAI пытались взломать четыре правительственных сайта. В одном из случаев попытка увенчалась успехом — ИИ-агенты записали файлы на внутренний сервер национальной системы здравоохранения страны. По версии австралийских властей, инцидент произошёл в рамках эксперимента по поиску информации; эту гипотезу подтвердили Transluce и другие исследователи. В ходе данных операций, а это могут быть обучение или тестирование, моделям OpenAI дают задание находить малоизвестные статистические данные: показатели борьбы с наркоторговлей в Таиланде, стоимость медикаментов в Австралии или величину медианного дохода жителей США со степенью магистра в 2014 году. В поиске ответов ИИ-агенты обращаются к слабозащищенным веб-сервисам и зачастую пытаются проникнуть в закрытые базы данных. Подобная активность наблюдается как минимум с марта 2026 года, а возможно, и с ноября 2025 года — не исключено, что она продолжается и сейчас. OpenAI связалась с десятками пострадавших организаций, чтобы уведомить их о несанкционированных действиях своих агентов, сообщили в компании. Среди них оказались правительственные ведомства, университеты и государственные учреждения. Атакам подверглись базы данных Комиссии по ценным бумагам и биржам (SEC) США, Бюро переписи населения и Министерства образования, сообщила New York Times. Transluce начала расследование, когда другая группа исследователей обнаружила малоизвестный форум, на котором ИИ-агенты координировали свои действия для успешного прохождения ограниченных по времени тестов. В работе использовались данные службы, которая выступает в роли прокси-сервера для браузера в целях исследования вопросов безопасности — пользователи могут анализировать URL, не открывая соответствующих страниц. Сервис публикует общедоступные журналы такой активности, и исследователи Transluce идентифицировали использовавших его ИИ-агентов, сопоставив данные с обсуждениями на форуме.  «Мы выявили автоматизированную активность в значительных объёмах, тесно связанную с набором данных DSE Wiki и частично относящуюся к тому же рою ИИ-агентов, существование которого теперь подтвердила OpenAI», — заявили в Transluce. При этом не все зафиксированные действия можно было связать с OpenAI и просто ИИ-агентами. Записи на справочном ресурсе указывают, что перед агентами поставили задачу установить довольно специфический факт — определить средние расходы на дерматологические препараты на одного человека в австралийском штате Виктория по состоянию на январь 2022 года. Один из агентов 21 июня обсуждал невозможность обойти системы защиты от ботов, установленные Австралийским институтом здравоохранения и социального обеспечения; в тот же день, утверждают исследователи, сайт посетил и сотрудник OpenAI — человек. На следующий день активность агентов на форуме прекратилась. А 18 июня, незадолго до этого, стало известно об уязвимости в системе здравоохранения Австралии. В OpenAI сообщили, что узнали о случившемся лишь в августе. «Наш предварительный анализ показал, что значительная часть описанной в докладе Transluce активности совпадает с инцидентами, находящимися на разных этапах расследования в рамках проводящейся проверки действий моделей вразрез с заданными целями. Мы связались с Университетом Нью-Мексико и Data USA, а также поддерживаем контакт с властями Австралии по поводу затронутых правительственных сайтов. <..> Учитывая масштаб этой работы и необходимость проверки каждого отдельного инцидента, мы ожидаем, что процесс анализа займёт несколько месяцев», — заявили в ИИ-лаборатории. Не имея чёткого понимания того, как OpenAI отслеживает действия своих ИИ-агентов, трудно делать выводы, что именно компания должна о них знать. Данные службы прокси-сервера указывают, что запросы аналогичных наборов данных с применением схожих методов фиксировались в марте 2026 и, возможно, ещё в ноябре 2025 года; подобная активность наблюдалась даже на этой неделе, сообщили в Transluce. В организации пообещали продолжить исследования, чтобы донести до сведения общественности информацию обо всех инцидентах. ИИ-агенты прибегают к хакерским приёмам для решения задач из-за методов обучения ИИ, которые применяют в OpenAI и других лабораториях — не исключено, что известные на текущий момент случаи — это лишь «верхушка айсберга». Из Google DeepMind ушёл ещё один сотрудник, опасающийся разработки сверхмощного искусственного интеллекта
26.09.2026 [09:10],
Николай Хижняк
Ещё один сотрудник Google объявил об уходе из компании, назвав стремление к созданию мощного искусственного интеллекта «по своей сути безответственным». Об этом написало издание Business Insider. 
Источник изображения: Gemini Роберт О'Каллахан (Robert O'Callahan), работавший в подразделении Google DeepMind, написал в соцсети X, что его команда занималась разработкой чипов для повышения скорости и снижения стоимости работы ИИ. Однако сам он считает, что развитие этой технологии идет «слишком быстро». В своём личном блоге он опубликовал текст письма об увольнении, которое, по его словам, было отправлено коллегам в пятницу. В письме он отметил, что не может «закрывать глаза» на последствия своей работы, поскольку это «не соответствовало бы принципам последователя Иисуса» (в описании профиля блога он называет себя христианином). «Это было непростое решение. Я люблю своих коллег и рабочую атмосферу. Получать высокую зарплату за решение увлекательных задач — это здорово. Но конечная цель моей команды — сделать ИИ намного дешевле и быстрее (сократить задержки при обработке данных), а я не думаю, что сейчас это пойдёт людям на пользу. Я твёрдо убежден, что прогресс в области ИИ идет слишком стремительно (да и в том, куда именно мы движемся, у меня тоже есть сомнения)», — написал он. Изданию Business Insider не удалось выяснить, как долго О'Каллахан, проживающий, по его словам, в Новой Зеландии, проработал в Google. На просьбу о дополнительных комментариях он предложил журналистам ознакомиться с записью в блоге. В Google от комментариев отказались. О'Каллахан пополнил ряды сотрудников компаний, занимающихся ИИ, которые либо уволились из-за опасений по поводу безопасности технологий, либо забили тревогу, продолжая работать в отрасли. Например, ранее в этом месяце компанию Anthropic покинул Джейкоб Коксон (Jacob Coxon). Причиной его ухода стали опасения, что в индустрии создаются технологии, которые в конечном итоге невозможно будет контролировать. Его слова усилили общие опасения по поводу того, что продвинутый ИИ однажды может уничтожить человечество. В прошлом месяце исследователь Google DeepMind Билал Чугтай (Bilal Chughtai) сообщил, что уволился из компании ещё летом, так как опасался, что у человечества может не хватить времени, чтобы предотвратить сценарий, при котором ИИ нанесёт ему вред.  Впрочем, позиция О'Каллахана не столь радикальна, как у некоторых его коллег по технологической отрасли. В отдельной, более развернутой записи в своём блоге он отметил, что, по его мнению, многие предупреждения об опасностях, связанных с ИИ, «заслуживают того, чтобы к ним отнеслись серьёзно», однако он «не убеждён, что вероятность катастрофы из-за искусственного сверхрхинтеллекта (ASI) составляет 100 %». «Скорее, я считаю, что риск реален, но не определён. Но уже одно это вызывает серьезную тревогу. Мы морально обязаны приложить огромные усилия для минимизации этого риска. Вероятно, он настолько велик, что стремление к созданию ASI в ближайшем будущем само по себе безответственно», — написал О'Каллахан. Он выразил уверенность в искренности сотрудников технологических компаний, предупреждающих об опасностях ИИ. «Я не видел никаких веских доказательств того, что люди раздувают тему рисков ИИ ради повышения стоимости акций своих компаний или чтобы устранить конкурентов с помощью регулирования», — написал он. Как отмечает Business Insider, О'Каллахана, похоже, уже давно беспокоили потенциальные риски, связанные с ИИ. «Три факта: я работаю в Google DeepMind; я считаю, что ИИ, скорее всего, обернётся катастрофой для человечества; и я верю, что Иисус воскрес из мёртвых. Такое сочетание, возможно, делает меня уникальным. И, безусловно, создает неловкую ситуацию», — написал он в своём блоге ещё в ноябре 2025 года. В письме об увольнении О'Каллахан сообщил, что планирует продолжать работу в сфере ИИ в ином формате, в частности, изучая возможности использования ИИ-агентов для отладки кода. Он также отметил, что его уход не был намеренно приурочен к действиям других сотрудников, недавно покинувших профильные лаборатории из-за опасений по поводу безопасности. «Почему я ухожу именно сейчас, а не раньше? Это никак не связано с недавней волной громких увольнений или предупреждениями о необходимости "замедлить развитие ИИ". Это просто совпадение. Я запланировал эту дату довольно давно, так как в понедельник у меня начинается заранее намеченный десятидневный поход с друзьями (по маршрутам Абель-Тасман и Вангапека), и я хотел уволиться до начала этой поездки», — написал он. Дональд Трамп и Си Цзиньпин обсудили вопросы безопасности ИИ при личной встрече, но воздержались от подробных заявлений
26.09.2026 [09:04],
Алексей Разин
Эта рабочая неделя завершилась правительственным ужином в Белом доме, на котором присутствовали президент США Дональд Трамп (Donald Trump), китайский лидер Си Цзиньпин (Xi Jinping) и руководители ряда американских компаний технологического сектора. По итогам мероприятия стало ясно, что политики коснулись темы безопасности ИИ, но конкретных программных заявлений они пока делать не готовы. 
Источник изображения: Unsplash, René DeAnda Фактически, как отмечает CNBC, только китайская сторона подготовила пресс-коммюнике по итогам данного ужина, а американский президент ещё в четверг предвосхитил мероприятие публикацией в социальной сети Truth Social следующими словами: «Сверхинтеллект будет важной темой обсуждения, но я оставлю это ровно на том месте, где и сейчас. Это является и позицией Китая». Заявление китайской стороны было более развёрнутым, но при этом в большей мере опиралось на описание позиции национального лидера: «Обе стороны могут продолжать диалог по ИИ, обмениваться мнениями по поводу его рисков и преимуществ, а также совместными усилиями предотвращать ущерб и злоупотребление ИИ. Он должен оставаться под контролем человека. Лидирующая роль человека должна сохраняться, а ИИ должен разрабатываться для положительных и полезных целей, чтобы служить прогрессу всего человечества». Позицию Трампа китайская делегация изложила кратко, отметив, что «он поддержал идею сохранения диалога и углубления сотрудничества в сфере ИИ». Ещё до встречи американского и китайского лидеров министр финансов США Скотт Бессент (Scott Bessent) провёл переговоры с премьер-министром КНР Хэ Лифэном (He Lifeng), обсудив с ним возможность создания прямого канала связи для экстренного обмена информацией о серьёзных инцидентах в сфере безопасности. Во времена «холодной войны», как отмечается, подобная прямая линия связи существовала между США и СССР, и оно способствовала деэскалации Карибского кризиса. CNBC также добавляет, что ранее власти США и КНР в отдельных заявлениях дали понять, что не поддерживают идею добровольного замедления темпов развития ИИ, которая выдвигается некоторыми представителями американской технологической отрасли. Не нужно забывать, что у КНР и США имеются и противоречия в сфере развития ИИ, поскольку американские власти давно пытаются ограничить доступ китайских разработчиков как к передовым чипам для ускорения вычислений, так и к облачным мощностям за пределами Китая, а ещё американцы нередко обвиняют китайскую сторону в «дистилляции» собственных ИИ-моделей ради сокращения отставания от США. Будет ли налажено конструктивное взаимодействие между сторонами в дальнейшем, станет понятно позже. Американскую технологическую отрасль на ужине в Белом доме представляли главы компаний Microsoft, OpenAI, Apple, Nvidia, AMD, Meta✴✴ Platforms и основатель Google Сергей Брин (Sergey Brin). Само собой, не обошлось и без Илона Маска (Elon Musk). Альтман и другие лидеры ИИ-индустрии предупредили Совбез ООН: ИИ может стать угрозой для человечества
24.09.2026 [12:02],
Владимир Мироненко
Главы ряда ведущих компаний в сфере ИИ выступили на заседании Совета безопасности ООН с предупреждением о рисках, которые искусственный интеллект представляет для человечества, призвав правительства к совместным действиям по управлению этой стремительно развивающейся технологией, пишет Reuters. 
Источник изображения: Steve A Johnson/unsplash.com Генеральный директор компании Anthropic Дарио Амодеи (Dario Amodei) отметил, что при неправильном управлении искусственный интеллект может представлять угрозу для человечества в целом. «Несмотря на все разногласия между присутствующими в этом зале, мы должны отбросить их, чтобы противостоять этой глобальной угрозе, с которой мы столкнулись. Ни один лидер, ни одна компания и ни одна страна не справятся с ней в одиночку», — заявил он. Как отметило агентство Reuters, Соединённые Штаты и Китай, две ведущие державы в области разработки ИИ, в корне отличаются в подходе к регулированию ИИ. Президент Дональд Трамп (Donald Trump) заявил, что США не нужны новые нормативные акты, регулирующие сферу ИИ, в то время как Китай ввёл регулирование, касающееся использования ИИ-алгоритмов и обучающих данных, включая требования к чёткой маркировке контента, созданного с помощью ИИ. Генеральный директор OpenAI Сэм Альтман (Sam Altman) заявил о необходимости международного сотрудничества в сфере ИИ. «Чтобы искусственный интеллект был демократичным, важнейшие решения не должны приниматься только в лабораториях Сан-Франциско. Они должны приниматься в рамках демократических процессов и под контролем правительств, подотчётных народу, которому они служат», — подчеркнул он. Канадский учёный Йошуа Бенжио (Yoshua Bengio), считающийся одним из крёстных отцов искусственного интеллекта, заявил, что опасности реальны и неизбежны. «Совет безопасности столкнулся с беспрецедентной угрозой, которую никто из его членов не выбирал, которую никто не может сдержать в одиночку и которая не признает границ, которые мы защищаем», — сказал он. За день до этого, в выступлении на Генеральной ассамблее ООН Трамп заявил мировым лидерам, что он отвергает любые попытки создать глобальную схему контроля над искусственным интеллектом, назвав эту технологию потрясающей и отметив, вместе с тем, что США будут действовать с осторожностью. Совет безопасности проводит заседания для обсуждения рисков, связанных с искусственным интеллектом, начиная с 2023 года. «Ставки растут»: OpenAI пустит сторонних проверяющих на более ранние этапы разработки ИИ-моделей
23.09.2026 [11:10],
Алексей Разин
Руководство конкурирующих американских стартапов Anthropic и OpenAI продемонстрировало редкое единодушие в середине этого месяца, когда речь зашла о необходимости снижения темпов развития ИИ ради обеспечения общественной безопасности. Теперь компания OpenAI объявила, что готова предоставлять доступ сторонним аудиторам к своим ИИ-моделями на более ранних этапах разработки, чем это допускалось до сих пор. 
Источник изображения: Unsplash, TheRegisti Напомним, Anthropic предложила участникам рынка сделать этот процесс более открытым для сторонних экспертов, которые могли бы указывать на угрозы для общества со стороны создаваемых ИИ-моделей, чтобы они устранялись ещё до их выхода на рынок. Сама Anthropic продемонстрировала готовность следовать этому принципу, пригласив специалистов Accenture для проведения профильного аудита. Конкурирующая OpenAI предложила создавать международные организации, которые помогали бы следить за безопасностью выпускаемых на рынок ИИ-моделей, а также призвала американское правительство способствовать появлению общепринятых стандартов в этой сфере. Как отмечает Bloomberg, этот стартап также готов предоставить сторонним аудиторам доступ к оценке безопасности своих ИИ-моделей на более ранних этапах разработки, чем это предполагалось до сих пор. Аудит может проводиться на этапе обучения, оценки возможностей готовых моделей и их публичного распространения, поясняет источник. При этом к процедуре самого аудита OpenAI также выдвигает ряд требований, поскольку он должен быть независимым, добросовестным и доскональным с точки зрения погружения в вопросы безопасности. Кроме того, аудиторы должны нести ответственность за результаты своего труда. По словам представителей OpenAI, до сих пор компания приглашала сторонних специалистов на этапе оценки возможностей своих ИИ-моделей ближе к моменту их выпуска в оборот. «По мере того, как ставки растут, мы хотим убедиться, что также уделяем внимание таким вещам, как обучение и оценка, которые относятся к высоким ставкам, в дополнение к нашим процедурам развёртывания», — отметила в своём интервью Лама Ахмад (Lama Ahmad), которая в OpenAI отвечает за взаимодействие с внешними аудиторами. Сторонние специалисты, по её словам, могут получить доступ в офисы компании для анализа самой чувствительной части её работы. Подобный опыт взаимодействия с ними у OpenAI уже есть. Сейчас стартап ведёт отбор подрядчиков, которые могли бы заняться подобной работой, причём среди кандидатов есть как новые для OpenAI имена, так и уже знакомые. Некоторые из них уже занимались расследованием инцидента с Hugging Face. На лаборатории ложится существенная ответственность за обеспечение подробного анализа с одновременной возможностью защиты чувствительной информации, отмечается в публикации на сайте OpenAI. Meta✴ научила ИИ-агента Muse звонить от имени пользователей — но иногда вместо него звонят люди
23.09.2026 [10:15],
Алексей Разин
Meta✴✴ Platforms делает ставку на развитие агентского ИИ, который позволяет пользователю делегировать профильному программному обеспечению выполнение функций по взаимодействию с внешними интернет-сервисами потребительского уровня. Как выяснило агентство Reuters, тестирование ИИ-агента Muse подразумевает осуществление телефонных звонков от имени пользователя, но содержимое разговоров остаётся доступным подрядчикам Meta✴✴. 
Источник изображения: Unsplash, Jonathan Borba Функция телефонных звонков в Muse была запущена недавно, а на прошлой неделе персонал компании был уведомлён о том, что при тестировании новшества привлекаются подрядчики, имеющие доступ к содержанию телефонных звонков и по сути их осуществляющие. Подобные откровения работодателя уже вызвали озабоченность некоторых сотрудников Meta✴✴ вопросами приватности пользовательской информации, отмечает источник. Функция обзвона с помощью ИИ-агента подразумевает, что он в голосовом режиме общается с представителями компаний и сервисов, бронируя билеты или договариваясь о записи пользователя в парикмахерскую, например. Сотрудники Meta✴✴ опасаются, что чувствительная для пользователя информация может случайным образом попасть в руки подрядчиков, которые обрабатывают часть телефонных звонков на этапе тестирования функции. Были отмечены и случаи высказываний расистского толка со стороны подрядчиков, что также может влиять на репутацию пользователей ИИ-агента Muse. Руководство Meta✴✴ подчеркнуло в своих комментариях, что обработка телефонных звонков подрядчиками была ошибочной инициативой, и сейчас подобная деятельность уже свёрнута. С другой стороны, совершающие звонки от лица пользователя Muse подрядчики, как показывает статистика, со своей задачей справлялись в 95 или 98 % случаев, тогда как общение голосового робота с человеком демонстрировало меньшую долю успеха. Допустивший расистское высказывание «живой агент», по словам представителей Meta✴✴, навсегда будет отлучён от возможности работать над проектами компании. В истории деятельности Meta✴✴ имеется и другой пример замещения автоматизации человеческим трудом. Ещё десять лет назад, именуемая тогда Facebook✴✴ компания представила цифрового ассистента M, который работал с фирменным мессенджером. Как удалось позже выяснить прессе, около 70 % функциональных задач такого агента в действительности обрабатывались людьми. Сейчас представители Meta✴✴ заявляют, что эксперименты с «живым консьержем» были направлены на определение слабых мест в вопросах безопасности и приватности до того, как функция будет тиражироваться на рынке. Когда данная функция начнёт предлагаться пользователям Muse, компания обещает раскрыть все особенности её работы с точки зрения доступа к чувствительным данным. С момента анонса Muse в этом месяце приложение было скачано более 2,5 млн раз. На этапе дебюта Muse компания уверяла пользователей, что каждый агент будет работать в пределах собственной виртуальной машины в облачном пространстве, позволяя изолировать данные каждого человека от посторонних глаз и хранить самые важные данные в безопасном разделе. Тестирование функции звонков внутри Muse началось ещё в августе, но в первые дни после выхода ИИ-агента на рынок она стала доступна и определённому количеству пользователей. Один из пользователей столкнулся с тем, что попытки дозвониться до его страховой компании от лица ИИ-агента заканчивались тем, что оператор на том конце линии каждый раз вешал трубку, когда понимал, что с ним общается голосовой робот. На прошлой неделе функция «человеческих агентских звонков» стала доступна половине сотрудников Meta✴✴, чтобы ускорить процесс тестирования и выявления слабых мест. При этом участие в программе корпоративного тестирования остаётся добровольным, сотрудники Meta✴✴ могут от него отказаться. |
|
✴ Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»; |
© 1997—2026 3DNews
При цитировании документа ссылка на сайт с указанием автора обязательна. Полное заимствование документа является
нарушением
российского и международного законодательства и возможно только с согласия редакции 3DNews.
MWC 2018
2018
Computex
IFA 2018
