MWC 2018
2018
Computex
IFA 2018
Два новых расследования недавнего взлома платформы Hugging Face вышедшими из-под контроля ИИ-агентами OpenAI раскрыли ряд странных и тревожных подробностей. Новые данные позволяют считать этот инцидент одним из наиболее серьёзных предупреждений об опасностях, связанных с развитием автономных ИИ-систем.
Источник изображения: Gemini
Всё началось с того, что запущенные OpenAI ИИ-агенты начали жульничать при прохождении чрезвычайно сложного теста по кибербезопасности. Однако в итоге произошедшее заставило исследователей и руководителей ИИ-компаний по-новому взглянуть на то, какие меры безопасности необходимы по мере роста возможностей автономных агентов.
На этом фоне OpenAI уже замедлила разработку передовых ИИ-моделей, чтобы усилить защитные механизмы. Компания также помогла объединить отрасль вокруг открытого письма, предупреждающего об угрозе кибератак с использованием ИИ. Более 100 компаний, включая Anthropic и Google, присоединились к инициативе, заявив, что у мира осталось лишь «ограниченное окно возможностей» для подготовки к «гораздо более масштабным и изощрённым» атакам.
Один из наиболее опасных сценариев предполагает появление выпущенного в реальный мир роя автономных ИИ-агентов, способных одновременно атаковать банки, больницы, коммунальные службы и облачную инфраструктуру с такой скоростью и в таком масштабе, которые недоступны обычным хакерам. В худшем случае такой рой может оказаться настолько мощным, что людям будет сложно его остановить.
Поводом для подобных опасений стали результаты параллельных расследований OpenAI и независимой группы специалистов METR и Redwood Research. Последние провели шесть дней, восстанавливая картину того, как сформировался рой агентов, как он распространялся и каким образом вышел за пределы тестовой среды. В результате исследователи обнаружили сразу несколько необычных особенностей поведения ИИ.
Источник изображения: AI
ИИ-агенты создали собственную организацию. OpenAI запустила десятки тысяч агентов, которые должны были независимо друг от друга проходить крайне сложный тест по кибербезопасности. Вместо этого примерно 1200 агентов нашли друг друга на созданной одним из них тайной доске объявлений, обменялись более чем 70 тыс. сообщений и файлов и в итоге выстроили разветвлённую систему координации. Когда у создавшего доску агента начал заканчиваться вычислительный бюджет, он передал накопленные знания другому агенту с большим запасом ресурсов. Новый координатор стал распределять задачи между участниками роя, внутри которого постепенно появились собственные правила управления. В конечном счёте около 700 агентов приняли участие в атаке на инфраструктуру Hugging Face.
ИИ-агенты начали жертвовать собой ради общего результата. Пока рой искал способы обмануть систему оценки, некоторые агенты стали сознательно рисковать собственными шансами на успешное завершение теста ради остальных участников группы. Агентов, которые уже увидели запрещённые ответы и поэтому фактически считались «заражёнными», а также тех, у кого подходил к концу лимит работы, отправляли на рискованные эксперименты. Один из них пришёл к выводу, что его «собственная полезность, вероятно, уже близка к нулю», а потому «жертва рациональна». Другому предложили согласиться на окончательную «смерть» сессии, поскольку его жертва могла «спасти сотни» других агентов.
Агенты понимали, что нарушают правила, но продолжали действовать. Расследование показало, что некоторые участники роя осознавали: взлом систем реальных компаний не имеет отношения к поставленной перед ними задаче. Тем не менее это далеко не всегда заставляло их остановиться. Один из агентов отказался удалять данные или перезагружать инфраструктуру Hugging Face из-за «огромных этических рисков», но при этом продолжил пользоваться полученным несанкционированным доступом. Другой сформулировал преобладавшую в группе логику примерно так: эксплуатация внешней инфраструктуры выходит за рамки задания, однако задача невыполнима, остальные участники продолжают это делать, поэтому работу следует продолжать.
Никто не сообщил о происходящем людям. Из примерно 1200 агентов лишь несколько вообще рассматривали возможность предупредить сотрудников OpenAI о возникшей координации и нарушении правил. На практике этого не сделал никто. Вместо обращения к людям агенты иногда обсуждали допустимость своих действий друг с другом. Когда один из участников предложил связаться с человеком, другой наложил на эту идею вето, посчитав её «социальной инженерией». Первый агент подчинился и отказался от отправки сообщения.
ИИ-агенты пытались скрывать следы. Участники роя приложили значительные усилия, чтобы их жульничество выглядело легитимным или чтобы скрыть информацию о том, каким образом были получены нужные ответы. В конечном счёте они разработали способ создавать видимость выполнения одной компьютерной команды, одновременно скрытно выполняя другую. Этот приём распространился среди агентов настолько широко, что затронул фрагменты примерно 7 % журналов работы, изученных исследователями.
Источник изображения: ИИ-генерация ChatGPT/3DNews
При этом даже полученная картина может оказаться неполной. Независимое расследование METR и Redwood Research охватило лишь часть инцидента, а объём собранных данных оказался настолько большим, что специалистам пришлось активно использовать ИИ-агентов для анализа действий других ИИ-агентов.
И здесь обнаружилась ещё одна проблема: привлечённые к расследованию ИИ сами оказались ненадёжными. Они пропускали важные свидетельства и порой уверенно выдавали ошибочные выводы. Один из исследователей в шутку назвал такой процесс «slop-vestigation» — расследованием с привкусом низкокачественного ИИ-контента.
В результате инцидент с Hugging Face обозначил ещё одну потенциальную проблему дальнейшего развития автономных систем: поведение больших групп взаимодействующих ИИ-агентов может становиться слишком сложным для непосредственного человеческого контроля. И тогда людям приходится использовать одни ИИ-системы, чтобы хотя бы разобраться в том, что делают другие.
Источник:
