MWC 2018
2018
Computex
IFA 2018
OpenAI заключила с Пентагоном соглашение об использовании разработанных компанией систем искусственного интеллекта, сменив Anthropic, у которой возникли серьёзные сомнения в моральной стороне такого сотрудничества. В ответ на обеспокоенность общественности глава OpenAI Сэм Альтман (Sam Altman) объявил, что компания успешно договорилась с Министерством обороны США о новых условиях соглашения, но на деле это не вполне так, пишет The Verge.
Источник изображения: Mariia Shalabaieva / unsplash.com
«Два важнейших для нас принципа безопасности — это запрет на внутреннюю массовую слежку и ответственность человека за применение силы, в том числе с автономными системами вооружения. Министерство обороны согласилось с этими принципами, отражая их в законах и политике, и мы включили их в наше соглашение», — подчеркнул Альтман. В соцсетях, однако, стали выражать сомнения по поводу того, что OpenAI удалось договориться с Пентагоном о соблюдении этих ограничений. Эксперты считают, что в действительности Министерство обороны США не уступило, и сделка с OpenAI предполагает более мягкие условия для ведомства — всё упирается в формулировку «любое законное применение».
В ходе переговоров, сообщил осведомлённый источник издания, Пентагон не отступал от желания собирать и анализировать большие объёмы данных, связанных с гражданами США; OpenAI же открыла военным возможность выполнять любые действия, которые с технической точки зрения являются законными. За последние десятилетия американские власти в значительной мере расширили представления о том, что «технически законно», и в это определение сейчас включаются программы массовой слежки. В OpenAI, впрочем, такую интерпретацию отвергли. «Систему нельзя использовать для сбора или анализа данных американцев в больших объёмах, в неограниченном объёме или в обобщённом виде», — заявила представитель компании.
Важнейшим достоинством систем ИИ является их умение находить закономерности, а поведение человека — это как раз набор закономерностей. ИИ способен объединять источники данных для каждого человека: информацию о местоположении, о просмотре веб-страниц, личную финансовую информацию, записи с камер видеонаблюдения, данные о регистрации избирателей и многое другое — часть из этого массива находится в открытом доступе, а часть приобретается у брокеров данных. Anthropic добивалась того, чтобы эти действия не допускались вне зависимости от их правового статуса, а OpenAI ограничилась существующими законодательными ограничениями. Упоминаются, в частности, Четвёртая поправка к Конституции США, «Закон о национальной безопасности» от 1947 года, «Закон о внешней разведке и наблюдении» от 1978 года, Исполнительный указ номер 12333, а также директивы ведомства, в которых указываются конкретные цели в области внешней разведки.
Источник изображения: Growtika / unsplash.com
После трагедии 11 сентября 2001 года американские спецслужбы усилили систему слежки, сохранив её, по их мнению, в пределах действующего законодательства. В 2013 году подрядчик Агентства национальной безопасности Эдвард Сноуден (Edward Snowden) раскрыл истинные масштабы происходящего: запись телефонных разговоров абонентов оператора Verizon и сбор данных о физических лицах у технологических компаний, в том числе Microsoft, Google и Apple. А исполнительный указ 12333 позволяет спецслужбам перехватывать данные вне США, даже если эти данные содержат сведения о гражданах страны, отмечают эксперты.
Глава Anthropic Дарио Амодеи (Dario Amodei) отмечал, что закон ещё не описывает всех возможностей ИИ по проведению массовой слежки. Альтман, в свою очередь подчеркнул, что контракт OpenAI с Пентагоном ограничен действующим законодательством, то есть если в США начнут действовать новые нормы, формулировки соглашения останутся прежними. Эксперты, однако, обращают внимание, что использованные представителем компании формулировки не дают возможности определить, что именно запрещается в соглашении. «Использование слов „неограниченный“, „обобщённый“, „открытый“ способ — это не полный запрет. Это формулировка, призванная дать руководству свободу выбора. <..> Она также позволяет руководству не лгать сотрудникам, если Пентагон на законных основаниях будет использовать большие языковые модели без ведома руководства OpenAI», — говорят эксперты. Соглашение с OpenAI и действующие правовые ограничения позволяют Пентагону, например, искать информацию об американцах по базам иностранных разведок, скупать базы у брокеров данных и создания профилей граждан по их типичному поведению на основе материалов видеонаблюдения, публикаций в соцсетях, новостей онлайн, данных о регистрации избирателей и других источников.
Сомнения вызывает и позиция OpenAI по поводу автономного летального оружия. В контракте компании с Пентагоном говорится о том, что её ИИ «не будет использоваться для самостоятельного управления автономным оружием в тех случаях, когда закон, нормативные акты или политика Министерства требуют контроля со стороны человека», что соответствует директиве Пентагона от 2023 года, но не предполагает иных запретов и ограничений. Для сравнения, Anthropic добивалась полного запрета на неконтролируемое летальное автономное оружие как минимум до тех пор, пока разработчик сам не сочтёт эту технологию готовой к работе.
Источник изображения: Gavin Phillips / unsplash.com
Альтман указывает и на другие решения, способные гарантировать, что Пентагон не станет злоупотреблять возможностями ИИ-моделей OpenAI. Некоторые сотрудники компании получат доступ к секретной информации для проверки систем; будут развёрнуты «классификаторы» — небольшие модели ИИ, способные следить за работой больших и по необходимости блокировать для них некоторые операции. На практике эти меры могут не помочь. Классификатор не сможет подтвердить, проверял ли человек решение системы о нанесении удара, а также является ли запрос на составление профиля американского гражданина единичным или входящим в систему массового наблюдения. И если власти объявят какую-либо операцию законной, классификатор не сможет предотвратить её выполнение.
OpenAI говорит об «ответственности человека за применение силы, в том числе в случае с автономными системами вооружения»; Anthropic же требовала вообще не развёртывать эти системы «без надлежащего контроля [со стороны человека]». Это может значить, что в сценарии OpenAI можно будет привлечь к ответственности некое лицо уже после факта нанесения удара, а сценарий Anthropic предусматривает участие людей до и/или во время принятия ИИ решения об уничтожении других людей. OpenAI говорит о технической защите своих систем от возможности строить «роботов-убийц»: для этого применяются средства дополнительного обучения ИИ, а также запуск моделей только в облачной инфраструктуре, а не локально на устройствах. В случае массового наблюдения, однако, подойдёт только способная работать в облаке модель; а в сценарии с автономным оружием непосредственное решение об атаке может принимать сторонняя локальная модель, тогда как система OpenAI возьмёт на себя все предшествующие этапы.
«Полностью автономное оружие (то, что полностью исключает участие человека в автоматическом выборе и поражении целей) может оказаться критически важным для нашей национальной обороны. Но сегодня передовые системы ИИ просто недостаточно надёжны для обеспечения [его] работы», — предупредил глава Anthropic Дарио Амодеи.
Источник:
