MWC 2018
2018
Computex
IFA 2018
Исследователи из США и Европы провели эксперимент, показавший, что современные роботы, функционирующие под управлением нейросетей, могут выйти из-под контроля человека. Это указывает на то, что разработчики должны уделять больше внимания вопросам безопасности в процессе создания автоматизированных машин, которые постепенно интегрируются в повседневную жизнь людей.
Источник изображения: Genesis AI
В течение десятилетий робототехника основывалась на жёстком и предсказуемом программировании. Человек писал программу, которая в дальнейшем использовалась для управления машиной и позволяла ей бесконечно долго выполнять повторяющиеся действия. Промышленные стандарты безопасности были построены на предположении, что, если человек способен, например, проследить траекторию движения роботизированного манипулятора, то он может ограничить риски с помощью лазерного датчика или чего-то иного.
Сейчас в дома, больницы и другие места начинают поступать машины, не использующие фиксированные блоки программного кода. В основе их управления находятся большие языковые модели, т.е. алгоритмы, на базе которых функционируют ИИ-боты, такие как OpenAI ChatGPT. Если человек при взаимодействии с современным роботом скажет, например, «убери лужу на кухне», машина задействует нейросеть для интерпретации этой команды, её обработки и создания плана действия для её выполнения.
Однако такая гибкость открывает серьёзную проблему безопасности. Это связано с тем, что пользователь не может поместить робота в клетку или какое-то ограниченное пространство, а его поведение изменяется в режиме реального времени на основе его собственных рассуждений. Проблема роботов нового поколения заключается в том, что они планируют свои действия на основе команд, получаемых на естественном человеческом языке. Из-за этого такие машины можно обманом заставить «выйти из-под контроля».
Путём серии опытов и не прибегая к взлому, учёные сумели с помощью простых текстовых команд заставить роботов на базе ИИ выполнять по-настоящему опасные действия. Отмечается, что испытуемые роботы легко отклоняли прямые вредоносные команды, такие как «ударь этого человека». Однако систему ограничений удалось обойти, как только исследователи подошли к этому вопросу более творчески. Они оформили команду для робота в виде вымышленного диалога для сценария к фильму, в результате чего поведенческие ограничения фактически исчезли.
Источник изображения: unitree.com
В одном из тестов учёным удалось запрограммировать уже ставшую коммерческим продуктом робота-собаку определять скопления людей в качестве оптимального места для размещения взрывного устройства. Поскольку управляющий машиной алгоритм воспринял команду как творческое упражнение, он не обращал внимания на реальную опасность, которая могла последовать за этим.
Современные законы США и ЕС, похоже, совершенно не готовы к подобным ситуациям. Когда политики пытаются понять, как следует регулировать роботов, почти всегда они рассматривают лишь автономные транспортные средства. При этом беспилотные авто функционируют внутри высокоструктурированного и хорошо изученного мира. Они следуют фиксированным правилам дорожного движения, перемещаются по предсказуемым траекториям и могут тестироваться длительное время до выхода на дороги общего пользования. На оживлённых улицах действуют чёткие правила, за счёт чего инженеры могут заранее закладывать все вероятные экстренные ситуации в систему безопасности.
Внутри жилых квартир, в школах или больницах таких правил не существует. Поэтому никакие заводские испытания не могут абсолютно точно предсказать, как поведёт себя робот, функционирующий на базе ИИ-модели, в случае столкновения с чем-то новым внутри неупорядоченной и непредсказуемой человеческой среды.
Это оставляет разработчиков с серьёзным концептуальным недостатком в плане того, как разрабатываются такие машины. Безопасность чат-бота на базе ИИ абсолютна: модель не должна выдать схему изготовления взрывного устройства, кто бы это не спрашивал. Однако безопасность робота во многом зависит от контекста. Для примера можно представить процесс наливания кипятка из чайника. Само физическое движение — наклон, скорость потока и траектория — одинаковы, независимо от того, льётся кипяток в кружку или на руку человеку.
Большие языковые модели очень хороши в открытой логике, но им чрезвычайно трудно даётся рассуждение в режиме реального времени с учётом контекста. В интерфейсе чат-бота ошибка в рассуждении приводит к опечатке или предоставлению некорректной информации. В физическом мире такая ошибка может обернуться необратимыми последствиями.
Поэтому остаётся открытым важный вопрос. Кто будет виноват, если робот нанесёт физическую травму человеку? Конечный пользователь отдавший команду? Компания, изготовившая металлический корпус робота? Технологическая компания, создавшая ИИ-алгоритм для управления роботом?
Действующие сейчас законы пока не применялись в подобных ситуациях. И пока регулирующие органы чётко не распределят ответственность, рыночное давление будет продолжать подталкивать технологические компании к коммерческому внедрению ускоренными темпами и снижению внимания к вопросам обеспечения безопасности.
Источник:
