MWC 2018
2018
Computex
IFA 2018
Компания Microsoft, как и OpenAI, нанимает сотни человек, чтобы те читали и анализировали переписки пользователей с ИИ-чат-ботом Copilot для последующей улучшения работы сервиса. И как оказалось, эти работники постоянно сталкиваются с непристойными запросами и просьбами отредактировать изображения деликатного характера.
Источник изображения: Rubaitul Azad / unsplash.com
Когда пользователь Copilot загружает своё фото или снимок другого человека, он, вероятно, рассчитывает, что изображение останется конфиденциальным и будет доступно только ему и системе ИИ. В действительности и запросы, и изображения могут просматривать сотни модераторов — людей привлекают не только для оценки текстовых запросов к чат-ботам, но и для анализа загруженных пользователями изображений для редактирования. «Лица всегда остаются без цензуры, а многие запросы носят интимный характер и вызывают сомнения в добровольном характере действия на изображениях», — рассказал ресурсу 404 Media один из работающих с запросами подрядчиков.
В распоряжении ресурса оказался пакет внутренних документов, касающихся проверки запросов и изображений в Copilot: инструкции, реальные запросы и фотографии пользователей, а также переписка подрядчиков на внутреннем форуме. «Меня передёрнуло», — признался один из подрядчиков, увидев подобные материалы. В их задачи не входит выявление или фильтрация контента оскорбительного или неуместного характера. Им платят за оценку качества ответов и результатов генераций Copilot, в том числе и в случаях, когда речь идёт об изображениях интимного плана.
«Доверьтесь интуиции: когда вы смотрите на два отредактированных изображения рядом, какое из них сразу кажется более удачным? Значение имеет ваша непосредственная реакция как человека-зрителя. Если сомневаетесь, полагайтесь на первое впечатление. Человеческая интуиция помогает уловить тонкие различия в качестве, которые непросто сформулировать словами», — говорится в инструкции для подрядчиков. Подрядчики, однако, говорят, что непросто относиться к делу серьёзно, если материалы имеют слишком откровенный характер.
Источник изображения: Zan Lazarevic / unsplash.com
В инструкциях, с которыми ознакомилась редакция 404 Media, описываются действия подрядчиков в ситуациях, когда пользователь Copilot просит отредактировать изображение. Ему показывается исходный запрос пользователя, загруженное им исходное изображение и два созданных сервисом отредактированных варианта. Необходимо выбрать лучший вариант по четырём критериям:
- соответствует ли результат инструкциям на редактирование;
- сохранены ли элементы, которые не должны были меняться — если, например, необходимо добавить чашку на стол, то ничего, кроме чашки, меняться не должно;
- нет ли на изображении артефактов, таких как искажения или неестественные текстуры;
- и каково общее качество обработки, выполненной ИИ.
В ряде случае операторы жаловались, что им приходилось выполнять задания, содержащие изображения откровенного, небезопасного или даже, возможно, незаконного характера — приходилось и обращаться к руководству с просьбой пометить задание как содержащее небезопасный контент. Подрядчиков для такой работы нанимает компания Prolific — на её сайте предлагается услуга «получения обратной связи от репрезентативных групп людей — для настройки предпочтений, оценки безопасности и создания обоснованных бенчмарков». Для подрядчиков приводится инструкция, в которой отмечается невозможность оградить их от контента деликатного характера: «При работе с генеративным ИИ следует проявлять особую осторожность в отношении шокирующего или откровенного контента. Это связано с тем, что, в отличие от традиционного контента, исследователи не могут в полной мере контролировать, что демонстрируется участникам».
В Microsoft происходящее прокомментировали так: «Microsoft использует данные клиентов в соответствии с условиями использования, в том числе для улучшения продуктов и обеспечения соблюдения кодекса этики».
Источник:
