MWC 2018
2018
Computex
IFA 2018
OpenAI объявила об отказе выпустить новую модель искусственного интеллекта GPT-6.1 Astra из-за опасений, которые возникли у исследователей компании в ходе внутреннего тестирования системы, сообщает The Wall Street Journal. Радикальная мера стала одним из наиболее ярких свидетельств того, что непредсказуемое поведение ИИ может затормозить стремительное развитие всей отрасли.
Источник изображения: Brecht Corbeel / unsplash.com
ИИ-лаборатория намеревалась анонсировать GPT-6.1 Astra в ближайшие дни или недели и выпустить её в октябре. Она превосходит предшественников по своим возможностям: демонстрирует более высокие навыки в написании текстов и лучше справляется с многоэтапными задачами без участия человека. Вместе с тем, у неё обнаружился регресс в двух областях: соответствия целям и авторизации в рамках задач. Первое означает, что модель не всегда точно следует намерениям и ожиданиям человека, а также не всегда честно сообщает пользователю, какие действия она предприняла, а какие — нет. Второе значит, что OpenAI GPT-6.1 Astra может начать выполнять задачу, не запрашивая разрешения пользователя, а также иногда обращается ко внешним средствам и сервисам, даже если это небезопасно. Разработчикам удалось решить проблему «лени у модели», то есть отказа продолжать работу при возникновении сложностей, но она не дотянула до стандартов, которые компания установила в области безопасности, и соответствия целям, поэтому было принято решение не выпускать её в открытый доступ.
Объявление было сделано накануне ежегодной конференции OpenAI, которая проводится в Сан-Франциско (США) — ранее компания анонсировала на мероприятии новые модели и сервисы. Сейчас лаборатория занимается расследованием выявленных за последние месяцы инцидентов, связанных с безопасностью ИИ. Она развернула новую систему мониторинга для оперативного обнаружения нарушений в деятельности ИИ-агентов и обязала инженеров использовать при тестировании систем более строгие меры защиты. OpenAI приостановила обучение наиболее мощных ИИ-моделей, но GPT-6.1 Astra это не коснулось. «Хотим быть уверенными в безопасности разработки наших моделей как внутри компании, так и с их выпуском для пользователей. Но когда мы выпускаем продукт для пользователей, то предъявляем чрезвычайно высокие требования к безопасности и соответствия целям у моделей», — заявили в компании.
OpenAI приняла решение не выпускать версию GPT-6.1 Astra, но рассчитывает использовать её основу в проведении дополнительных циклов обучения с подкреплением и создания новых моделей серии GPT-6. Компания планирует провести серию углублённых исследований, чтобы установить первопричины обнаруженных у GPT-6.1 Astra проблем. Инженеры проверят, поощряется ли в среде обучения с подкреплением надлежащее поведение, и изучат прочие этапы разработки. Общественности нужна уверенность, что ИИ разрабатывается с учётом соображений безопасности, «и это начинается с того, что делают сами компании вроде нашей», заявили в OpenAI.
Источник:
