MWC 2018
2018
Computex
IFA 2018
Большие языковые модели искусственного интеллекта, которые подверглись массированной атаке популярного, но низкокачественного контента из социальных сетей, продемонстрировали признаки деградации — сродни тем, что появляются у человека, который провёл слишком много времени в соцсети X или в TikTok. К такому выводу пришли американские учёные по итогам исследования.
Источник изображения: Steve Johnson / unsplash.com
«Мы живём в эпоху, когда объёмы информации растут быстрее, чем их может охватить внимание, и бо́льшая часть этой информации направлена на получение кликов, а не на то, чтобы донести истину или нечто глубокое. Мы подумали: а что, если на этом обучить ИИ?» — рассказал один из участников исследования Цзюньюань Хун (Junyuan Hong). Чтобы выяснить это, учёные взяли две открытые модели Meta✴ Llama и Alibaba Qwen и провели их обучение с нуля, используя для этого материалы особого рода: «вовлекающие», то есть распространённые в соцсетях публикации, а также посты сенсационного или рекламного характера с оборотами вроде «Вау!», «Зацени!» или «Только сегодня!».
Обучив модели на этих материалах, исследователи провели их тестирование, чтобы оценить влияние подобной «мусорной» диеты из соцсетей на ИИ. Подвергшиеся такому воздействию модели продемонстрировали признаки деградации: снижение умственных способностей, способностей к рассуждению, а также ухудшение памяти. У них снизилось чувство этики и проявились признаки психопатии. Аналогичные исследования, проведённые с участием людей, давали схожие результаты.
Проект, указывают учёные важен для отрасли ИИ: разработчики моделей могут предположить, что публикации в соцсетях — подходящий источник для обучения моделей. Включение таких материалов в обучающие массивы может представляться как масштабирование данных, но в действительности они незримо ухудшают способность к рассуждению, качество этических оценок и способность удерживать внимание на долгосрочном контексте. Более того, изначально ослабленные материалами низкого качества модели впоследствии с трудом поддаются переобучению. По иронии, уже сегодня значительная часть предназначенного для вовлечения пользователя контента в соцсетях генерируется ИИ.
Источник:
