Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Система модерации на основе ИИ сервиса Discord ошибочно заблокировала более 8000 безобидных аккаунтов

Система модерации Discord на основе ИИ за последние два месяца заблокировала более 8000 пользователей после того, как загруженные ими изображения были ошибочно помечены как вредоносный контент.

 Источник изображения:  Mariia Shalabaieva/unsplash.com

Источник изображения: Mariia Shalabaieva/unsplash.com

Среди изображений, вызывавших ложные срабатывания, были электронные таблицы, шахматные доски, игровые текстуры и простые прозрачные фоны. Discord сообщила, что за минувшие выходные были заблокированы ещё 200 пользователей, прежде чем компания выявила и исправила проблему. Инцидент напоминает о том, что автоматическая модерация может нанести реальный ущерб, когда ИИ-системы проверки дают сбой.

По данным TechCrunch, Discord заявила, что её система предназначена для сопоставления загруженных изображений с базами данных известных вредоносных материалов. Когда система помечает контент как вредоносный, его должен проверить человек, прежде чем платформа предпримет какие-либо действия. Этот процесс проверки дал сбой. Издание The Verge сообщило, что ошибка привела к блокировке пользователей, помеченных, как публикующих вредоносный контент. Хотя на деле она должна была сначала обеспечить временную блокировку возможности загрузки контента в рамках проверки. Сервис Discord также сообщил, что другая ошибка препятствовала автоматическому снятию некоторых блокировок после того, как сотрудники проверили и посчитали аккаунты «чистыми».

Проще говоря, в Discord существует защита от ложных срабатываний, но рабочий процесс её применения не работал так, как положено. Для пользователей результат оказался плачевным: безобидные изображения приводили к блокировке их аккаунтов. Для Discord ошибка в системе проверки изображений стала нарушением доверия и безопасности, затронувшим тысячи аккаунтов, прежде чем её исправили.

Автоматизированные системы модерации могут работать быстрее, чем люди-модераторы, поэтому крупные платформы используют их для поиска вредоносного контента в больших масштабах. Риск возникает, когда автоматические сигналы запускают действия с аккаунтом до того, как проверка выявит ошибку.

Случай с Discord показывает, почему нельзя исключать человеческий контроль над ИИ. Если система может лишить аккаунт доступа до завершения проверки, командам платформы необходимы чёткие механизмы контроля, чтобы предотвратить превращение временного сигнала в полную блокировку. Платформа Discord заявляет, что уже исправила ошибку и сейчас восстанавливает затронутые аккаунты.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про социальные сети

Источники:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 7 ч.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 8 ч.
В Nginx нашли две критические дыры — хакеры могут захватить сервер без пароля 8 ч.
Хакеры поставили Nvidia на счётчик и грозят утечкой данных — но доказательств взлома нет 9 ч.
«Уже знаю, во что буду играть завтра»: Devolver устроила бесплатную раздачу конкурента GTA VI для тех, кто удалит GTA VI 9 ч.
Nvidia скопировала баг AMD: драйверы GeForce тоже начали чрезмерно нагружать SSD 10 ч.
«Проект Гриффиндор»: стало известно о секретном плане Meta по вовлечению школьников в Instagram 10 ч.
«Вкус будущего»: эксперты Digital Foundry остались впечатлены графикой GTA VI, но не производительностью 11 ч.
OpenAI GPT-6 Cyber взломала iPhone и практически все остальные устройства Apple 12 ч.
Sony подтвердила прошивку, которая нужна для GTA VI на PS5 — пираты пока отстают 13 ч.
Phison представила космические SSD Pascari Space 5 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 7 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 8 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 8 ч.
Даже удвоение прибыли не спасло Nvidia: акции компании снова пошли вниз, потянув за собой весь ИИ-сектор 9 ч.
Arista представила обновление платформ R4 и оптическое оборудование для распределённых ИИ-систем 9 ч.
Золото, титан, крокодил и эмаль: российская Caviar выпустила коллекцию люксовых гаджетов в стиле GTA VI 9 ч.
AMD проведёт презентацию на CES 2027 — в анонсе усмотрели намёки на Ryzen с Zen 6 или новые Radeon 10 ч.
Призывы замедлить гонку ИИ оказались балабольством — и продажи Nvidia и AMD это подтверждают 10 ч.
TCL придумала, как избавить OLED-мониторы от выгорания без выключения экрана — и заодно сделать их дешевле 12 ч.