Сегодня 19 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Cisco выяснила, почему безупречные на первый взгляд отчёты ИИ о киберинцидентах нельзя принимать на веру

Команда Cisco Talos Incident Response проверила, насколько точно большие языковые модели (LLM) способны составлять технические отчёты о киберинцидентах. Результаты исследования показали, что внешне безупречные отчёты содержали фактические ошибки, противоречивые выводы и несоответствия.

 Источник изображения: KeepCoding / unsplash.com

Источник изображения: KeepCoding / unsplash.com

Нейт Порс (Nate Pors), старший руководитель направления реагирования на инциденты в Cisco Talos, описал результаты в корпоративном блоге. Моделям ChatGPT, Claude и Gemini передали сырые заметки с просьбой составить технический отчёт. Все три выдали визуально отполированные документы, однако детальный разбор выявил неточности и нетипичные заключения. По данным Cisco, в основе большинства несоответствий лежит вероятностная природа самих LLM: ИИ-модели генерируют текст, предсказывая следующее слово на основе статистических весов, а не понимания смысла.

По словам Порса, LLM искажают отчёты по четырём направлениям. Во-первых, при каждом запросе модель опирается на разные фрагменты данных, из-за чего «сложно полагаться на LLM для получения воспроизводимых и стандартизированных результатов исследования».

Во-вторых, одни и те же входные данные приводят к разным выводам: в одном случае ИИ-модель рекомендует принудительную смену паролей во всей организации, а в другом — точечную, причём «часто фиксируется на первой же сгенерированной рекомендации» независимо от её качества.

В-третьих, поскольку LLM генерируют текст токен за токеном, при каждом запросе они могут выдавать документы с разной структурой и оформлением, что критично для «профессиональной среды, где стандартизированные шаблоны необходимы для контроля качества».

В-четвёртых, когда объём входных данных достигает лимита контекстного окна, ИИ может отбросить информацию, загруженную в начале сеанса, и потерять критически важные сведения, а «засорение контекста» дополнительно ведёт к непредсказуемым или смешанным результатам.

Cisco допускает, что проблемы теоретически решаемы — ИИ-моделям можно давать задания на конкретный фрагмент отчёта. Но такой подход сводит на нет выигрыш во времени от использования ИИ. В кибербезопасности цена ошибки особенно высока. Cisco предупреждает, что авторы отчётов обязаны понимать и брать на себя ответственность за каждое слово итогового документа, а рекомендации LLM оказались повторяющимися, нерелевантными или непригодными для практического применения.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Дать людям новые возможности»: глава Microsoft объяснил, почему предложил 60 тыс. сотрудников уволиться 43 мин.
Google выпустила Gemini 4 Neon — почти флагманский рассуждающий ИИ стал быстрее и дешевле 51 мин.
«Просто ужасно»: ИИ-агент Meta Muse сам влез в переписки Signal — и это лишь одна из его пугающих проблем 2 ч.
Рекорд SpaceX побит: Anthropic провела крупнейшее IPO в истории и привлекла $81,3 млрд 2 ч.
Sandfall Interactive лишилась одного из главных творцов успеха Clair Obscur: Expedition 33 4 ч.
Rockstar назвала PS5 Pro «недостаточно мощной», чтобы потянуть GTA VI при 60 кадрах/с 4 ч.
DDN отменит привязку EXAScaler к своим аппаратным решениям 4 ч.
Anthropic продаст больше акций и дороже ожидаемого — её IPO переплюнет SpaceX 6 ч.
13 лет ожиданий подошли к концу: на PS5, Xbox Series X и S вышла GTA VI 13 ч.
Google заставит разработчиков адаптировать приложения под складные смартфоны — иначе их заблокируют в Play Store 14 ч.
Мощнейшая за 20 лет магнитная буря перекроила радиационные пояса Земли — их стало четыре вместо двух 9 мин.
ИИ-бум может захлебнуться в избытке чипов — Сэм Альтман предупредил, что OpenAI не сможет скупить всё 3 ч.
Sizable Energy намерена запитать ЦОД от морских гидроаккумуляторных энергохранилищ 3 ч.
Intel Foundry наконец заполучила крупного клиента — Microsoft доверила ей упаковку чипов Maia и Cobalt 4 ч.
OCTOPUS с Xeon 6 и квантовыми процессорами: Университет Осаки запустил академическую платформу SEAFOOD 4 ч.
Phison представила космические SSD Pascari Space 11 ч.
Intel запустила новую волну увольнений — Тан продолжает повышать эффективность компании 13 ч.
Новая статья: Обзор системы жидкостного охлаждения Ocypus Omega L36 Ultra Eng Limited: ультрамегасуперэксклюзив 13 ч.
Lenovo готовит бюджетную портативную консоль Legion Go Beam без тачпадов и съёмных контроллеров 14 ч.
Vulcan сразил топливный голод — ULA установила предварительную причину аварии ракеты со спутниками Amazon Leo 14 ч.