Отчёты ИИ о киберинцидентах: почему их нельзя принимать на веру

Коротко (TL;DR)

•Искусственный интеллект генерирует отчёты с ошибками, противоречиями и несоответствиями.
•LLM-модели не могут обеспечить воспроизводимость и стандартизацию результатов.
•В кибербезопасности цена ошибки критически высока — требуется ручная проверка.

Почему это важно

Результаты исследования Cisco подчеркивают риски автоматизации в сфере кибербезопасности. Использование ИИ для генерации технических отчётов требует строгого контроля, так как даже незначительные ошибки могут привести к уязвимостям в защите данных.

Основные выводы исследования Cisco

Команда Cisco Talos провела эксперимент, в котором модели ChatGPT, Claude и Gemini получили сырые данные о киберинцидентах и попросили сформировать технические отчёты. Результаты показали, что:

Отчёты выглядят профессионально, но содержат фактические ошибки и противоречивые рекомендации.
Модели генерируют разные выводы при одинаковых входных данных, что делает их непредсказуемыми.
Структура и оформление документов меняются при каждом запросе, что нарушает стандарты профессиональной среды.

Причины ошибок ИИ

Вероятностная природа LLM: ИИ предсказывает следующее слово на основе статистики, а не понимания контекста.
Нестабильность выводов: При разных запросах модель может рекомендовать как полную смену паролей, так и локальные меры.
Ограничения контекстного окна: При превышении объёма данных модель отбрасывает критически важную информацию.

Влияние на индустрию

Cisco предупреждает, что автоматизация в кибербезопасности требует человеческого контроля. Рекомендации ИИ часто повторяются, нерелевантны или неприменимы на практике. Это особенно критично в сфере, где цена ошибки может привести к утечкам данных и финансовым потерям.