Управление рисками агентного ИИ — новый приоритет для бизнеса и разработчиков: Вышка на форуме Data Day 2026
.jpg "Управление рисками агентного ИИ — новый приоритет для бизнеса и разработчиков: Вышка на форуме Data Day 2026")
9 июля на ВДНХ состоялся форум «Data Day 2026. ИИ + ДАННЫЕ. Как сохранять уверенный курс в динамичной среде». Институт искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ представила Елена Кожина, заместитель проректора НИУ ВШЭ, директор Центра управления проектной деятельностью Института.
Агентный ИИ стремительно переходит из стадии экспериментов в реальные рабочие процессы. Однако вместе с новыми возможностями растут и риски, а значит, управление ими становится критическим фактором успеха.
В своем выступлении «Риски агентного ИИ: как управлять автономными системами и не потерять контроль» Елена выделила три ключевые стадии, на которых возникают риски при работе с агентным ИИ.
На этапе проектирования наиболее опасны некорректная постановка задачи, когда агенту задают неправильную цель или слишком широкую задачу, поверхностный подход без оценки уровня риска, контроля и механизмов остановки, а также избыточные доступы, закладываемые на старте.
На стадии внедрения риски связаны с использованием агентных решений, не прошедших независимую валидацию, небезопасной интеграцией с системами, а также с тем, что эксперимент показывает эффект, но не проверяет масштабируемость и управляемость.
В эксплуатации поведение агента может смещаться в сторону от исходной задачи, ошибки в одном шаге возрастают с каждым последующим, а при массовом внедрении могут резко увеличиваются затраты на контроль и инцидент-менеджмент.
Для обычного ИИ часто достаточно оценки модели. Для агентного ИИ контролировать приходится гораздо больше: действия, доступы, цепочки вызовов и последствия. Это означает, что риск-управление должно быть встроено в жизненный цикл агента, а не добавлено потом.
Елена предложила конкретный чек-лист для руководителей:
- Назначить владельца риска по каждому сценарию;
- Определить, где нужен человек в контуре, а где допустима автономия;
- Ограничивать права по принципу минимальной достаточности;
- Вести инвентаризацию агентов и логировать их действия.
«Спасибо организаторам Data Day за приглашение и возможность принять участие в обсуждении актуальных вопросов развития искусственного интеллекта», — заключила Елена.