В новом выпуске проекта «Высокие технологии для бизнеса» речь пойдет об автономной работе ИИ-агентов и рисках, которые с этим связаны.
Фото: Markus Spiske / unsplash - Источник
Читайте также
Одним из ключевых трендов этого года становится автономные ИИ-агенты способные совершать различные действия по поручению пользователя. При этом, согласно опросам Gartner, 53% организаций используют таких агентов автономно лишь для задач с низким риском, опасаясь возможного вреда и неконтролируемых действий со стороны искусственного интеллекта.
Эффективным вариантом решения этой проблемы эксперты считают создание зон ограниченной автономности, задающих чёткие рамки для действий нейросетей. Комментирует директор по продуктам искусственного интеллекта VK Tech Роман Стятюгин:
Анализ реальных инцидентов показывает, что почти все они были связаны с избыточными правами агента, отсутствием изоляции среды и неконтролируемыми интеграциями. А в случае применения ограниченного контура, даже если агент ошибается, последствия такой ошибки не выходят за допустимые рамки.
Эффективным вариантом решения этой проблемы эксперты считают создание зон ограниченной автономности, задающих чёткие рамки для действий нейросетей. Комментирует директор по продуктам искусственного интеллекта VK Tech Роман Стятюгин:
Директор по продуктам искусственного интеллекта VK Tech Роман СтятюгинТакой подход снижает риски, поскольку делает агента предсказуем и управляем. Ключевым принципом становится формирование ограниченного операционного контура. К каким корпоративным данным у агента есть доступ, какие действия допустимы, а какие нет. На практике это означает ограничение автономности искусственного интеллекта, поскольку у агента нет прав на действия, которые не описаны в инструкции. Например, для агента может быть закрыт произвольный доступ в интернет.
Зато в случае ошибки все последствия ограничены лишь рамками этого контура.
Зато в случае ошибки все последствия ограничены лишь рамками этого контура.
Анализ реальных инцидентов показывает, что почти все они были связаны с избыточными правами агента, отсутствием изоляции среды и неконтролируемыми интеграциями. А в случае применения ограниченного контура, даже если агент ошибается, последствия такой ошибки не выходят за допустимые рамки.
Автор: Андрей Соловьёв
Генеральный директор Особой экономической зоны «Санкт-Петербург» 
Президент ГК «Городской центр экспертиз» 
Генеральный директор холдинга «Бронка Групп» 
Губернатор Ленинградской области