В новом выпуске проекта «Высокие технологии для бизнеса» речь пойдет о системах искусственного интеллекта и способах их защиты.
Фото: Markus Spiske / unsplash - Источник
Читайте также
Российский рынок защиты систем искусственного интеллекта еще формируется, но уже в этом году его объём может превысить 1 млрд руб. Крупнейшие компании начинают внедрять инструменты анализа защищенности ИИ-систем на фоне громких утечек персональных данных и коммерческих тайн из чат-ботов.
При этом участники рынка предупреждают о новых серьезных угрозах: злоумышленники все чаще маскируют кибератаки под легитимный трафик больших языковых моделей, что резко увеличивает их скрытность. О том, насколько остро стоит проблема промт-инъекций и несанкционированного доступа к языковым моделям для бизнеса рассказывает директор по кибербезопасности «Сбер Тех» Всеслав Соленик.
Подобные решения минимизируют вероятность утечек данных, предотвращают промпт-инъекции и взломы ИИ-моделей. Это особенно актуально, если компания планирует создание собственных безопасных ИИ-агентов. Это поможет снизить затраты на их разработку и эксплуатацию, а также обеспечить соответствие регуляторным требованиям и ускорить вывод на рынок.
При этом участники рынка предупреждают о новых серьезных угрозах: злоумышленники все чаще маскируют кибератаки под легитимный трафик больших языковых моделей, что резко увеличивает их скрытность. О том, насколько остро стоит проблема промт-инъекций и несанкционированного доступа к языковым моделям для бизнеса рассказывает директор по кибербезопасности «Сбер Тех» Всеслав Соленик.
Директор по кибербезопасности «Сбер Тех» Всеслав Соленик Проблема актуальна для всех отраслей и секторов, особенно из-за активного внедрения технологий ИИ в бизнесе и госсекторе, а также потому, что сотрудники часто используют сторонние нейросети, отправляя в них корпоративные данные через промпты и применяя результаты в рабочих процессах. В прошлом году из-за этого уже зафиксированы инциденты, связанные с утечками персональных данных, коммерческой тайны и приостановкой работы сервисов. Для комплексной защиты требуется сочетание традиционных методов, вроде контроля доступа и мониторинга событий, с новыми инструментами и практиками. «Сбер Тех» разработал такое решение с функциями валидации, фильтрации и мониторинга ИИ-трафика. Оно позволяет контролировать и защищать взаимодействие с большими языковыми моделями, и уже успешно зарекомендовало себя в масштабах Сбера и других корпораций.
Подобные решения минимизируют вероятность утечек данных, предотвращают промпт-инъекции и взломы ИИ-моделей. Это особенно актуально, если компания планирует создание собственных безопасных ИИ-агентов. Это поможет снизить затраты на их разработку и эксплуатацию, а также обеспечить соответствие регуляторным требованиям и ускорить вывод на рынок.
Автор: Андрей Соловьёв
Журналист 
Президент ГК «Городской центр экспертиз» 
Депутат Заксобрания Петербурга 
Совладелец торгового дома «Реалъ»