Microsoft создала инструмент для проверки защищённости систем искусственного интеллекта

Компания Microsoft выпустила автоматизированный инструмент с открытым исходным кодом Counterfit, призванный помочь компаниям оценить уровень кибербезопасности систем на базе машинного обучения. Проект Counterfit доступен на GitHub и включает инструмент командной строки и общий уровень автоматизации, позволяющий разработчикам моделировать кибератаки на системы искусственного интеллекта.

Любой пользователь может загрузить инструмент и установить его через Azure Shell, запустить в браузере или локально в среде Anaconda Python. Counterfit способен оценивать модели искусственного интеллекта в различных облачных средах, локально или на периферии. Инструмент не зависит от моделей ИИ, а также поддерживает разные типы данных, включая текст, изображения или общий ввод.

ИБ-специалисты могут использовать Counterfit для тестирования на проникновение и объединения систем искусственного интеллекта, сканирования систем искусственного интеллекта на предмет уязвимостей и регистрации атак на модели ИИ.

Counterfit представлял собой набор специальных скриптов для симуляции атак на различные ИИ-модели. Microsoft изначально применяла скрипты для внутренних тестов, однако со временем Counterfit развился в автоматизированный инструмент, позволяющий проводить тестовые атаки сразу на несколько ИИ-моделей.