Microsoft Counterfit

Продукт
Разработчики: Microsoft
Дата премьеры системы: май 2021 г
Отрасли: Информационные технологии

2021: Открытие исходных кодов

В начале мая 2021 года Microsoft выпустила программное обеспечение с открытым исходным кодом Counterfit, помогающее разработчикам оценить безопасность своих систем машинного обучения.

Выложенный на GitHub проект включает в себя инструмент командной строки и система автоматизации, позволяющая разработчикам имитировать кибератаки на искусственный интеллект.

Microsoft раскрыла исходники инструмента, оценивающего защищённость ИИ-систем

Сама Microsoft использует Counterfit для тестирования собственных ИИ-моделей, а также планирует задействовать продукт для разработки систем искусственного интеллекта.

К 5 мая 2021 года любой желающий может скачать этот инструмент и развернуть его через Azure Shell для запуска в браузере или локально в среде Anaconda Python.Известный писатель-фантаст Сергей Лукьяненко выступит на TAdviser SummIT 28 ноября. Регистрация 5.6 т

Counterfit способна оценивать защиту моделей искусственного интеллекта, размещенных в различных облачных, локальных и периферийных средах. В Microsoft утверждают, что инструмент работает с любыми ИИ-моделями и поддерживает различные типы данных, включая текст и изображения.

«
Наш инструмент делает опубликованные алгоритмы атак доступными для сообщества специалистов по безопасности и помогает предоставить расширяемый интерфейс для создания, управления и запуска атак на ИИ-модели. Этот инструмент стал частью обширной работы Microsoft по расширению возможностей разработчиков в части безопасной разработки и развертывания ИИ-систем, – заявили в Microsoft.
»

В компании перечислили три основных сценария применения Counterfit специалистами по кибербезопасности:

  • тестирование ИИ-системы на несанкционированное проникновение;
  • сканирование ИИ-систем на наличие уязвимостей
  • документирование кибератак на ИИ-модели.[1]

Инструмент поставляется с предварительно загруженными алгоритмами атак. ИБ-специалисты также могут использовать встроенный движок скриптов cmd2 для подключения к Counterfit из существующих атакующих инструментов для тестирования.

Примечания