2024: Создание LLM Security Lab совместно с ИТМО и Napoleon IT
Компания Raft совместно с AI Talent Hub университета ИТМО и Napoleon IT создала LLM Security Lab. Данная лаборатория станет ключевым центром исследований в области безопасности и этики генеративного ИИ, а также применении больших языковых моделей (LLM) в бизнесе. Об этом Napoleon IT сообщил 21 августа 2024 года.
Цель лаборатории — поддержка научных и прикладных исследований студентов, подготовка специалистов в области работы с LLM-моделями и ИИ-решениями, а также развитие новых технологий и подходов в этой стремительно развивающейся сфере.
По прогнозам аналитиков Gartner, к 2025 году 80% всех процессов разработки продуктов будут использовать генеративный искусственный интеллект. В этой связи обеспечение безопасности LLM-приложений становится критически важной задачей. Половина компаний, уже внедривших генеративный ИИ, сталкиваются с серьезными проблемами безопасности, что подтверждает актуальность создания LLM Security Lab.
LLM Security Lab направлена на развитие экспертизы в области безопасности LLM-приложений. Лаборатория создана на базе AI Talent Hub — магистратуры по машинному обучению, разработанной Университетом ИТМО и Napoleon IT. Raft инвестирует в этот проект для глубокого изучения и решения вопросов безопасности ИИ.
Ключевые направления исследований лаборатории включают:
- Мониторинг и анализ контента: разработка инструментов для отслеживания атак и анализа токсичности сообщений, которая позволяет компаниям защищать свою репутацию и улучшать взаимодействие с пользователями.
- Имитация кибератак и защита персональных данных: изучение новых типов атак, разработка решений для предотвращения утечек конфиденциальной информации и обеспечения безопасности ИИ-продуктов.
Кроме того, в рамках лаборатории будут разработаны образовательные программы для LLM-направления в AI Talent Hub. Они нацелены на подготовку специалистов в различных аспектах работы с большими языковыми моделями. В частности, обучение будет включать:
- Подготовку исследователей, которые будут разрабатывать и внедрять open-source решения, способствующие прогрессу в области ИИ.
- Обучение ML-инженеров, способных интегрировать новые технологии в бизнес-процессы, включая вывод LLM в продакшн и их оптимизацию.
- Подготовку разработчиков ИИ-продуктов, которые смогут создавать и внедрять инновационные решения на основе LLM и генеративного ИИ в различных отраслях.
Одним из ключевых курсов в рамках LLM-направления станет «Безопасность LLM». Его программа охватывает актуальные вопросы безопасности и этики в сфере ИИ, включая уязвимости моделей и методы их защиты. Курс сочетает теоретическую подготовку и практические упражнения, что позволяет студентам готовиться к решению реальных бизнес-задач в области безопасности ИИ.TAdviser Security 100: Крупнейшие ИБ-компании в России 
Студенты курса уже протестировали выравнивание открытых и частных моделей, а также провели успешные испытания LLM-чат-бота для крупной ритейл-компании из бьюти-сферы.
 | За последний год мы наблюдаем массовую адаптацию и повышенный интерес к технологиям генеративного ИИ со стороны бизнеса. Важным аспектом этой адаптации является защита информации и коммерческой тайны компании. Мы видим, как активно развиваются методы атак на большие языковые модели и сложные ИТ-системы, которые интегрируют их в бизнес-процессы. В нашей лаборатории студенты будут работать над прикладными задачами, проводить аудит LLM приложений и разрабатывать специализированные решения, направленные на повышение безопасности, — прокомментировал руководитель ИИ-продуктов Raft Евгений Кокуйкин. |  |
| | Площадка AI Talent Hub задумывалась, как место встречи технологичных компаний, университета и талантов, в рамках которой рождаются новые знания, новые технологии, инновации. Мы приветствуем нового партнера для работы над развитием применения генеративных сетей в корпоративном бизнесе, — прокомментировал коммерческий директор Napoleon IT Константин Прайс. | |
