| Разработчики: | Альянс в сфере искусственного интеллекта (AI-Russia Alliance) |
| Дата премьеры системы: | 2023/11/22 |
| Дата последнего релиза: | 2024/09/25 |
Содержание |
2024: Поддержка API
Альянс в сфере искусственного интеллекта представил обновленную версию бенчмарка MERA: в нее вошли динамический лидерборд, обновленная кодовая база замеров, более совершенная система промптов и улучшенные датасеты, поддержка API, а также замеры десятков новых моделей, включая созданные OpenAI. Об этом Альянс сообщил 25 сентября 2024 года.
Обновленная версия бенчмарка включает в себя 15 основных задач, из которых строится рейтинг, и 8 открытых публичных датасетов.
С момента релиза первой версии бенчмарка им воспользовались десятки разработчиков моделей, отправивших свыше 1000 сабмитов. Совершенствование MERA стало возможно благодаря комментариям пользователей и обратной связи от участников NLP-сообщества. Дальнейшее развитие MERA предусматривает появление в нем задач для оценки распознавания изображений, аудио- и видеоматериалов.
2023: Анонс бенчмарка
22 ноября 2023 года Сбер предложил Альянсу в сфере ИИ концепцию независимого бенчмарка MERA для оценки фундаментальных моделей[1]. Он поможет объективно оценивать большие языковые модели, что особенно актуально с ростом их числа и возможностей.
Для тестирования моделей часто используют бенчмарки, которые представляют собой набор сложных задач, решение которых отражает способности моделей по различным доменам, задачам или модальностям. Благодаря такой оценке пользователи могут понять, как применять модель, а исследователи — получить объективную информацию для дальнейшего обучения, адаптации или развития языковых моделей.
Языковые модели, лежащие в основе таких сервисов, как GigaChat, ChatGPT и других, нуждаются в объективном сравнении и независимой оценке. Командой SberDevices, компании-партнёра Сбера, в коллаборации с партнерами из академического сообщества была разработана методология тестирования. В неё вошли 21 задача в инструктивном формате для тестирования фундаментальных моделей. Тесты охватывают вопросы знаний о мире, логику, причинно-следственные связи, этику искусственного интеллекта, память моделей и многое другое. В создании тестов участвовали команды из Sber AI, Skoltech AI, НИУ ВШЭ. Так появился открытый бенчмарк MERA: Multimodal Evaluation for Russian-language Architectures. Это концепция единого независимого лидерборда с фиксированными верифицированными экспертами задачами и стандартизированными конфигурациями промптов и параметров.
 |
С каждым днем границы применения искусственного интеллекта расширяются. Нам как никогда важно иметь актуальное представление о реальных способностях языковых моделей. Набор тестов — это возможность для индустрии и академического сообщества исследовать способности фундаментальных моделей, объективно оценивать их, развить коллаборации как внутри РФ, так и на международной арене. Мы приглашаем другие компании, в том числе, участников Альянса в сфере ИИ присоединиться к обсуждению методологии и зафиксировать общепринятые отраслевые стандарты, сказал Сергей Марков, руководитель Управления экспериментальных систем машинного обучения дивизиона общих сервисов «Салют» Сбербанка.
|  |
Примечания
