«Semantic MDM» — централизованное управление корпоративными мастер-данными в холдингах и корпорациях.

Андриченко Андрей Николаевич, к.т.н. Директор по развитию АО «ЭСДИАЙ СОЛЮШЕН»

Кривогин Денис Михайлович, к.т.н. Зам. Генерального директора по ИТ АО «ЭСДИАЙ СОЛЮШЕН»

На рынке MDM решений существуют системы «легкого» и «тяжелого» классов. Первые предназначены для управления корпоративной нормативно-справочной информацией (НСИ) и ориентированы на финансово-экономический контур предприятия. Они используют упрощенную модель данных с ограниченным набором атрибутов для объектов НСИ, достаточных для закупок товаров. Эти системы подходят для организаций без специализированных информационных систем для инженерных мастер-данных.

MDM системы «тяжелого» класса, к которым относится «Semantic MDM», позволяют вести максимально полный, структурированный атрибутивный состав объектов НСИ, который может включать до 300 характеристик, связанных с одной позицией и востребованных специалистами инженерно-технических служб. При описании объектов НСИ с таким количеством атрибутов используются связи, типа: ассоциация, агрегация и композиция, с помощью которых создаются различные объекты со сложной онтологической структурой, сформированной из элементов вспомогательных классификаций.

Для крупных предприятий промышленного профиля рекомендуется выбирать мультидоменные семантические MDM системы «тяжелого» класса, которые позволяют реализовать контекстную точку зрения на объекты НСИ, циркулирующие одновременно в производственном и финансово-экономическом контуре.

Система «Semantic MDM»

Программный комплекс «Semantic MDM» (рис.1), разработанный российской компанией АО «ЭСДИАЙ СОЛЮШЕН», предназначен для создания и сопровождения корпоративных информационно-технических справочников, каталогов и классификаторов любой сложности в масштабе отрасли, корпорации, предприятия.

Данная система способствует созданию единого информационного пространства, в котором актуальные и достоверные эталонные мастер-данные принадлежат всем пользователям: инженерам, бухгалтерам, снабженцам, плановикам и т.д.

Рисунок 1. Основное окно системы «Semantic MDM»

Система поддерживает глобальную идентификацию объектов НСИ, реализует единую точку ввода, обеспечивает актуальность, качество и достоверность мастер-данных, которые используются всеми подразделениями организаций и служат основой для принятия бизнес-решений в процессе финансово-хозяйственной, закупочной и производственной деятельности компании.

«Semantic MDM» выполняет функции классификации, нормализации и контроля качества данных, реализует поиск дубликатов, сохраняет историю проводимых изменений. Система адаптирована к специфике инженерных данных, что позволяет синхронизировать информацию об объектах НСИ в контуре PLM и ERP систем.

Уникальность решения «Semantic MDM» заключается в реализованной онтологической модели данных, которая позволяет сначала унифицировать всю терминологию предметной области (реестр атрибутов), а затем на основе единого глоссария создавать различные классификационные группы с произвольным набором характеристик (шаблоны). Иерархия классов в рамках данной модели обеспечивает наследование атрибутивного состава от родительских классов к дочерним, включая механизмы агрегирования объектов вспомогательных классификаций.

«Semantic MDM» успешно внедрена и эффективно функционирует в территориально-распределенной структуре крупных промышленных предприятий, таких как АО «НПЦ газотурбостроения «Салют», АО «Концерн «Калашников», ПАО «Ракетно-космическая корпорация «Энергия» имени С.П. Королева», АО «Объединенная двигателестроительная корпорация».

В 2021 году система «Semantic MDM» была выбрана одной из крупнейших российских корпораций топливно-энергетического комплекса в качестве решения, замещающего SAP MDM. По результатам проведенного конкурса «Semantic MDM» опередила ближайших конкурентов по функциональности, производительности и инновационности подходов к моделированию данных. В конце 2023 года система «Semantic MDM» была успешно сдана в промышленную эксплуатацию и полностью заменила все сервисы SAP MDM в структуре организации.

Архитектура «Semantic MDM»

«Semantic MDM» отвечает требованиям импортозамещения, предъявляемым к программному обеспечению, и зарегистрирована в реестре отечественного ПО. Система работает в трехзвенной архитектуре (рис. 2) на российской ОС и СУБД:

• Кроссплатформенный сервер приложений WildFly с открытым исходным кодом;
• Российская СУБД PostgreSQL (Postgres Pro);
• Совместимость с отечественными операционными системами Ред ОС, ОСнова, Astra Linux (в том числе Special Edition) и ALT Linux;
• WEB-клиент, который работает со всеми современными веб-браузерами.

Рисунок 2. Архитектура программного комплекса «Semantic MDM»

Архитектура «Semantic MDM» включает десять функциональных модулей:

1. Подсистема управления моделью данных позволяет формировать произвольные многоуровневые классификации с возможностью наследования атрибутов вниз по иерархии классов.
2. Подсистема конфигурирования отвечает за формирование единого словаря терминов, репозитория семантических связей и шаблонов заявок на создание и изменение объектов НСИ.
3. Подсистема управления заявками обеспечивает прием и обработку заявок на изменение и добавление новых объектов и документов в базу данных НСИ.
4. Подсистема импорта и репликации данных синхронизирует объекты НСИ в прикладных информационных системах с объектами в «Semantic MDM» на основе маппинга атрибутивного состава объектов.
5. Подсистема администрирования и безопасности управляет правами и привилегиями пользователей, разграничивает доступ к функциям системы и к данным до уровня атрибутов.
6. Подсистема формирования отчетов позволяет генерировать настраиваемые отчеты произвольных форм.
7. Подсистема машинного обучения предназначена для автоматического распознавания объектов НСИ по введенному исходному описанию.
8. Подсистема управления качеством данных обеспечивает контроль и мониторинг качества данных на основе специализированных функций.
9. Подсистема описания компонентов позволяет разрабатывать собственные расширения веб-клиента и отдельные его формы.
10. Подсистема управления расширениями и настройками системы позволяет визуально и функционально адаптировать ее под Заказчика.

«Semantic MDM» можно использовать как облачный сервис или классическое клиент-серверное приложение, установленное на аппаратных ресурсах заказчика. Существует несколько параметров лицензирования: конфигурация, количество записей в системе, а также количество подключаемых внешних информационных систем.

Уровни внедрения «Semantic MDM» в промышленной корпорации

1. Управляющая компания холдинга, корпорации

• централизация управления корпоративными мастер-данными;
• обеспечение однородности мастер-данных;
• унификация форматов обмена и представления объектов НСИ;
• корпоративные регламенты управления НСИ;
• репликация мастер-данных в подразделения корпорации.

2. Предприятие

• синхронизация объектов НСИ инженерного и экономического контуров предприятия;
• каталогизации промышленной продукции;
• электронный архив нормативно-технической документации.

3. Конструкторско-технологическая подготовка производства

• интеллектуальная информационно-поисковая система;
• информационно-технические справочники и классификаторы, интегрированные с САПР.

На каждом уровне система выполняет разные задачи: в холдинге или корпорации она помогает формировать консолидированную отчетность и проводить бизнес-аналитику; на уровне предприятия обеспечивает синхронизацию мастер-данных инженерного и экономического контура; в подразделениях конструкторско-технологической подготовки производства объединяет базы данных НСИ отдельных прикладных САПР.

Семантическая сеть объектов НСИ

В промышленном производстве описание объектов НСИ в MDM системе невозможно представить без информации об их взаимосвязях и совместимости. Подавляющее большинство номенклатурных позиций связаны смысловыми отношениями, которые создают дополнительные возможности для ориентации и перемещения по горизонтальным связям объектов, принадлежащих различным группам классификационных иерархий. Правильно построенная семантическая сеть объектов НСИ в среде MDM позволяет организовать навигацию по предварительно настроенным и автоматически вычисляемым смысловым связям, что многократно сокращает время поиска необходимой информации, например, при подборе объектов аналогов.

Семантическая сеть объектов НСИ может быть изменена пользователями с правами на редактирование метаданных (рис. 3). Перемещение между объектами осуществляется на основе настроенных смысловых отношений.

Рисунок 3. Окно настройки и визуализации семантических связей объектов НСИ

Система использует запатентованный метод семантического поиска, который учитывает взаимосвязи объектов и сокращает время на поиск информации. «Semantic MDM» поддерживает полнотекстовый, многокритериальный, фасетный и ассоциативный поиск, автоматически подбирая аналоги на основе правил вычисляемой совместимости.

Система позволяет настраивать семантические связи для справочных групп, декларировать позиции, как аналоги и осуществлять их поиск. Пользователи могут создавать условия для вычисления связей с помощью low-code и no-code механизмов, с автоматической интерпретацией и тестированием в пользовательском интерфейсе.

Моделирование данных на основе методологии OTD

Организация эталонных мастер-данных в системе «Semantic MDM» ориентирована на методологию открытых технических словарей (OTD), которые включают термины и определения для создания точных шаблонов описаний товаров, услуг, процессов и других объектов. Применение единой терминологии позволяет прикладным системам обмениваться данными независимо от их программного реализации.

Методология ОTD включает создание шаблонов для однородных номенклатурных позиций с утвержденными характеристиками, описывающими свойства объектов НСИ.

Обеспечение качества мастер-данных в «Semantic MDM» основано на онтологических подходах стандарта ГОСТ Р ИСО 22745.

• Создание единого реестра атрибутов, который унифицирует терминологию предметной области. Каждому понятию присваивается уникальный идентификатор GUID (Globally Unique IDentifier).
• Разработка шаблонов для групп однородных объектов НСИ, включающих наборы атрибутов (характеристик) из единого реестра и описывающих свойства этих объектов.
• Формирование «онтологической» классификации объектов НСИ, где выстраивается иерархия классов и реализуется наследование атрибутивного состава от родительских классов к дочерним, включая механизмы агрегирования объектов вспомогательных классификаций.
• Обеспечение контекстно-зависимого представления мастер-данных на основе механизма предоставления/ограничения прав доступа для различных категорий пользователей к атрибутивному составу объектов НСИ.
• Установление семантических связей между объектами НСИ, определяющих правила их совместимости и взаимодействия.

Подсистема управления заявками пользователей

Внесение любых изменений в базу данных «Semantic MDM» производится по заявкам пользователей в подсистеме, обеспечивающей соблюдение определенной последовательности действий по оценке полноты, качества и достоверности вводимой информации.

Заявки на изменение данных, поступающие от пользователей, накапливаются и анализируются в модуле управления заявками экспертами НСИ, обладающими соответствующими полномочиями и правами в системе «Semantic MDM» (рис. 4). Каждой заявке присваивается определенный тип, который предопределяет атрибутивный состав создаваемой позиции и маршрут согласования — список экспертов НСИ и очередность проверки заявки.

Рисунок 4. Подсистема управления заявками

Маршрут согласования заявки на добавление объектов НСИ или изменение значений их атрибутов может быть разбит на этапы, каждый из которых связывается с определенным условием его исполнения.

Подсистема управления заявками «Semantic MDM» позволяет в режиме реального времени отслеживать показатели отдела и сотрудников за разные промежутки времени и своевременно планировать трудовые ресурсы (рис.5).

Подсистема обеспечения качества данных

Система «Semantic MDM» обладает инструментами, позволяющими контролировать качество информации на этапе ее ввода: типизация атрибутов, опции обязательности и уникальности значений атрибутов, ввод данных по маске, ограничительные списки значений атрибутов и т.д.

Модуль разбора строк позволяет автоматизировать процесс нормализации данных, в соответствии с которым исходная строка контента разбивается на атрибуты в зависимости от принадлежности к определенному классу объектов НСИ.

В системе реализованы алгоритмы нечеткого поиска на основе методов N-грамм и Левенштейна, которые позволяют осуществлять поиск дублей, назначать выявленные дубликаты аналогами эталонных объектов НСИ или производить слияние их атрибутивного состава.

Обеспечение качества нормализованных позиций в «Semantic MDM» осуществляется с помощью специализированных функций контроля и проверки вводимых мастер-данных. Эти функции включают механизмы «ограничительных таблиц», которые содержат информацию о допустимых комбинациях значений атрибутов объектов НСИ (рис.6).

Рисунок 6. Обеспечение верификации данных на основе "ограничительных таблиц"

Мастер формирования номенклатурных позиций позволяет пользователям создавать качественные записи без необходимости вручную проверять запрещенные комбинации значений атрибутов. Кроме того, система поддерживает подключение внешних сервисов для автоматической верификации данных, например, облачный сервис «Контур.Фокус» для проверки данных о контрагентах по ИНН (рис.7).

Рисунок 7. Интеграция "Semantic MDM" с внешним сервисом "Контур.Фокус"

Мониторинг качества данных

Модуль мониторинга качества данных (рис.8) с помощью автоматической статистики отслеживает качество данных по номенклатурным позициям, атрибутам группы и отдельным атрибутам, а также для отдельных предприятий и данных из внешних информационных систем (ИС). С помощью данного функционала выявляются позиции, не соответствующие правилам проверки качества, дублирующиеся значения атрибутов и атрибуты-дубликаты. Элементы ИИ, реализованные в системе, обнаруживают аномальные значения и группы семантических синонимов в реальном времени.

Рисунок 8. Модуль мониторинга качества данных

Механизмы автоматического сбора статистики и интерактивные дашборды позволяют быстро визуализировать сводную аналитическую информацию для выбранной группы в разрезе справочников, предприятий, внешних ИС, атрибутов группы и отдельно выбранного атрибута.

Обеспечение качества данных на основе алгоритмов машинного обучения

Важной подсистемой «Semantic MDM» является сервис машинного обучения ML (Machine Learning), который позволяет автоматически распознавать объекты НСИ на основе введенных исходных описаний (рис.9). Модуль ML также обрабатывает заявки, нормализует большие объемы данных и оценивает качество данных экспертами НСИ.

Сервис базируется на нейронных сетях и требует постоянного обучения, которое проводилось на этапе внедрения системы и последующей ее эксплуатации. Как показала практика, точность распознавания номенклатурных позиций составляет 98%.

Рисунок 9. Автоматическое распознавание номенклатурных позиций подсистемой «Машинное обучение»

Подсистема машинного обучения (решение on-premise) позволяет посредством бесшовной интеграции с MDM на веб-клиенте:

• автоматически распознавать объекты НСИ по введенным исходным описаниям;
• выполнять автоматическое дообучение на данных MDM-системы, заявок и результатов наследования данных с возможностью просмотра статуса сформированных пакетов обучения, а также настройки расписания переобучения;
• автоматически или вручную назначать данные, используемые для проверки распознавания записей;
• отслеживать качество данных по атрибутам, выявлять дублирующие атрибуты.

Подсистема администрирования и безопасности

В системе реализовано два вида безопасности:

• ролевая безопасность, позволяющая производить аутентификацию и авторизацию пользователей в соответствии с их принадлежностью к определенной группе или совокупности групп: операторы, администраторы, эксперты НСИ и т.д., каждая из которых определяет список доступных функциональных возможностей;
• права доступа к данным, которые назначаются группам или конкретным пользователям для разграничения их прав доступа к различным уровням информации: справочники, отдельные ветви классификаторов, атрибуты объектов и документы.

Групповая политика безопасности может дополняться индивидуальными настройками для каждого пользователя на уровне справочных групп, позиций и атрибутов. На уровне атрибутов определяются права на просмотр и редактирование, что позволяет реализовать различные контекстные точки зрения на объекты НСИ. В системе ведется журнал активности пользователей, фиксируется статистика посещений, регистрируются время входа и выхода из системы, а также производимые пользователями действия.

Подсистема импорта и репликации мастер-данных

Подсистема импорта и репликации данных позволяет связывать и синхронизировать атрибутивный состав эталонных объектов НСИ в MDM с одноименными объектами НСИ во внешних ИС (рис.10). Данный модуль автоматически реплицирует изменения, накопленные в базе данных MDM, в территориально-распределенной структуре предприятия по заданному расписанию или в ручном режиме. Реализация данного функционала позволяет сделать MDM систему единой точкой ввода и изменений мастер-данных.

Рисунок 10. Импорт и репликация данных между MDM и внешними информационными системами

Доступ к данным, обмен которыми настроен в «Semantic MDM», возможен через несколько каналов взаимодействия:

• Apache Kafka — формат JSON (предпочтительный);
• Rabbit MQ — формат JSON;
• REST — формат JSON;
• сервис SOAP — формат XML.

Конкурентные преимущества «Semantic MDM»

«Semantic MDM» предлагает следующие конкурентные преимущества:

• развертывание в отказоустойчивом кластере с возможностью горизонтального масштабирования;
• высокая производительность на больших объемах данных, подтвержденная нагрузочным тестированием;
• объектно-ориентированная модель данных с наследованием атрибутов по иерархии классов;
• быстрый поиск по наименованию объектов НСИ, многокритериальный и фасетный поиск, а также поиск нечетких дубликатов;
• запатентованный семантический интеллектуальный поиск, учитывающий взаимосвязи объектов НСИ;
• множественная классификация и контекстная точка зрения на объекты НСИ, обеспечивающие полноту и целостность мастер-данных для разных групп пользователей;
• гибкая модель данных, настраиваемая под требования заказчика;
• наличие собственного сервиса машинного обучения (ML) с возможностью обучения на данных заказчика;
• возможность адаптации функционала системы через встраивание новых сервисов и замену существующих;
• специализированный интерфейс для работы с инженерными данными и базы данных с промышленным контентом.

Одно из основных конкурентных преимуществ «Semantic MDM» — это гибкая настраиваемая модель данных и возможность расширения функционала клиентского приложения без участия разработчика. Механизмы настройки интерфейса, включая использование библиотеки готовых компонентов и реализованных API, ускоряют разработку дополнительных функций и интерфейсных решений для специфических задач.

Интерфейс и функциональность веб-клиента «Semantic MDM» пользователь может самостоятельно дополнять с помощью модулей расширения (плагинов). Система позволяет создавать:

• собственные интерфейсы справочников и шаблоны заявок;
• пользовательские кнопки на различных инструментальных панелях системы;
• дополнительные пункты контекстного меню для дерева классификаций и таблицы позиций.

Подсистема описания компонентов «Semantic MDM» предоставляет готовую библиотеку компонентов. Каждый компонент библиотеки включает описание API, исходный код и пример его работы. Данную информацию можно использовать как при разработке расширений функциональности в рамках окон для работы с атрибутами, позициями, группами и т.д. (рис.11), так и при разработке собственных интерфейсов специализированных справочников.

Рисунок 11. Возможности расширения функционала Web-клиента «Semantic MDM»

Настройки интерфейса веб-клиента позволяют гибко адаптировать его под бренд-бук заказчика (рис.12). Это достигается путем ввода наименования бренда, добавления логотипа, выбора темы с набором стилей и изображений, определяющих внешний вид страницы авторизации и стартовой страницы системы. Также, доступна загрузка внешней таблицы стилей в формате *.css, добавление фавикона окна браузера, настройка цвета категорий и подсветки строковых значений.

Рисунок 12. Пример адаптации «Semantic MDM» под фирменный стиль Заказчика

В целом, внедрение «Semantic MDM» в территориально-распределенной структуре холиндгов и корпорация позволяет:

• снизить трудоемкость управления корпоративными мастер-данными за счет организации единой точки ввода корпоративных мастер-данных и разработки корпоративных регламентов и методик управления НСИ;
• повысить качество мастер-данных за счет унификации форматов представления информационных объектов и устранения дублирования информации;
• сократить затраты на формирование консолидированной отчетности за счет глобальной идентификации номенклатурных позиций и возможности проведения анализа и планирования ресурсов;
• сократить расходы на централизованные закупки МТР за счет укрупнения партий закупаемых ТМЦ;
• сократить издержки на стадии процесса закупок за счет единой идентификации ТМЦ, обеспечивающей поиск и подбор аналогов.