Modus ETL
Управление корпоративным хранилищем данных

Основные статьи:

• Управление данными (Data management)
• Определение Business Intelligence

Modus ETL - российское решение, предназначенное для управления процессами ETL и Data Quality Management. Позволяет собирать данные из множества источников, обеспечивает процессы верификации, стандартизации, категоризации и трансформации данных.

Modus ETL позволяет сформировать и обеспечить управление корпоративным хранилищем данных на СУБД MSSQL, PostgreSQL или Vertica.

Обеспечивает быстрое подключение источников данных за счет готовых интеграций с 1C, SAP, Oracle, различными СУБД, файлами Excel и другими веб-сервисами.

Решение реализовано на платформе 1С:Предприятие 8.3. Открытый для изменения код с возможностью самостоятельной доработки продукта 1С-разработчиками.

Работает на серверах под управлением ОС Windows и Linux.

Modus ETL включен в единый реестр российского ПО и имеет сертификацию «1С:Совместимо!».

2025: Modus ETL 1.6.11

10 марта 2025 года компания Modus сообщила о выходе обновления Modus ETL 1.6.11.

𝓲

Фото: Modus

По информации компании, изменения коснулись следующего.

Получение данных из источников:

• Добавлена быстрая загрузка больших файлов форматов XLSX и CSV. Теперь 1 000 000 записей XLSX грузится за 53 секунды, а 4 000 000 записей CSV грузятся за 32 секунды.
• Доработан механизм получения структуры метаданных хранилища из баз 1С: повторное получение списка доступных таблиц и состава их полей (обновление метаданных) из баз данных 1С теперь происходит в ~5 раз быстрее.
• Улучшен механизм проверки корректности пользовательских настроек, отвечающих за взаимодействие между Агентом ETL и Modus ETL. Теперь при проверке корректности пользовательских настроек нажатии на кнопку "Проверить доступность" происходит не только проверка доступности Агента ETL, но и проверка настроек Modus ETL. Так пользователи могут выявить некорректные настройки сразу, не дожидаясь возникновения ошибок в процессе получения данных.
• Оптимизировано получение данных из источников 1С. Теперь данные передаются пачками фиксированного размера и сразу помещаются в хранилище. Это помогает обойти ограничения 1С-источников по передаче больших файлов и снижает потребление ОЗУ в базе-источнике.
• Доработан Агент ETL: теперь заполнение параметров 'Адрес', 'Логин', 'Пароль' контролируется автоматически. Также добавлен вывод ошибок, выявленных при проверке, в лог работы.
• В тестовой Альфа-версии добавлена возможность использования Агентом ETL модулей получения данных, написанных на языке Python. Теперь для загрузки данных, имеющих сложную и нестандартную структуру, можно будет подготовить специальный код на Python, встроить этот код в модуль получения данных в Modus ETL и настроить автоматическое получение данных.

Трансформация данных:

• Теперь при копировании и переносе сценариев обработки данных схема (вёрстка) отображения шагов будет воспроизводиться в модели WorkFlow
• В шаблон шага «Разделение строки» добавлена возможность использования «пробела» в качестве разделителя строк
• В шаблон шага «Произвольный код 1С» добавлена возможность в коде 1С использовать «Параметры сценария»
• В шаблоне шага «Перенос данных» механизм создания таблицы-приемника оптимизирован и адаптирован под современные версии ClickHouse
• Добавлена возможность при помощи изменения SQL-запроса выполнять тонкую настройку параметров создания временных таблиц хранилища
• Добавлена кнопка "Расширенные настройки" для управления выбранным объектом WorkFlow. Теперь пользователь может заходить в свойства шагов сценария и изменять типы связей между шагами, выбирая тип «Временная таблица» или «Вложенный запрос».
• В сценариях обработки данных были добавлены новые шаблоны: «Очистка таблицы», «Обновление таблицы», «Обновление таблицы из таблицы-источника»
• Доработан Агент ETL: теперь работа шаблонов шагов сценария в части Machine Learning не требует установки отдельного специального сервиса.

Управление хранилищем:

• Доработана форма создания и редактирования таблицы хранилища: реализовано интерактивное управление параметрами полей (столбцов) без необходимости «проваливаться» в форму настройки каждого поля. Это повышает удобство пользователя при работе и экономит время настройки таблицы на ~30%.
• Доработана форма редактирования таблицы хранилища: добавлена возможность на основании таблицы хранилища создать и обновить простой набор данных на аналитическом портале Modus BI без необходимости создавать таблицу хранилища заново.
• Доработана форма создания и редактирования таблицы хранилища: добавлен столбец 'Алиас', с помощью которого можно для каждого поля таблицы указать псевдоним для описательной документации, а также использовать его при создании простых наборов данных для аналитического портала Modus BI.
• Добавлена возможность экспорта описания и структуры таблиц хранилища в виде файлов с описательной документацией в форматы PDF, XLSX, DOCX, TXT и не только. Теперь пользователь может использовать их для подготовки отчётной документации по проектам, пояснительных записок, инструкций и так далее. Это оптимизирует трудозатраты на подготовку документации по используемым таблицам и наборам данных минимум в два раза.

Команда Modus также поработала над информационной безопасностью Modus ETL. Теперь пароль строки подключения к ETL при выводе информации в файл лога скрыт.

Прочие доработки:

• В очередной раз получен сертификат «1С:Совместимо» для Modus ETL
• Выполнено обновление «1С:Библиотеки стандартных подсистем» до версии 3.1.9.
• Доработан раздел «Основные настройки»: на вкладке «Прочее» в группу «Очистка журналов событий сбора данных» добавлены дополнительные опции управления (очистка журналов событий сбора данных, настройка расписания и события очистки).
• Актуализирована служебная форма для тестирования взаимодействия между Modus ETL и Агентом ETL
• На главной странице Modus ETL добавлена возможность скачивать дистрибутивы Агента ETL и Адаптера ETL для 1С. Если раньше нужно было получать дистрибутивы на сайте 1С или искать их в каталоге с шаблонами конфигураций 1С, то теперь этого делать не нужно.

2021

Добавление интерфейса Workflow

В обновленном релизе Modus ETL 1.5 появился интерфейс Workflow, который является более функциональной и удобной альтернативой настройке шагов сценария в виде таблицы. Об этом 21 июля 2021 года сообщила компания Modus BI.

Modus ETL развивается в концепции low-code, что подразумевает возможность настраивать ETL-операции в визуальном интерфейсе без необходимости написания кода.

Интерфейс WorkFlow дает возможность проектировать сценарии обработки данных:

• размещая шаги на холсте и связывая шаги друг с другом для передачи данных и/или управления между шагами,
• настраивая для шага правила обработки данных с использованием готовых шаблонов (мастеров) и правила сбора статистики и проверки качества данных.
• при запуске сценария на выполнение в интерфейсе отображается выполнение сценария, сохраняются для последующего анализа логи выполнения и статистика по данным.

Кроме того, шаги сценария обработки данных могут выполняться параллельно, что обеспечивает гибкость настройки и большую производительность.

Пример параллельного выполнения шагов сценария в Workflow:

Также в Modus ETL 1.5 реализован обновленный дизайн приложения: изменены стили цветового оформления и существенно переработан интерфейс для большего удобства работы.

Основные возможности по управлению качеством данных

• управление нормативно-справочной информацией
• формирование отчетности в эталонных терминах
• трансформация первичных данных в целевую модель
• расчет ключевых показателей эффективности

Управление хранилищем данных Modus ETL

Архитектура Modus ETL

2017

Сертификат «1С:Совместимо!»

В 2017 году продукт «Модус:Управления корпоративным хранилищем данных (ETL)» получил сертификат «Совместимо! Система программ 1С:Предприятие».

Особенности и возможности программы

Продукт "Модус:Управление корпоративным хранилищем данных (ETL)" предназначен для построения и управления корпоративным хранилищем данных (КХД), автоматизированного сбора данных из различных источников данных, включая инструменты управления качеством данных.

(Данные актуальны на апрель 2017 года)

Управление сбором данных:

• Использование в качестве источника "1C:Предприятие" (в т. ч. 1С:Fresh), данных баз данных (MS SQL, Oracle), веб-сервисов, файлов MS Excel;
• Возможные приемники данных: внешние источники "1C:Предприятие", базы данных MS SQL;
• Возможность настройки и сохранения правил сбора данных, включая настройки для указанного источника данных;
• Возможность загрузки данных в несколько потоков (многопоточность);
• Возможность загрузки данных по расписанию, включая визуализацию расписания загрузки данных;
• Возможность визуального конструирования запроса на языке SQL/1C;
• Возможность визуализации структуры метаданных базы "1C:Предприятие";
• Управление обработкой данных:
• Возможность настройки правил трансформации данных – сценариев на языке SQL/1С;
• Возможность хранения актуальных данных и истории изменения данных (версии данных) в одной таблице;
• Настройка правил версионирования данных: определение ключевых полей и расчет хэш-сумм;
• Настройка правил валидации и очистки данных (использование преднастроенных шаблонов);
• Настройка правил консолидации данных;

Другие возможности:

• Возможность объединения правил выгрузки данных и сценариев трансформации данных в пакеты и настройку расписания под запуска пакетов;
• Подсистема логирования процессов загрузки и трансформации данных;
• Возможность уведомления на электронную почту о событиях системы;
• Возможность написания произвольного алгоритма (AddOn) при загрузке и обработке данных;
• Возможность подключения плагинов для процессов обработки данных;
• Реализацияв системе рабочего места аналитика по сбору данных (АРМ аналитика).

Конфигурация "Хэндисофт: Управление корпоративным хранилищем данных (ETL)" не является самостоятельной, для ее работы необходимо наличие установленной платформы "1С:Предприятие 8.3" (не ниже версии 8.3.8).

Конфигурация "Хэндисофт: Управление корпоративным хранилищем данных (ETL)" разработана с использованием функционала "1С:Библиотеки стандартных подсистем".