RT.Datalake
Решение для хранения и обработки данных любых объемов

Основные статьи:

• Система хранения данных
• Управление данными (Data management)
• Большие данные (Big Data)
• DataLake (озеро данных)
• SaaS - История. Философия. Драйверы развития

RT.DataLake – набор приложений экосистемы Hadoop, объединенных в подготовленный к установке дистрибутив.

2023: Совместимость с «Плюс7 ФормИТ на Hadoop»

12 октября 2023 года DIS Group и «Ростелеком» подписали протокол о совместимости продуктов RT.DataLake и «Плюс7 ФормИТ на Hadoop».

Совместное использование RT.DataLake и «Плюс7 ФормИТ» позволит значительно расширить возможности платформы управления данными «Ростелекома», в том числе профилировать данные и приводить их к требуемому уровню качества – что особенно актуально при создании цифровых двойников и сложной предиктивной аналитике, требующих высочайшего уровня качества данных.

Крупным корпоративным заказчикам могут потребоваться дополнительные мощные инструменты интеграции данных при создании озер данных на базе RT.DataLake. Мы считаем, что в таких случаях хорошим решением будет «Плюс7 ФормИТ на Hadoop» и успешно проверили его совместимость с RT.DataLake, – сказал директор по развитию платформы управления данными ПАО «Ростелеком» Станислав Лазуков.

В рамках протокола были обозначены следующие задачи тестирования:

• Автоматизированная установка дистрибутива RT. DataLake при помощи RT.ClusterManager;
• Интеграция платформ RT.DataLake и компонент «Плюс7 ФормИТ на Hadoop»;
• Чтение, запись и обработка данных на кластере Hadoop через подключение «Плюс7 ФормИТ на Наdоор» в режимах Native, Spark;
• Работоспособность утилиты Sqoop: в качестве источника и приемника применялись таблицы Oracle DB и PostgreSQL.

В ходе тестирования проверены все основные режимы совместной работы, включая ключевые возможности по интеграции данных и обработке данных на платформе «Плюс7 ФормИТ на Hadoop» в режиме Pushdown на платформу RT.DataLake.

Подтверждение совместимости «Плюс7 ФормИТ на Hadoop» и RT.DataLake даст возможность создавать проекты по построению и наполнению озер данных с большими объемами неструктурированной информации, которые можно будет использовать для решения самых разных бизнес-задач, – отметил технический директор DIS Group Олег Гиацинтов.

2022

Решаемые задачи и особенности

Продукт RT.DataLake решает задачи надежного хранения разноформатных данных и распределённых вычислений.

RT.DataLake подойдет для хранения потоковых данных с устройств, логов, файлов и другой информации. За счет технологии распределенного хранения данных с использованием файловой системы HDFS достигается высокая надежность – если один из узлов кластера выйдет из строя, информация не потеряется. Чекап для искусственного интеллекта: зачем и как тестировать ИИ-решения?

В RT.DataLake можно выполнять аналитические запросы и трансформацию данных - реализованы механизмы MapReduce, Spark, TEZ. Продукт позволяет подготовить данные для использования в моделях машинного обучения и для исследования данных, профилирования или построения аналитических отчетов.

По информации на июль 2022 года RT.DataLake поддерживает гибкие настройки политик безопасности и доступа к данным с использованием технологий Kerberos и Ranger, что позволяет хранить в озере данных даже персональные и другие чувствительные данные, не опасаясь утечки информации.

Особенности:

• Импортонезависимый продукт, зарегистрированный в реестре отечественного ПО;
• Использование защищенного репозитория с исходным кодом и поддержка отечественных ОС;
• Возможность индивидуальной сборки версий компонент дистрибутивов;
• Встроенный балансировщик нагрузки HAProxy, поддержка кодека сжатия Zstd, поддержка Yarn UIv2 и очередей для fair и capacity шедулера (от англ.scheduler), и другие доработки;
• Автоматизация сервисных функций: установка, настройка кластера, мониторинг работоспособности и решения инцидентов (механизмы администрирования и решения проблем);
• Поддержка в режиме 24х7. Географически распределенная команда поддержки и полноценный комплект технической и эксплуатационной документации на русском языке;
• Гибкость использования. Продукт доступен в двух варианта: облачном и on-premises;
• Короткий цикл доставки изменений (bugfix, securitybugfix и newfeatures) и выпуска новых версий RT.DataLake за счет автоматизации сборки и тестирования версий;

RT.DataLake поддерживает актуальные и стабильные версии компонент экосистемы Hadoop – 2ю и 3ю. Это позволит исключить проблемы совместимости при миграции данных из других озер и источников данных. А также поможет безболезненно решить вопрос перехода с импортных решений на отечественный продукт.

Продукт может применяться совместно с RT.ClusterManager.

Выход на российский рынок

«Ростелеком» 8 июня 2022 года сообщил о том, что выводит на российский рынок импортонезависимый freeware-дистрибутив RT.Datalake — специальную сборку одного из компонентов «Платформы управления данными», которая предназначена для организации эффективного хранилища больших данных.

RT.Datalake позволяет хранить и обрабатывать данные любых объемов для решения различных бизнес-задач: от построения отчетности до создания моделей машинного обучения. Таким образом, «Ростелеком» предоставляет российским компаниям возможность бесплатно построить собственное озеро данных на отечественной, полностью импортонезависимой сборке дистрибутива Hadoop без затрат на лицензионные взносы.

Продукт основан на Apache Hadoop, он отвечает высоким требованиям надежности и доступности, а также обладает низкой стоимостью хранения данных. Пользователям freeware-дистрибутива будет доступна сборка и подробная инструкция по ее установке с заданными параметрами и настройками. В состав RT.Datalake входят следующие версии компонентов: Hadoop 3.0.0, HBase 2.2.6, Hive 3.1.1, Hue 4.10, Spark 3.0.0, Zookeeper 3.7.0.

Пользователи freeware-дистрибутива смогут заключить договор на консультации специалистов «Ростелекома» — формат технической поддержки, когда клиент обращается за разъяснениями по какому-либо вопросу, возникшему в процессе установки или эксплуатации сборки. Кроме того, за пользователем всегда сохраняется возможность миграции на коммерческую версию, в которой большинство действий автоматизировано с помощью ansible-скриптов и RT.ClusterManager, что упрощает процесс установки и эксплуатации.

«Платформа управления данными» уже на июнь 2022 года помогает российским компаниям снизить зависимость от иностранных поставщиков программного обеспечения и уменьшить затраты на работу с данными. Из-за ухода западных вендоров из России и необходимости обеспечения технологического суверенитета, мы решили предоставить российским компаниям возможность бесплатного использования наших продуктов с ограниченным функционалом. Мы даем возможность бесплатно использовать продукт RT.DataLake, а в ближайшее время сделаем доступными еще два продукта в freeware-версии: RT.Warehouse и RT.Streaming, — рассказал директор по управлению данными «Ростелекома» Сергей Носов.