VMware Tanzu Greenplum

Основная статья: Система управления базами данных (СУБД)

База данных Greenplum представляет собой сервер базы данны с массивной параллельной обработкой (MPP) с архитектурой, специально разработанной для управления крупномасштабными аналитическими хранилищами данных и рабочими нагрузками бизнес-аналитики. MPP относится к системам с двумя или более процессорами, которые взаимодействуют для выполнения операции, причем каждый процессор имеет собственную память, операционную систему и диски. Greenplum использует эту высокопроизводительную системную архитектуру для распределения нагрузки на многотерабайтные хранилища данных и может использовать все ресурсы системы параллельно для обработки запроса.

2022: Основа Greenplum - PostgreSQL

База данных Greenplum основана на технологии PostgreSQL с открытым исходным кодом. По сути, это несколько экземпляров базы данных PostgreSQL, которые действуют вместе как одна сплоченная система управления базами данных (СУБД). Greenplum (GP) – реляционная СУБД, имеющая массово-параллельную (massive parallel processing) архитектуру без разделения ресурсов (Shared Nothing)^[1].

2020: Коммерциализация под торговой маркой VMware Tanzu Greenplum

В 2020 году корпорация VMware приобрела компанию Pivotal, которая была вендором Greenplum с 2012 года. С этого момента open source MPP-СУБД коммерциализируется под торговой маркой VMware Tanzu Greenplum.

2018: Интеграция с отечественной платформой визуализации и анализа данных Luxms BI

В 2018 году платформа Luxms BI была интегрирована с массивно-параллельной СУБД Greenplum с открытым исходным кодом. Стыковку с СУБД Greenplum обеспечивает высокоскоростной двунаправленный FDW-коннектор. Подробнее здесь.

2015: Открыт исходный код БД Greenplum

28 октября 2015 года стало известно об открытии исходного кода базы данных Greenplum Database (GPDB), заявленной как полнофункциональное Open Source-хранилище данных (warehouse) на платформе свободной СУБД PostgreSQL^[2].

Greenplum — СУБД, созданная одноименной компанией, которую в 2010 году купила EMC Corporation, а в 2013 году она перешла к Pivotal Software. Чекап для искусственного интеллекта: зачем и как тестировать ИИ-решения?

Pivotal анонсировала открытие кода GreenplumDB (GPDB) в феврале 2015 года и теперь это стало реальностью: проект получил свой сайт, исходные тексты опубликованы на GitHub под свободной лицензией Apache License v2. Greenplum обеспечивает мощную и быструю аналитику по огромным массивам данных и, как утверждают разработчики, использует «самый продвинутый в мире оптимизатор запросов на основе оценки их стоимости».

Основа GPDB - свободная СУБД PostgreSQL. Ее функциональные возможности расширены посредством:

• архитектуры для массовой параллельной обработки данных (автоматическое распараллеливание всех данных и запросов),
• технологии MPP для высокой производительности в масштабах петабайтов,
• инновационного оптимизатора запросов (его аналитические возможности масштабируются на крупные наборы данных без ущерба производительности и пропускной способности),
• полиморфного (ориентированного на столбцы или строки) хранилища и обработки данных,
• продвинутого машинного обучения на основе библиотеки Apache MADLib.

Кластер Greenplum состоит из мастер-сервера, в котором хранятся только метаданные, и множества «сегментных» серверов, где находятся все пользовательские данные. Все серверы используют одну и ту же схему БД.

2012: Приобретение корпорацией Pivotal

В 2012 году корпорация Pivotal приобрела продукт EMC Greenplum Community Edition, продолжив далее развивать его под своим брендом.

2011

EMC Greenplum Community Edition

В 2011 году корпорация EMC выпустила для всеобщего пользования бесплатную версию Greenplum Community Edition.

Бесплатная версия Community Edition СУБД с обработкой с массовым параллелизмом (MPP) EMC Greenplum Database, а также бесплатные аналитические алгоритмы и инструменты интеллектуального анализа данных. Анонс продукта был сделан на конференции 2011 O'Reilly Strata Conference (1–3 февраля 2011 г.) в г. Санта-Клара, шт. Калифорния, на которой выступил Скотт Яра (Scott Yara), вице-президент подразделения EMC Data Computing Products Division. Бесплатные версии уже можно скачать по адресу: http://community.greenplum.com.

Развивая успех прежних передовых разработок Greenplum в области больших объемов данных, таких как EMC Greenplum Data Computing Appliance, новая версия EMC Greenplum Community Edition устраняет стоимостные барьеры, мешающие вооружению мощными инструментами для работы с большими массивами данных большого числа разработчиков, исследователей и других профессионалов, интересующихся операциями с данными. Этот бесплатный набор инструментов позволяет сообществу специалистов не только лучше понимать данные, получать о них более глубокое представление, добиваться лучшей визуализации, но и вносить свой вклад в разработку инструментария и решений следующего поколения. С помощью программного стека Community Edition разработчики могут создавать сложные приложения для сбора, анализа и использования больших объемов данных на новом уровне, применяя лучшие в своем классе инструменты работы с большими объемами данных, включая Greenplum Database с ее отличными возможностями аналитической обработки.

Бесплатная версия EMC Greenplum Community Edition включает:

• 1) Greenplum Database CE – лидирующую в отрасли СУБД с обработкой с массовым параллелизмом (massively parallel processing, MPP) для крупномасштабной аналитики и хранилищ данных следующего поколения;
• 2) MADlib – библиотеку аналитических алгоритмов с открытым исходным кодом, реализующих вычисления с параллельной обработкой в математических, статистических методах и методах машинного обучения для структурированных и неструктурированных данных;
• 3) Alpine Miner – многообещающий аналитический инструментарий независимых производителей с интуитивно понятным визуальным средством моделирования интеллектуального анализа данных, который обеспечивает возможности быстрого "моделирования с оценкой" (modeling to scoring), на новом уровне использует встроенную в базу данных аналитику и специально создан для приложений для работы с большими объемами данных.

Для сообщества

Эта начальная версия EMC Greenplum Community Edition разработана как для пользователей-новичков, так и для опытных заказчиков Greenplum. Пользователи, впервые знакомящиеся с продуктом, получают доступ к полной специализированной среде бизнес-аналитики, которая позволяет им просматривать, модифицировать и совершенствовать включенные в продукт демонстрационные файлы данных, что дает возможность поэкспериментировать с аналитическими инструментами для работы с большими объемами данных в СУБД Greenplum. Пользователи, уже применяющие этот продукт, могут скачать обновленную версию Greenplum Database CE и инструменты аналитики для интеграции со своей средой разработки и исследовательскими средами.

Версию Community Edition можно скачать как виртуальную машину VMWare с уже настроенной конфигурацией и использовать ее на портативных или настольных компьютерах либо как набор пакетов для разработки на пользовательских машинах. Все пользователи могут бесплатно участвовать в новых форумах Greenplum Community Forums – получать поддержку, сотрудничать с коллегами, публиковать свои идеи и тестировать независимо разработанные разными пользователями усовершенствования.

Сроки выпуска продукта

Начиная с 1 февраля 2011 г. версию EMC Greenplum Community Edition можно бесплатно скачать с сайта http://community.greenplum.com. В онлайне также будут доступны обновления Regular Community Edition. Версия Community Edition предназначена только для экспериментальных целей, разработки и исследований. Пользователи текущего издания Single-Node Edition могут развернуть новое издание Community Edition в своей одноузловой рабочей среде. Прежде чем использовать программный код для внутренней обработки данных или в любых коммерческих либо в производственных целях, нужно купить коммерческие лицензии на Greenplum.

Modular Data Computing Appliance

В подразделении EMC Greenplum создан программно-аппаратный комплекс Modular Data Computing Appliance (в сентябре 2011 года анонсирован), который предоставляет возможность работать одновременно со структурированными и неструктурированными данными большого объема, используя как реляционные методы обработки, реализованные в параллельной СУБД Greenplum, так и функции платформы с открытым кодом Apache Hadoop. Новые устройства Modular DCA будут иметь в своем составе высокопроизводительные модули, в которых работает пакет In-Memory Analytics компании SAS Institute, выполняющий параллельную обработку данных в оперативной памяти. Использование программ SAS позволяет размещать как структурированные, так и неструктурированные данные одновременно на нескольких узлах кластера. Именно возможность параллельной обработки в компании считают основным преимуществом комплексов Greenplum. Модули сейчас проходят тестирование, а в продажу должны поступить к концу года. EMC представила также тестовый кластер Greenplum Analytics Workbench, состоящий из более чем 1000 узлов и предназначенный для проведения интеграционного тестирования программ Apache Hadoop.

СУБД EMC Greenplum Database использует параллельную архитектуру, основанную на разбиении полного массива данных на отдельные сегменты, работа с которыми может выполняться одновременно (shared-nothing massively parallel processing, MPP). Эта архитектура изначально разработана для бизнес-аналитики и аналитической обработки данных на стандартном оборудовании. Сегменты данных автоматически распределяются между несколькими серверами сегментов, каждый из которых владеет и управляет отдельной частью общего массива данных. Такая архитектура без разделяемых ресурсов (shared-nothing) означает, что все коммуникации осуществляются через сетевое межсоединение (interconnect), поэтому нет проблем общего доступа к данным на диске или конфликтов адресации. Более подробную информацию о Greenplum Database можно найти по адресу: www.greenplum.com/products/greenplum-database.

2010: Поглощение корпорацией EMC компании Greenplum

Корпорация EMC поглотила компанию Greenplum, продолжив работу над проектом.^[3]

2005: Выпуск Greenplum

Первый выпуск технологии одноименной фирмой в Калифорнии (США).

Примечания