2020/10/09 16:19:19

Инфраструктура хранения данных

Индустрия хранения информации стремительно утрачивает консервативный облик сегмента, над которым не властны ветры радикальных преобразований. Тематика емкости накопителей и скорости доступа к данным в ЦОДе отступают чуть в сторону, уступая место вопросам гибкого и умного управления.

Статья входит в обзор "Технологии для ЦОД"

Содержание

Нынешнее время – это время торжества больших данных и онлайна. Большие и далее умножающиеся объемы данных плюс скорость ИТ-услуг на уровне клика определяют главные требования к передовым технологиям хранения данных в современных ЦОДах.

«
Для решения задач Интернета вещей и будущего использования 5G сетей набирает популярность новый класс серверных устройств Edge, а для обслуживания мобильных приложений создаются все более и более производительные системы хранения,- описывает ситуацию Владимир Леонов, технический директор АМТ-ГРУП.- Современные потребности цифровой экономики требуют надежного и безопасного хранения данных и огромных вычислительных мощностей. Кроме того, это все должно быть экономически эффективно и управляемо.

»

Дмитрий Чиндяскин, руководитель технической дирекции «АйТеко», напоминает, что вопрос правильного, технически и экономически обоснованного подхода к хранению данных всегда был краеугольным камнем модернизации ИТ-инфраструктуры:

«
Часто решения сопряжены с точными расчетами объемов хранения данных, производительности системы хранения и ее масштабирования. Проблема еще больше усугубилась в последние годы с появлением Big Data.
»

Экономика СХД ЦОД

Вопросы экономически обоснованного подхода к хранению данных с течением лишь обретают новую остроту. Существенным прорывом на этом направлении стало появление несколько лет назад гиперконвергентных технологий. Павел Карнаух, руководитель технического департамента Dell Technologies в России, даже называет их экзистенциальной угрозой миру СХД:

«
В 2019 году продажи гиперконвергентных систем выросли на 25% и составили почти треть от продаж СХД. Сама индустрия систем хранения себя чувствует очень неплохо, а вот некоторые производители классических СХД явно нервничают и пытаются успеть запрыгнуть в последний вагон уходящего поезда.
»

С точки зрения экономики хранения, отличный эффект дают технологии дедупликации и компрессии, которые продолжают активно развиваться, чему способствует возросшая вычислительная мощность используемых в СХД процессоров.

«
Простой подсчет показывает, что увеличение коэффициента сжатия данных с 2:1 до 3:1 улучшает экономику хранения в полтора раза. И, кстати, это одна из областей, в которых СХД серьезно выигрывает у гиперконвергентных решений, подчеркивает Павел Карнаух.

»

Впрочем, владельцы ЦОД приобретают, в конечном итоге, не передовые технологии сами по себе, а ожидаемую функциональность, простоту управления и гибкость системы хранения. Поэтому борьба за снижение стоимости владения СХД проходит по линии компромисса между емкостью и производительностью при условии снижения стоимости этого компромисса.TAdviser выпустил Гид по российским операционным системам 10.3 т

Александр Сысоев, руководитель направления вычислительной инфраструктуры компании Крок, перечисляет некоторые приемы достижения искомого компромисса:

«
Не так давно мы использовали только жесткие диски, нивелируя кэшем большой емкости узкие места, например, общую шину данных внутри массива, исчерпавшие свои возможности протоколы передачи данных back-end SCSI, SAS и т.д. На практике часто использовалось увеличение количества шпинделей для повышения скорости обработки информации, использование более быстрых дисков меньшего объема – так пытались достичь компромисса между емкостью и производительностью систем.

»

Сегодня на смену жестким дискам пришли быстрые твердотельные SSD, которые по стоимости практически уже сравнялись с HDD. Для решения задач, которые требуют очень высокой производительности, разработаны новые стандарты носителей (NVMe и SCM-накопители), архитектура массивов оптимизирована на работу с новыми накопителями.

«
Все это обеспечивает отличную скорость выполнения операций и низкое время отклика,- отмечает Александр Сысоев и замечает, что контекст ЦОД накладывает дополнительные требования: Плотность размещения систем, их энергоемкость также становятся важными приоритетами, ведь объем хранимой информации растет, а место в ЦОДе, к сожалению, нет.

»

Для оптимизации системы хранения традиционно используют разные типы дисков. Например, на современных быстрых дисках нецелесообразно и дорого хранить архивы. Для этого существуют более дешевые распределенные архивные хранилища большого объема на SATA-дисках, которые отлично решают данные задачи.

Компания 3data использует другой вариант комбинирования дисков разных типов, предоставляя сервис иерархического хранения данных (ArcTape). Этот подход подразумевает, что, помимо дисков, для хранения корпоративных данных клиентов используются ленточные библиотеки, и данные распределяются в зависимости от различных параметров по тем или иным носителям.

«
Это позволяет существенно снизить стоимость хранения данных, и при этом повысить надежность. Сочетание дисков и ленты — это оптимальное решение для надежного хранения любых объемов данных,- считает Илья Хала, генеральный директор сети дата-центров 3data.
»

Однако ажиотажного спроса на данный вид хранения руководитель 3data пока не наблюдает. Он объясняет это тем, что массовый заказчик пока не сильно задумывается об эффективности и пользуется привычными форматами хранения.

«
Мы это связываем, в том числе с тем, что у заказчиков пока не такие большие объемы накопленных данных,- полагает эксперт.
»

Видимо главные сражения на полях поддержки больших данных в СХД еще впереди.

Битва накопителей: покой нам только снится

«
Экономическая тенденция такова, что при росте объема цена единицы снижается. Объемы данных каждый день увеличиваются на порядки, и это является стимулом к удешевлению СХД. Вся индустрия, начиная от дисков, заканчивая системами хранения данных, снижает стоимость гигабайта или терабайта из года в год, за счет того, что растут объемы,- поясняет влияние объемов данных на экономику хранения Юрий Новиков, руководитель направления развития облачных технологий Softline.
»

По мнению эксперта, один из ярких трендов – переход практически полностью на SSD- носители, которые по цене сравниваются со шпиндельными дисками HDD.

«
Это, скорее, всего невозвратная тенденция, когда все ЦОД будут переходить на форматы SSD, которые быстрее и лучше приспособлены для работы в инфраструктуре ЦОД,- полагает Юрий Новиков.

»

Впрочем, не все лидеры индустрии согласны с этим тезисом. Так, по мнению экспертов Kingston Technology традиционные магнитные накопители вовсе не уходят в небытие, а только лишь переживают технологический ренессанс: современные HDD предлагают емкость 16 Тб для хранения данных, а в течение следующих пяти лет емкость достигнет 32 Тб.

При этом накопители на жестких магнитных дисках по-прежнему останутся самым доступным хранилищем произвольного доступа. Их первенство в удельной стоимости за гигабайт дискового пространства будет неоспоримо еще в течение многих лет уверены Kingston Technology. В основе этого роста – ряд современных технологий:

  • Гелиевые накопители (гелий снижает аэродинамическое сопротивление и турбулентность, позволяя установить в накопитель больше магнитных пластин без увеличения выделения тепла и энергопотребления.
  • Термомагнитные накопители (HAMR HDD), использующие принцип микроволновой записи данных, когда участок диска нагревается лазером и перемагничивается. Их появление которых ожидается в следующем году.
  • HDD на базе «черепичной» записи (SMR-накопители), в которых размещение дорожек с данными имеет вид черепичной кладки, что обеспечивает высокую плотность записи информации.

Ожидается, что гелиевые накопители будут особенно востребованы в облачных ЦОДах, а SMR HDD - для хранения больших архивов и других сравнительно редко используемых данных.

Второе направление развития HDD - гибридные решения, сочетающие в себе достоинства классических жестких дисков HDD и энергонезависимой флеш-памяти NAND. Такие решения сегодня популярны, так «механическая» часть достаточно объемна, но при этом имеет невысокую стоимость.

Компания Pure Storage пошла в наступление на этом фронте, представив в августе второе поколение дисковых массивов FlashArray//C, которое она окрестила убийцей гибридных систем.

Эти массивы, активно использующие QLC NAND, ориентированы на сценарии использования в ЦОД Tier 2. Емкость одного модуля достигает 24,7 Тб, максимальная общая емкость в 9 юнитах достигла 1,8 Пб, а за счет дедупликации и сжатия финальная цифра может быть увеличена до 5,2 Пб. В этом году компания обещает представить модули объемом 49 Тб, с помощью которых можно будет получить 10,4 Пб после компрессии и дедупликации. По словам компании, удельная стоимость хранения данных составляет при этом менее 0,50 долл. за «чистый» гигабайт.

Это проприетарное решение Pure Storage использует не типовые диски SSD, а массивы типа DirectFlash, за работу которых отвечает собственная операционная система Purity OS. Утверждается, что она следит за надежностью системы с точностью до одного кристалла NAND, предоставляет телеметрические данные каждого блока, а сам массив постоянно «учится», используя алгоритмы предиктивной аналитики.

«
Новые СХД гораздо умнее своих предшественников. Они умеют балансировать собственную нагрузку, предсказывать проблемы в работе вплоть до фактического отказа системы. Программное обеспечение систем использует искусственный интеллект и алгоритмы машинного обучения, которые управляют утилизацией ресурсов. А новые эффективные алгоритмы дедупликации и сжатия данных позволяют в два и более раза увеличить фактическую емкость СХД,- комментирует Александр Сысоев.
»

На пути интеграции флеш и ОЗУ

Высокоскоростные устройства хранения класса SCM (Storage Class Memory) используют энергонезависимую память NVDIMM. Она реализует гибридную модель хранения, объединяющую преимущества оперативной DRAM и флэш-памяти NAND. Устройства SCM нередко называют революционным шагом вперед в развитии архитектуры вычислений.

Действительно, модуль энергонезависимого хранения NVDIMM устанавливается в стандартный разъем DIMM, предназначенный для обычного ОЗУ, что обеспечивает прямой доступ многоядерного процессора к данным с минимальными задержками с низкими накладными расходами на ввод-вывод данных по сравнению с традиционным каналом PCIe. Хранилища данных на базе таких модулей обеспечивают производительность до 5 млн. IOPS, при этом латентность снижается до 200 мкс. По данным ассоциации SNIA (Storage Networking Industry Association), применение NVDIMM позволяет увеличить производительность (IOPS) в 34 раза, полосу пропускания в 16 раз, снизить задержки в 81 раз, по сравнению со стандартными флэш-устройствами. При этом память SCM может играть роль, как оперативной памяти, так и твердотельного накопителя: обладая производительностью на уровне DRAM, она является энергонезависимой, что позволяет эффективно использовать ее в качестве буфера для устройств SSD.

Главное препятствие для революции – высокая стоимость SCM –устройств. Так, SCM-устройство Intel Optane емкостью 512 Гб сегодня стоит около 8 тыс. долл. Однако эксперты рынка ожидают быстрого снижения цен благодаря активности мощных конкурентов, в первую очередь, Micron и южнокорейского гиганта SK Hynix.

В российской СХД Trinity FlexApp компании «Тринити» используется персистентная память на базе энергонезависимых модулей типа NVDIMM-N компании Micron.

Персистентная память (PMEM, Persistent Memory) объединяет преимущества традиционных устройств хранения данных и большую пропускную способность памяти DRAM. Важное свойство PMEM - побайтовая адресация (load/store), которая в отличие от традиционных «блочников», функционирует со скоростью DRAM. После аварийного отключения питания модули NVDIMM-N в течение одной минуты самостоятельно вытесняют данные из DRAM в NAND. После завершении переноса данных модули могут быть извлечены из неисправного контроллера и помещены в исправный, подобно обычным DIMM-модулям.

В компании отмечают, что СХД Trinity FlexApp под управлением российского ПО RAIDIX может использоваться в виде «коробочного» решения высокопроизводительного кластера (Cluster-in-a-box). Обеспечивается поддержка гетерогенных кластеров в режиме Active-Active, что позволяет вертикально масштабировать систему без прерывания доступа к данным и с быстрой заменой контроллеров на более современные и производительные. Это решение используется, например, для поддержки высокопроизводительных вычислений в крупнейшем научном кластере в Японии. В «Тринити» отмечают, что программно-определяемая технология RAIDIX обеспечивает неснижаемую скорость вычислений (до 25 ГБ/с на ядро процессора) и отказоустойчивость на уровнях RAID: 6, 7.3, N+M.

Павел Карнаух из Dell Technologies относит возможность вертикального и горизонтального масштабирования к числу наиболее значительных тенденций развития систем хранения для ЦОД.

«
Это практически обязательное условие, если вы всерьез хотите конкурировать с гиперконвергентными системами,- отмечает эксперт.
»

Время NVMe

По состоянию на 2020 год доля твердотельных накопителей с интерфейсом NVMe превысила половину от общего числа SSD на рынке. Результатом растущей популярности стало серьезное падение цен на NVMe SSD. Новые перспективы открываются с появлением NVMe SSD с поддержкой PCIe 4.0, что даст прирост скорости при обработке данных в ЦОД. Kingston и Samsung говорят о скорости 4,8 Гб/с, а в следующем поколении Kingston NVMe SSD PCIe gen 4.0 обещана пропускная способность на уровне 7 Г/с.

В конце августа 2020 года компания Samsung объявила о скором старте продаж 980 Pro, первого потребительского SSD-накопителя с поддержкой стандарта PCIe 4.0, который будет поддерживать скорость чтения - до 7000 МБ/с, записи — 5000 МБ/с при условии поддержки материнской платой интерфейса PCIe 4.0. Ожидается три варианта объема памяти: 250 ГБ, 500 ГБ, 1 ТБ.

Эксперт Network World Энди Патрицио говорит, что для индустрии ЦОД критически важным шагом стало появление технологии NVMe over Fabrics (NVMeoF): устройства SSD, находящиеся в одном сервере, получили возможность обмениваться данными с любыми другими накопителями, подключенными к сети. Организации смогут создавать высокопроизводительные сети хранения данных с минимальными задержками. Это составит серьезную конкуренцию ЦОД с прямым подключением DAS (или Direct-attached storage), поскольку операции ввода/вывода с использованием NVMe-oF обрабатываются гораздо эффективнее, а задержка сравнима с DAS-системами. Аналитики предсказывают, что развертывание систем, работающих по протоколу NVMe-oF стремительно ускорится в 2020 году.

«
Да, корпоративная система может прямо сейчас не поддерживать NVMEoF или Storage Class Memory «из коробки», но когда через 2-3 года заказчик дозреет до использования эти технологий, у него должна быть возможность сделать это,- комментирует Павел Карнаух Dell Technologies в России.
»

Программно-определяемое хранение

В русле общего тренда на «программно-определяемое все» (Software-Defined Everything, SDE) находится направление программно-определяемых сетей хранения (Software-Defined Storage, SDS). Ключевая идея SDS заключается в отделении аппаратной части от программной с помощью виртуализации функций хранения данных.

Источник: Kingston Technology, февраль, 2020 г.

В отличие от обычных систем хранения с сетевым подключением (NAS) или сетей хранения данных (SAN), решения SDS ориентированы на работу в любой стандартной системе x86. Именно снижение операционных расходов и упрощение администрирования становятся определяющим фактором для выбора в пользу SDS.

«
За счет появления программных систем хранения данных значительно упрощается процесс подбора наиболее эффективного решения с учетом практически каждого конкретного функционального требования заказчика,- подчеркивает Дмитрий Чиндяскин из «АйТеко».
»

Согласно исследованию рынка, которое провела в 2018 г., компания IНS Markit, 53% респондентов намерены увеличить инвестиции в программно-определяемые хранилища, 52% – в NAS и 42% – в SSD.

Как отмечает эксперт, на текущий момент есть достаточно большое число, как универсальных, так и узкоспециализированных SDS-решений, то есть программно-определяемых систем хранения, которые зачастую уже составляют серьезную конкуренцию аппаратным решениям мировых лидеров.

«
SDS – это уже достаточно «взрослая» технология. Подход SDS позволяет использовать стандартное оборудование архитектуры x86 для построения систем хранения данных, даже в геораспределенном исполнении с несколькими географически отдаленными друг от друга площадками,- подчеркивает Дмитрий Чиндяскин.

»

«
Технология SDS позволяет строить бюджетные распределенные хранилища с большим запасом возможности модернизации даже через 5-7 лет,- подтверждает Алексей Малышев, основатель и генеральный директор «СОНЕТ».
»

Правда, на российском рынке применение SDS пока более популярно у небольшого бизнеса, чем у крупных компаний. Сравнивая данные по России с глобальными оценками IНS Markit, эксперты Xelent отмечали, что крупные отечественные предприятия используют SDS, в основном, в качестве среды разработки и тестирования. По оценкам Xelent, сделанным в 2018 г., инвестиции в программно-определяемые хранилища по сравнению с другими решениями составят не больше 15% от общего объема закупок.

Гонка вооружений облачного хранения и ЦОД

Требования к системе хранения у владельца собственного и коммерческого ЦОД несколько различаются. Одна из линий разграничения проходит по параметру стоимости СХД – у коммерческих владельцев он выше, так как он заинтересован в более высокой марже при последующей перепродаже ресурсов хранения покупателям. Борьбу в финансовой плоскости, под флагам которой облачные провайдеры завоевывали рынок, Алексей Казьмин, менеджер по продуктам Hewlett Packard Enterprise в России, сравнил с гонкой вооружений.

«
Конкуренция под лозунгом снижения удельной стоимости хранения данных, навязанная в «гонке вооружений» глобальных облачных провайдеров и «традиционных» ЦОД, сегодня привела к тому, что собственные ИТ-инфраструктуры могут обеспечить схожую экономику, в сравнение с облаками,- говорит Алексей Казьмин и приводит примеры: Например, глобальная база знаний HPE InfoSight помогает предотвращать сложные проблемы на стыке разных компонентов ЦОДа и дает эффективные советы, как повысить производительность и справиться с ростом данных. Это помогает сократить простои и точнее планировать ресурсы, а значит, экономить. Гарантии вендора, такие как гарантия 100% доступности данных на СХД HPE Primera, служат той же цели – обеспечить бесперебойную работу сервисов, а значит, не допустить потерь для бизнеса.
»

Его коллега Павел Карнаух из Dell Technologies в России также отмечает, перечисляя наиболее значимые технологии для СХД ближайшего будущего:

«
Простота установки, настройки, эксплуатации и обслуживания. Здесь есть масса возможностей для инноваций – от облачных систем предиктивной аналитики, накапливающих и обрабатывающих информацию с тысяч установленных систем, до использования искусственного интеллекта для автоматизации рутинных задач.

»

Хранение с поддержкой облачных сред

Актуальный тренд технологического развития данного сегмента - интегрированные хранилища гибридных облаков. По данным исследования рынка систем хранения, которое компания Hitachi опубликовала в августе прошлого года, мировой рынок облачных хранилищ вырастет к 2024 г. до 106 млрд. долл. и будет демонстрировать ежегодный рост на уровне 23,76%. При этом услуги управляемого центра обработки данных будут расти ежегодно на 17,67%.

Идея использования гибридных облаков в целом выглядит весьма перспективной для отрасли. Что касается хранения, то формат гибридного облака позволяет объединить локальную и общедоступную облачные среды для того, чтобы обеспечить бесшовную мобильность при работе с корпоративными данными, получить высокую гибкость и масштабируемость ресурсов хранения. Однако объединить «лучшее из двух миров» на практике оказалось не просто, так как локальные и облачные хранилища работают, по сути, на разных скоростях. Скажем, механизмы дедупликации, тонкого выделения ресурсов и компактных моментальных снимков, обеспечивающих высокую эффективность обработки данных, на локальной площадке, невозможно просто скопировать в облачную среду. Облачная структура удобнее локальной, а локальная производительнее и безопаснее облачной, обычно размышляют корпоративные заказчики решений, взвешивая за и против каждого подхода.

«
Основные проблемы с любыми гибридно-облачными системами — это разрыв в целеустановках между публичным и частным «плечами»»,- поясняет Петр Дубенсков, директор департамента продуктового развития и производства компании Rubytech.
»

С одной стороны, заказчик выбирает частную модель развертывания, в основном, по соображениям безопасности, по требованиям регуляторов, по факту готовности к капитальным затратам и прогнозируемости переменных издержек. С другой стороны, если же он переходит на публичные облака, то выражает готовность к ограничениям в связи с «невладением» инфраструктурой в обмен на эластичность и относительно высокие переменные издержки.

«
Гибридизируясь, заказчик может полностью потерять преимущества одной из моделей, не обретая преимуществ другой,- размышляет Петр Дубенсков.- При этом у гибридной модели возможны проявления некоторых привлекательных технико-экономических моментов.
»

Он поясняет, что они особенно проявляются там, где публично-облачный провайдер предлагает невысокую цену за счет экономии на масштабе, например, для «холодного хранения» резервных копий или для спотовых виртуальных машин.

«
Но в целом мы пока не видим на нашем рынке заметного спроса на гибридные решения,- резюмирует эксперт.
»

В ожидании будущего спроса ведущие вендоры СХД развивают собственные средства единого управления гибридными средами. Например, решение HPE GreenLake Central позволяет гибко и даже автоматически определять, откуда взять ресурсы для хранения – из своей инфраструктуры или из облака, используя при принятии решения политики производительности, защиты данных и стоимости. А такие дополнения к публичным облакам, как HPE Cloud Volumes, позволяют хранить данные так, чтобы они были доступны для сервисов, размещенных в облаках, но без недостатков последних – без платы за извлечение данных и перемещение их между регионами.

Свое решение задачи создания гибридного хранилища предложила в августе компания Pure, создав совместное решение гибридного хранения, оптимизированное для платформы Amazon Web Services (AWS). Идея заключается в том, чтобы создать единую архитектуру хранения, которая объединит процессы развертывания приложений в локальной среде и в облаке так, чтобы данные составляли единое пространство, равное доступное с разных площадок.

Pure Storage Cloud Data Services – это набор сервисов для данных, расположенных, как в локальной, так и в облачной среде, включающий, в частности такие возможности, как:

  • Cloud Block Store для AWS – система хранения данных с блочным доступом для промышленной эксплуатации, оптимизированная для работы в облаке AWS.
  • CloudSnap для AWS – облачная защита данных, встроенная непосредственно в дисковый массив Pure FlashArray. Сервис дает возможность отправлять снэпшоты с FlashArray в хранилище данных S3 платформы AWS, и это обеспечивает гибкое восстановление данных, как в облаке, так и локально.
  • StorReduce – облачная технология дедупликации, разработанная для быстрого облачного резервного копирования в хранилище данных AWS S3 в связке с локальным флэш-массивом для быстрого восстановления.

Механизм дедупликации объектного хранения, реализованный в StorReduce, позволяет организациям заменить специализированные устройства резервного копирования на флэш-массивы и использовать объектное хранилище Amazon S3 для хранения данных за пределами площадки. В компании называют эту архитектуру «от флэш-к-флэш-к-облаку» и рассматривают ее как новое поколение технологий резервного копирования и восстановления после сбоев с использованием флэш-СХД публичного облака.

Хранение как услуга

Современный термин «Хранение данных как услуг» (Storage sa a Service, STaaS) подразумевает пользование ресурсами хранения на локальных ресурсах в стиле общедоступного облака.

Так, компания Pure Storage предлагает семейство сервисов, реализующих концепцию STaaS, включая:

  • Блочная услуга предоставления СХД: высокопроизводительной или большой емкости.
  • Хранилище объектов на локальных ресурсах как услуга c мониторингом емкости.
  • Файловая служба на локальных ресурсах.

Услуги включают управление подпиской и хранением с помощью одного набора инструментов, включая аналитику виртуальных машин ВМ.

«Хранение как услуга» от Hitachi Vantara базируется на идее публичного облака, которое полностью управляется Hitachi с поддержкой сквозного управления изменениями и запросами, с выделением ресурсов хоста, а также разрешением инцидентов от хоста к СХД. С точки зрения клиента, STaaS включает соглашения об уровне обслуживания. мониторинг, отчетность и управление архитектурой. При этом вся ответственность за выделение ресурсов хранения, управление изменениями, запросами и конфигурациями остается в организации. Предусматривается эластичное потребление ресурсов хранения для доступности по мере необходимости – такой режим хорошо подходит для современных задач аналитики в реальном времени и масштабирования Интернета вещей.

Объектное хранение

Отдельный вызов эпохи больших данных – хранение и обработка неструктурированных данных.

Hitachi Vantara предлагает составе своей экосистемы решений для работы с данными объектную облачную систему хранения Hitachi Content Platform, которая позволяет структурировать неструктурированные данные и эффективно работать с ними. Ее возможности дополняет шлюз между пользователями и системами облачного хранения, средство универсального удаленного доступа к данным HPC Anywhere, а также платформа интеллектуального исследования данных, как с целью их подготовки для аналитической обработки, так и для мониторинга производительности систем хранения.

Услуга «хранение как сервис» IBM Cloud Object Storage также ориентирована на хранение больших объемов неструктурированных данных, которые могут быть размещены, как на локальных системах, так и в публичных и частных облаках. В данной системе IBM применила собственную технологию SecureSlice, которая сочетает в себе шифрование и методов избыточного кодирования (Erasure Coding), которые эффективно решают вопросы, так доступности, так и безопасности данных.

Когда данные поступают в систему IBM Cloud Object Storage, прежде всего каждый сегмент данных автоматически шифруется, а потом они делятся на фрагменты с использованием механизма избыточного кодирования и распределяются внутри системы. Впоследствие зашифрованные данные могут быть раскодированы и повторно собраны с помощью SecureSlice в нескольких публичных и частных конечных точках IBM Cloud, которые могут быть расположены в ЦОДах, даже отличных от тех, где данные были первоначально получены или обработаны. В компании отмечают, что такая технология не требует дорогостоящей репликации данных, что повышает рентабельность сервиса для заказчика.

Эластичные вычисления и хранилище

Эластичное хранилище – это понятие, которое отражает самое насущное современное требование к корпоративных систем хранения, - предоставление ресурсов для хранения и обработки данных «по требованию».

Например, в понимании Oracle эластичные вычисления и хранилище дают возможность клиентам выполнять любые рабочие нагрузки в облаке, используя виртуальные среды, приложения, связанные конфигурации и средства управления ими. Так, сервис Oracle Compute Cloud Service реализует функционал масштабируемых вычислений, блочного хранения данных и сетевых сервисов в рамках облачных услуг Oracle Cloud. При этом можно выбирать между мультиарендными эластичными вычислениями или выделенным сервисом для вычислений. В последнем случае предоставляется вычислительная среда с изолированными вычислительными ресурсами. Благодаря сетевой изоляции все вычислительные ресурсы находятся в полном распоряжении клиента.

Источник: Борлас, 2020 г.


Российская компания «Арсиэнтек» реализовала Resilient Cloud Storage — эластичную распределенную СХД. Свойство эластичности реализуется с помощью собственного механизма хранения информации: данные разбиваются на объекты фиксированного размера, которые равномерно распределяются по всем носителям в пуле пропорционально их емкости. При этом каждая часть информации (объект) хранится, как минимум, в трех копиях. С помощью правил выбора мест размещения копий определяется, так называемая, область отказоустойчивости, при выходе из строя которой СХД сохраняет полную функциональность. Такой областью может стать один носитель, сервер, стойка, а также ряд стоек или ЦОД в целом.

У Resilient Cloud Storage - горизонтально-масштабируемая архитектура с широкими возможностями: небольшую систему из нескольких модулей можно достаточно легко превратить в систему с несколькими тысячами модулей хранения общим объемом в несколько сотен петабайт.

Интересно, что СХД Resilient Cloud Storage не содержит традиционных централизованных контроллеров, все взаимодействия осуществляются напрямую с модулями хранения. Модульная архитектура и равномерное распределение данных по модулям позволяет создать систему с массовым параллелизмом, в которой операции ввода-вывода выполняются в распределенной среде. Таким образом, наращивание модулей хранения приводит не только к увеличению емкости СХД, но и линейному повышению производительности системы в целом.

Таким образом, современные системы хранения теряют привычные очертания, превращаясь в пул ресурсов, размещенных по различным облачным средам и территориально-разнесенным локальным площадкам. Понятие жесткого конфигурирования ресурсов постепенно утрачивает смысл – ему на смену приходит предельно гибкая концепция выделения ресурсов по требованию, которая идет рука об руку с интеллектуальными технологиями управления данными.