Концерн РТИ при поддержке Lenovo модернизирует собственный ЦОД

В 2019-2020 гг. концерн РТИ реализует проект по модернизации ИТ-инфраструктуры собственного дата-центра. Обновленный ЦОД способствует созданию дополнительного периметра безопасности для работы с госсектором.

О заказчике

АО «РТИ» — частный российский научно-производственный концерн, лидирующий разработчик, производитель и поставщик сложных технологических решений, таких как радиолокационные системы, комплексные системы автоматизированного управления и командные центры, средства связи и различные электронные приборы. АО «РТИ» обладает собственной развитой R&D-инфраструктурой и хорошо оснащенными серийными производственными площадками, где трудятся более 10 000 сотрудников: ученых, конструкторов, инженеров и высококлассных специалистов. Предприятия АО «РТИ» расположены в Москве, Саранске, Зеленограде, Дубне, Ярославле, Великом Новгороде и Владивостоке. Входит в состав ПАО АФК «Система».

РТИ объединяет ведущие российские предприятия, имеющие большой научный и производственный потенциал, а также опыт реализации уникальных по сложности проектов в сфере высоких технологий.

Ход проекта

Центр обработки данных играет важную роль в деятельности предприятия. Площадкой для ЦОД послужило одно из зданий концерна, построенное еще в период существования СССР. Высоко расположенный первый этаж, как правило, идеально подходит для ЦОД.

Еще три десятилетия назад в нашей стране получили распространение вычислительные центры, которые с нынешними ЦОД объединяет идея консолидации ресурсов. В современном понимании дата-центр или центр обработки данных - комплексное решение, предназначенное для создания высокопроизводительной и отказоустойчивой информационной инфраструктуры. Помещение ЦОД служит для размещения оборудования для обработки и хранения данных и обеспечивающее подключение к каналам связи.

Дата-центры, построенные лет десять назад, сегодня считаются старыми: требования ИТ-оборудования растут. При этом зачастую «старый» ЦОД построен не хуже современных, и, хотя требования к инженерной инфраструктуре также меняются, инженерное оборудование отнюдь не всегда оказывается устаревшим морально и физически, вполне способно удовлетворить требования к надежности.

Чекап для искусственного интеллекта: зачем и как тестировать ИИ-решения? С ИТ-оборудованием ситуация иная: срок эксплуатации серверов и СХД, как правило, не превышает 5-7 лет. Владелец ЦОД сталкивается с проблемой: что дальше делать со своей площадкой, как ее модернизировать? Аудит возможностей существующего ЦОД позволяет определить, требуется ли его реконструкция, включая перепроектирование, разработку или модернизацию отдельных его подсистем.

Для ЦОД РТИ было выделено три помещения: машинный зал, электрощитовая, вентиляционная камера. Расчетная мощность объекта составляет около 500 кВт с учетом резервирования 2N. Машинный зал представляет собой помещение площадью 120 м2 с фальшполом и подвесным потолком. В машинном зале, оборудованном прецизионными системами вентиляции и кондиционирования в стоечном исполнении, поддерживается влажность 30-60%, температура +22 ± 3ºС. В небольшом по современным меркам ЦОД размещены четыре ряда стоек с ИТ-оборудованием (всего 40 шкафов).

Системы кондиционирования, электропитания, безопасности и пожаротушения

Электрощитовая дата-центра объединена с помещением ИБП и оснащена оборудованием вентиляции и кондиционирования на основе сплит-системы. Еще одно вспомогательное помещение - вентиляционная камера с оборудованием для подачи и очистки воздуха в машинный зал.

Для поддержания оптимальной температуры воздуха в помещении машинного зала в рядах стоек установлены прецизионные кондиционеры. Это внутренние блоки межстоечного типа с фронтальной подачей воздуха. Забор воздуха кондиционерами осуществляется из горячих коридоров, охлажденный воздух подается в холодные коридоры. ЦОД рассчитан на тепловыделение каждой стойки не более 6 кВт.

Системы охлаждения зарезервированы по схеме N+1, где N - количество постоянно работающих кондиционеров в каждом ряду стоек. Кондиционеры объединены в группу по шесть устройств в каждой с одним головным (master) устройством. Встроенные контроллеры позволяют программировать групповую работу как по принципу ротации холодного резерва, так и по принципу одновременной работы в горячем резерве (standby) с пониженной мощностью.

Для охлаждения оборудования электрощитовой установлены подпотолочные сплит-системы. Резервирование холодильной мощности также осуществляется по схеме N+1.

Система электроснабжения ЦОД выполнена двумя взаиморезервирующими лучами - «ввод А» и «ввод В» с резервированием ответственных нагрузок ИБП на каждом луче. Поэтому обслуживание любого ее элемента происходит без отключения нагрузки. Предусмотрены две независимые группы ИБП, запитанных от разных вводов, с резервированием 2N. В свою очередь, каждая группа состоит из трех включенных параллельно ИБП с резервированием на уровне модулей по схеме N+1. Каналы связи обеспечиваются несколькими провайдерами.

Система безопасности дата-центра включает в себя подсистемы контроля и управления доступом (СКУД), охранной сигнализации (СОС) и охранного телевидения (СОТ). Для автоматического открытия дверей при пожаре предусматривается интеграция с системой автоматической пожарной сигнализации.

В системе пожаротушения в качестве огнетушащего вещества для защищаемых помещений используется газ Novec 1230. В установках с газовым огнетушащим составом (ГОС) Novec реализован метод пожаротушения, основанный на эффекте охлаждения и химической реакции ингибирования пламени.

ИТ- и телеком-оборудование

В ЦОД установлено ИТ- и телеком-оборудование разных производителей.

Наш дата-центр оснащен с учетом особенности программы импортозамещения и реализации государственных заказов. Мы также стараемся избегать «моновендорности» и привязки в разных задачах к одному или двум производителям. Оборудование представлено как европейскими, так и азиатскими поставщиками, - рассказывает Игорь Смелов, руководитель ЦОД Концерна РТИ. - Собственный ЦОД, в первую очередь, дает нам независимость и создает дополнительный периметр безопасности для работы с государственными заказчиками.

В первую очередь нам потребовалась модернизация не самого ЦОД, а установленного в нем ИТ-оборудования, - поясняет Игорь Смелов. - Поскольку 65% оборудования ИТ проработало более 7-8 лет, мы решили выполнить первую часть проекта модернизации дата-центра, развернув новые серверы и СХД.

Для этого в РТИ использовали высокопроизводительные серверы компании Lenovo серии SR и системы хранения данных Lenovo серии DM и DE. Определяющим при выборе вендора стала совокупность факторов: партнерские отношения, известность бренда/применимость его продукции на государственных предприятиях, надежность предлагаемых решений, их стоимость и поддержка в режиме 24/7 в течение длительного, пятилетнего срока.

Установка нового ИТ-оборудования не потребовала модернизации инженерных систем ЦОД или таких мер как изоляция горячиххолодных коридоров: по проекту она предусматривается только при тепловыделении более 6 кВт на стойку. Все стойки оборудованы заглушками для исключения смешивания воздуха из горячего и холодного коридора.

Все свои проекты мы в настоящее время реализуем самостоятельно, без привлечения партнеров, - говорит ИТ-директор РТИ Алексей Варнава.– Кроме того, у нас есть долгосрочные планы по модернизации части имеющихся серверов серии SR, развертывания на них vSAN и интеграции с облачной средой vCloud. Для этого потребуется дополнительная закупка дисковых накопителей и контроллеров.

Установленные в ЦОД серверы Lenovo ThinkSystem SR650, 6240X2 и 64GBX8 условно разделены на группы по 42, 13 и 2 сервера: общий кластер/кластер вычислений/демонстрационный кластер.

Сервер Lenovo ThinkSystem SR650 оснащен двумя процессорами Intel Xeon Gold 6240 по 18 вычислительных ядер каждый, четырьмя GPU Nvidia Tesla T4 16GB (B4YB), ОЗУ 8x64GB DDR4 2933MHz (2Rx4 1.2V) RDIMM 512 GB, дисковыми накопителями 2xM.2 SATA 6 Гбит/с (с горячей заменой) и контроллером RAID1 128GB, сетевыми адаптерами Intel X722 10Gb 2-port SFP+LOM, Intel I350-T2 PCIe 1GB 2-Port RJ45 и адаптерами сети хранения данных QLogic QLE2742 PCIe 32Gb 2-Port SFP+.

В гибридных массивах Lenovo DM 5000H с дисковыми полками Lenovo ThinkSystem DM600S (600 Tбайт «сырой» емкости 60 x 10 TB NL SAS или 315 TiB эффективной емкости с учетом RAID групп и 10% технологического резерва в пуле; 12 x 3.84TB SSD SAS или 16Tib эффективной емкости) накопители SSD могут дополнительно использоваться как кэш второго уровня. Эффективная емкость массивов серии DM можно увеличить в два и более раз за счет дедупликации и сжатия данных. РТИ также использует эти технологии.

Для высоконагруженных сервисов в ЦОД применяются бездисковые флэш-массивы. Гибридные массивы позволяют реализовать резервное копирование по протоколам NFS/CIFS, что дает гибкость в реализации решения.

Для управления системами используется ПО Lenovo XClarity Administrator и Integrator для VMware vSphere. Также в комплект поставки был включен продукт мониторинга сети хранения данных Brocade SAN Nav.

Виртуализация

Основной задачей департамента ИТ Концерна РТИ является обеспечение возможности оперативного маневра вычислительными мощностями, быстрое предоставление необходимых вычислительных ресурсов компаниям концерна, - рассказывает ИТ-директор Алексей Варнава. – С помощью среды виртуализации VMware и технологии vCloud каждая компания Концерна получает в свое распоряжение виртуальный ЦОД с необходимыми вычислительными ресурсами. Среда виртуализации VMware обеспечивает балансировку нагрузки и перераспределения вычислительных ресурсов. Для решения специфических задач машинного обучения, 3D-моделирования и выполнения других нагрузок, требующих повышенной вычислительной мощности, мы предоставляем компаниям Концерна ресурсы ускорителей NVIDIA Tesla T4, выделяя по запросам проектных команд дополнительные vGPU.

Не менее важной задачей является обеспечение сотрудников виртуальными рабочими местами (VDI). Благодаря оборудованию Lenovo и технологиям VMware Horizon развернут кластер, способный обеспечить 2000 виртуальных мест, соответствующих специфике работы каждого сотрудника.

В критичном по производительности СХД проекте VDI используются дисковые массивы Lenovo DE 6000F с 8 портами 32 Гбит/с. Они имеют 184 Тбайт «сырой» емкости и 24 x 7,68 Тбайт SSD или 110 TiB эффективной емкости с учетом 10% технологического резерва в пуле. На этом массиве РТИ не использует RAID-группы, диски объединены в пулы, и отказоустойчивая конфигурация создана на уровне пула.

Профессиональный сервис Lenovo – это поддержка 24/7/365. Lenovo участвовала в пусконаладочных работах в части СХД. Также нам доступны консультации специалистов. За нами закреплен выделенный инженер по СХД, - рассказывает Игорь Смелов. - Весной мы выполнили обновление дискового массива DM 5000 с версии LENOVO ONTAP 9.5 до 9.6. Процесс миграции только начался, и результаты проекта мы будем оценивать после его завершения. Сейчас у нас уже около 375 одновременно работающих виртуальных рабочих столов.

Проект стартовал 1 июня 2019 г., а в промышленную эксплуатацию модернизированный сегмент ЦОД был переведен 1 марта 2020 г. Процесс на этом не заканчивается, РТИ продолжает технологическое развитие ЦОД.

Перспективы проекта

Основная задача РТИ состоит в том, чтобы в течение года выполнить миграцию сервисов на новые аппаратные мощности и вывести из эксплуатации устаревшее оборудование. Проект разбит на этапы, предполагающие применение гипервизоров ведущих производителей, расширение использования виртуальной среды (включая развертывание виртуальных ЦОД) и централизованный мониторинг аппаратных ресурсов.

Дальнейшие планы компании включают в себя возможное обновление решения для мониторинга инженерных систем (DCIM). Также существуют планы по созданию оптического поля на основе коммутационных панелей высокой плотности и реализации централизованного резервного копирования.

Выводы

Даже если модернизация ЦОД затрагивает только серверы и системы хранения, найти верный путь не всегда просто: на окончательное решение влияют многие факторы. Устаревшее оборудование ИТ – это потенциальные проблемы производительности, совместимости с новым ПО, снижение надежности, неэффективное энергопотребление, а также возможные проблемы с гарантией, поддержкой и запчастями. Кроме того, предприятие может упустить возможность использовать последние наработки ИТ-отрасли.

С заменой старого оборудования на новое ЦОД получает новые возможности, программное обеспечение последних версий, поддержку инновационных технологий, переход на другой уровень производительности. Каждый новый сервер – это обязательная гарантия от производителя. Это значит, что на ближайшие годы ЦОД будет избавлен от проблем, связанных с поддержкой работоспособности серверов и СХД.

Как правило, на новое оборудование перемещаются наиболее важные процессы и нагрузки. Приоритетные задачи будут использовать ресурсы новых серверов, а устаревшие системы можно задействовать для некритичных нагрузок или вывести из эксплуатации.