Евгений Симонин, «Ростелеком»: Онлайн-голосование – это уникальный инфраструктурный проект

ЕВГЕНИЙ СИМОНИН: Сразу замечу, что для онлайн-голосования москвичей на выборах в Госдуму РФ 17-19 сентября будет использоваться платформа, которую разрабатывает ДИТ Москвы. И отдавать свои голоса столичные избиратели будут на портале mos.ru. А платформа, которую создает «Ростелеком», является основой будущей федеральной системы, и это решение будет использоваться в боевом режиме в шести субъектах РФ в этом году. Портал этой платформы: vybory.gov.ru.

Инфраструктура федеральной системы ДЭГ включает несколько ЦОДов «Ростелекома» (подчеркну - только «Ростелекома»), магистральные сети связи «Ростелекома», а также ИТ-оборудование, в котором в общем случае выделяется несколько слоев: сети передачи данных, хранения, виртуализации, контейнеризации, информационной безопасности и операционных систем. Дальше начинается сфера прикладного ПО, которое ставится на операционные системы и выполняет заложенную в него бизнес-логику.

ЕВГЕНИЙ СИМОНИН: ДЭГ – это мероприятие, которое должно быть проведено с высоким уровнем надежности и качества. Что мы для этого делаем? Во-первых, реализуется многократное резервирование всей инфраструктуры. Так, ЦОДы «Ростелекома» по своим техническим характеристикам соответствуют уровню надежности TIER III, все их компоненты многократно резервируются, с точки зрения инженерной инфраструктуры. Многократно резервируются не только ЦОДы, но и магистральные сети «Ростелекома». Резервирование осуществляется на уровне компонентов серверов, даже на уровне сетевых карт, контроллеров и т.п.

В целом, при проектировании инфраструктуры ДЭГ мы закладываем возможность отказа практически любого компонента инфраструктуры – ничего не должно приводить ни к деградации уровня сервиса, ни к перерывам, тем более, отказам в обслуживании. Пусть даже – гипотетически - перестанет работать целый ЦОД, пользователь вообще не должен заметить никаких сбоев в работе сервиса. То есть если человек в это время голосует, он должен завершить все процедуры без какого бы то ни было видимого изменения. Это необходимо, чтобы обеспечить легитимность всего процесса удаленного голосования.Известный писатель-фантаст Сергей Лукьяненко выступит на TAdviser SummIT 28 ноября. Регистрация 5.6 т

Соответственно, мы выбираем то оборудование, которое соответствует уровню надежности данного мероприятия. И – что очень важно - разрабатываем такую архитектуру, которая дает возможность обеспечить те параметры, которые задают разработчики прикладных информационных систем. Это еще один очень важный момент - мы должны работать с ними в тесной связке.

ЕВГЕНИЙ СИМОНИН: Вы правы: в принципе, инфраструктура, может жить сама по себе. Так же, как и прикладной слой, - он тоже может жить собственной жизнью. Но так получается только в некоторых идеальных условиях, скажем, при небольших нагрузках, или когда ИТ-ресурс не полностью используется. А вот в условиях значительной нагрузки связка инфраструктура + прикладной уровень должна работать как единое целое. И общее архитектурное решение должно поддерживать этот подход. Поэтому мы очень серьезно подходили к процессу проектирования всех компонентов и системы ДЭГ в целом.

Профессионалы знают: любой приклад может завалить инфраструктуру. Потому что ресурсы инфраструктуры конечны: ресурсы серверов, систем хранения данных. И наша задача – на основе вводных данных из технического задания создать такое решение, чтобы инфраструктура выдержала, как рабочие нагрузки, так и периодические перегрузки.

ЕВГЕНИЙ СИМОНИН: Конечно. Поскольку сервис новый, не все удается четко спрогнозировать заранее. В этом году ЕДГ займет три дня, в течение которых система будет работать в продуктиве. И в течение всех этих трех дней нагрузка и на инфраструктуру, и на прикладную ИТ-систему может оказаться абсолютно непредсказуемой. Но какой бы она ни была, наша цель – с ней справиться, либо за счет дополнительных ресурсов, либо за счет тесной интеграции инфраструктуры и прикладного слоя.

Собственно, для этого предусмотрены тестирования: мы собираемся совместно с прикладниками и нагружаем инфраструктуру таким образом, чтобы понять ее пределы. Причем, делать это надо так, чтобы компоненты инфраструктуры буквально трещали по швам. Тогда мы выявляем и предел системы в целом, и предел каждого компонента, и можем спрогнозировать, что будет, если, например, при такой перегрузке еще и какой-нибудь блок выйдет из строя.

ЕВГЕНИЙ СИМОНИН: Для нас типовая инфраструктура – это, в первую очередь, проверенная и надежная инфраструктура. Это наш стандартный подход, который хорошо себя зарекомендовал в других наших проектах, например, для электронного правительства. Он предполагает, что у нас есть определенные требования к наработке оборудования на отказ, к качеству его технической поддержки со стороны вендоров, к срокам замены компонентов. И, конечно, предполагается, что в случае чего можно быстро доставить новое оборудование, провести его пусконаладку, и чтобы при этом инженер не смотрел на него как на предмет, который видит впервые в жизни. Это значит, что инженер должен быть обучен, знал что делать, и выполнял нужные работы профессионально и с требуемым качеством.

Достичь этого помогает, в числе прочего, модульный принцип построения инфраструктуры. Модульная инфраструктура - это те блоки, которые встраивается в нашу инфраструктуру без проблем, и которые мы можем получать от поставщиков в понятные сроки. Так мы обеспечиваем весьма быстрые, если не сказать агрессивные сроки запуска ИТ-инфраструктуры под все наши проекты.

ЕВГЕНИЙ СИМОНИН: Без сомнения. Сама программно-аппаратная инфраструктура – это, скажем так, видимая часть айсберга. А еще есть довольно значимая невидимая история - это процессы: процессы ввода оборудования, вывода оборудования из работы.

С этой точки зрения, скажу, что мы активно используем весь ITIL-стек, включая инцидент-менеджмент, change-менеджмент, релиз-менеджмент и т.д. Все эти процессы внедрены и, более того, на этапе пусконаладки есть процедуры приемки и работы с этим оборудованием. Абсолютно все делается только по заявкам, шаблонам. Образно говоря, инженер просто не попадет в ЦОД, если не заполнит заранее планы работы и отката в исходное состояние. А с учетом важности ДЭГ введены еще и дополнительные проверки. Так, при вводе оборудования в эксплуатацию оно тестируется не только по нашим стандартным схемам, но еще и с привлечением нашего внутреннего архитектурного надзора и контроля – он также проверяет и верифицирует оборудование, вводимое в строй. Также и любые изменения на этой инфраструктуре происходят под присмотром специалистов. У нас, например, есть специальная роль сервис-менеджера от инфраструктуры. Этот конкретный человек закреплен за данным сервисом, и он будет обеспечивать всю процессную часть вплоть до окончания голосования.

ЕВГЕНИЙ СИМОНИН: За вопросы информационной безопасности у нас в компании отвечает специализированное структурное подразделение - Центр кибербезопасности и защиты, с которым мы очень тесно интегрированы, как по проекту ДЭГ, так и по инфраструктуре электронного правительства. Тесная интеграция подразумевает, что у нас единые процессы: несмотря на то, что мы являемся разными подразделениями компании, мы четко понимаем цели и задачи друг друга. Мы максимально открыты и прозрачны.

В проекте ДЭГ нужно обеспечить, как легитимность всего избирательного процесса, так и доверие граждан к этому процессу. Фактически всю инфраструктуру ДЭГ мы проектировали вместе с Центром кибербезопасности, с учетом требований коллег к защите информации, возможным угрозам. Там, как полагается, есть модель нарушителя и угроз и, соответственно, все проектируется, с одной стороны, исходя из требования нивелирования нагрузки. И с другой стороны, исходя из потребностей нивелирования рисков информационной безопасности.

ЕВГЕНИЙ СИМОНИН: Есть два ключевых момента. Первый – это правильная постановка задачи на этапе проектирования и, соответственно, правильная ее реализация, с точки зрения архитектуры решения. Второй – это жесткое следование процессам. Только жесткое следование процессам и вдумчивое проектирование способны сделать инфраструктуру масштабируемой, стабильной, а главное управляемой. Мы можем потратить сколь угодно большое количество денег, средств, сил на создание такой инфраструктуры, однако одна команда инженера может все эти усилия свести к нулю. Не случайно я всегда говорю своим инженерам: представьте, что вы управляете ядерным реактором, нажимаете на кнопку, а дальше видите взрыв. Вроде бы одна кнопка, а сколько там бед и проблем из-за этого может произойти. Поэтому тут главный щит - это архитектура и процессы.

Не случайно, как я уже говорил, у нас реализован весь стек процессов ITIL: изменения, релизы и т.д. Чем ближе к запуску ДЭГ, тем больше компонентов попадает в релиз, который запрещает практически любые работы, кроме аварийных. Соответственно, имеются определенные регламенты и процедуры по оповещению, по сбору людей на аварии и так далее. И еще один важный момент: мало инфраструктуру построить, ее нужно еще и мониторить. У дежурных инженеров есть буквально минута – две, чтобы они могли через нашу специальную систему отправить оповещения и дальше контролировать подключение необходимых специалистов. Так происходит сейчас, а на этапе проведения ДЭГ будут работать круглосуточные команды, непрерывно занимающиеся мониторингом состояния инфраструктуры и нагрузок.

Важно еще понимать, что мы работаем командой. Еще в «Ростелекоме» есть подразделения, которые обеспечивают для нас сетевую связность и сам сетевой сервис. У нас ведь несколько ЦОДов плюс входные точки по сети Интернет для осуществления собственно голосования. К тому же есть сетевые интеграции с инфраструктурой электронного правительства, потому что, скажем, реализуются услуги по видеозаписи избирательного процесса, и авторизация идет через ЦОД. Вот почему мы тесно связаны с Центром управления системами связи «Ростелекома»: мы вместе проводим учения, и коллеги полностью в курсе той архитектуры, которая реализуется в проекте ДЭГ. Фактически мы такой объединенной командой: приклад, инфраструктура, безопасность, сеть - дальше и пойдем.

ЕВГЕНИЙ СИМОНИН: Да, конечно. В принципе, мы как провайдер IaaS (инфраструктуры как сервис) стараемся этот подход распространить на все наши сервисы, будь то электронное правительство или наши частные облака. Фактически мы предоставляем IaaS, но не совсем в классическом виде. Потому что в классическом механизме IaaS нет такого общего совместного погружения в детали инфраструктуры, как у нас происходит с прикладным уровнем или каналами связи. В классическом механизме IaaS реализуется классический сервисный подход с сервисными заявками и стандартными маршрутами обработки этих заявок. А в инфраструктуре ДЭГ из-за высокой важности мероприятия, мы применяем несколько иные подходы, чтобы понимать, что делает каждое из подразделений, какой возможен эффект в той или иной ситуации, и в какой момент времени он может повлиять на инфраструктуру.

ЕВГЕНИЙ СИМОНИН: Безусловно. Все коммерческие организации, в том числе, наши заказчики в лице государства, в первую очередь, смотрят на экономическую историю. Я не зря выше сказал про модульный подход: когда мы считаем нашу модульную архитектуру, мы как ставим во главу угла качество, надежность и стоимость этого оборудования. Все проекты у нас должны быть экономически окупаемы. И все наши проекты внимательно изучает заказчик, в том числе, государство. К тому же, поскольку мы играем наши конкурсы по стандартным открытым законным процедурам, в частности, 223-ФЗ, у нас нет шансов утвердить очень дорогое решение.

Кстати, требование экономической эффективности – это еще аспект, демонстрирующий важность четко выстроенного диалога с командами разработки и эксплуатации приклада. Если мы попытаемся перезаложить свои риски, то при совместном экономическом анализе они выплывут на поверхность. Поэтому мы с коллегами очень скрупулезно подходим к планированию инфраструктуры: закладываем дополнительные ресурсы на перегрузки после детальных расчетов.

ЕВГЕНИЙ СИМОНИН: Значительная часть инфраструктуры ДЭГ построена на оборудовании, которое находится в реестре отечественной продукции. По сравнению с пилотным проектом ДЭГ, который был реализован в прошлом году, доля такого оборудования и ПО заметно выросла. Это и средства информационной безопасности, и сетевое оборудование, а также вычислительная аппаратура и системы хранения данных.

ЕВГЕНИЙ СИМОНИН: Знаете, ДЭГ – это, в принципе, уникальный проект, который мы реализуем с нуля. На текущий момент любое из применяемых технических решений требует серьезной проработки затрат ресурсов. Дело в том, что здесь вообще нет неважных сервисов. Возьмите любой, хоть такой, на первый взгляд, простой, как сервис точного времени или сервис DNS. Напомню, что в состав ИТ-систем ДЭГ входит блокчейн-платформа, а блокчейн-цепочки без точного времени просто рассыплются, потому что потеряется консистентность данных. А если не будет работать внутренний DNS, то опять же нарушится связанность внутри комплекса. Получается так, что мы должны контролировать всю синхронную работу сервисов, и эта задача занимает существенную часть работ мониторинга в нашей ресурсно-сервисной модели. Архитектура сетевой связанности – тоже нетривиальная история, контейнеры, наша отечественная виртуализация – несущественных мелочей тут нет.

Но, знаете, самое главное в этом проекте – это все-таки не железки. Главное здесь – люди. Обычный инженер - на нем все и держится, на его профессионализме, самоотверженности, преданности делу и движению вперед. Поэтому мы всесторонне готовимся к запуску электронного голосования, не тешим себя надеждой, что все пройдет без сучка и задоринки. Как всегда, будем сидеть за рычагами, следить за данными мониторинга и решать возможные проблемы. А о том, что из инфраструктуры оказало самое значительное влияние на процесс онлайн-голосования давайте поговорим после выборов.