Amazon AWS Data Pipeline

Продукт
Название базовой системы (платформы): Amazon Web Services (AWS)
Разработчики: Amazon
Технологии: IaaS - Инфраструктура как услуга

Пользователи Amazon Web Services вскоре смогут создавать конвейеры задач обработки данных, включающие в себя различные сервисы AWS и локальные ресурсы, с помощью нового механизма оркестровки — AWS Data Pipeline.

Сервис доступен для бета-тестирования ограниченному числу участников. Как объясняют в Amazon, Data Pipeline позволяет автоматизировать движение и обработку любых объемов данных с проверкой зависимостей. Например, можно создать конвейер, по которому раз в день будут продвигаться журналы операций экземпляра AWS EC2 на сервис хранения AWS S3, и раз в неделю будет выполняться анализ накопленных данных на кластере AWS Elastic MapReduce.

Для создания конвейера пользователь указывает источники данных и назначает операции обработки, пункт назначения и расписание выполнения. Можно также задавать условия, которые сервис должен проверить перед запуском задачи, например, существование файла, подлежащего обработке. В конвейерах могут участвовать сервисы Amazon EC2, Elastic MapReduce, а также локальные ресурсы пользователя. Конвейеры можно создавать в AWS Management Console или путем написания скриптов.



Подрядчики-лидеры по количеству проектов

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Cloud4Y (ООО Флекс) (214)
  ITglobal.com (ИТглобалком Рус) (87)
  Т1 Интеграция (ранее Техносерв) (79)
  Softline (Софтлайн) (59)
  ИТ-Град (IT-Grad) Энтерпрайз Клауд (Enterprise Cloud) (56)
  Другие (826)

  Cloud4Y (ООО Флекс) (23)
  ITglobal.com (ИТглобалком Рус) (20)
  Т1 Интеграция (ранее Техносерв) (12)
  VK Tech (ранее VK Цифровые технологии, ВК Цифровые технологии и Mail.ru Цифровые технологии) (10)
  Мобильные ТелеСистемы (МТС) (10)
  Другие (55)

  ITglobal.com (ИТглобалком Рус) (17)
  Cloud4Y (ООО Флекс) (15)
  Яндекс.Облако (Yandex Cloud) (7)
  Мобильные ТелеСистемы (МТС) (6)
  Softline (Софтлайн) (5)
  Другие (36)

  Cloud4Y (ООО Флекс) (30)
  ITglobal.com (ИТглобалком Рус) (15)
  Яндекс.Облако (Yandex Cloud) (9)
  Мобильные ТелеСистемы (МТС) (8)
  Robin (Робин) (3)
  Другие (43)

  Cloud4Y (ООО Флекс) (15)
  Reg.ru (Рег.ру Домены Хостинг РДХ) (6)
  Яндекс.Облако (Yandex Cloud) (5)
  Timeweb Cloud (Таймвэб.Клауд) (5)
  Нубес (Nubes) (4)
  Другие (36)

Распределение вендоров по количеству проектов внедрений (систем, проектов) с учётом партнёров

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Cloud4Y (ООО Флекс) (6, 216)
  Microsoft (24, 117)
  ITglobal.com (ИТглобалком Рус) (5, 93)
  Т1 Облако (Т1 Клауд) ранее T1 Cloud (3, 85)
  Т1 Интеграция (ранее Техносерв) (1, 81)
  Другие (457, 889)

  Cloud4Y (ООО Флекс) (2, 23)
  ITglobal.com (ИТглобалком Рус) (2, 20)
  Т1 Облако (Т1 Клауд) ранее T1 Cloud (2, 17)
  Т1 Интеграция (ранее Техносерв) (1, 15)
  Мобильные ТелеСистемы (МТС) (1, 11)
  Другие (44, 67)

  ITglobal.com (ИТглобалком Рус) (2, 18)
  Cloud4Y (ООО Флекс) (1, 15)
  Яндекс.Облако (Yandex Cloud) (2, 11)
  Мобильные ТелеСистемы (МТС) (1, 7)
  VK Tech (ранее VK Цифровые технологии, ВК Цифровые технологии и Mail.ru Цифровые технологии) (1, 6)
  Другие (19, 35)

  Cloud4Y (ООО Флекс) (2, 30)
  ITglobal.com (ИТглобалком Рус) (3, 18)
  Яндекс.Облако (Yandex Cloud) (2, 14)
  Мобильные ТелеСистемы (МТС) (1, 10)
  Softline (Софтлайн) (3, 4)
  Другие (23, 45)

  Cloud4Y (ООО Флекс) (2, 14)
  Яндекс.Облако (Yandex Cloud) (2, 9)
  Softline (Софтлайн) (4, 6)
  Reg.ru (Рег.ру Домены Хостинг РДХ) (1, 6)
  Timeweb Cloud (Таймвэб.Клауд) (1, 5)
  Другие (25, 38)

Распределение систем по количеству проектов, не включая партнерские решения

За всю историю
2021 год
2022 год
2023 год
Текущий год

  Cloud4Y IaaS - 200
  Microsoft Azure - 93
  ITglobal.com: Публичное облако - 83
  Т1 Облако (ранее T1 Cloud) - 81
  IT-Grad Cloud IaaS - 65
  Другие 744

  ITglobal.com: Публичное облако - 20
  Cloud4Y IaaS - 19
  Т1 Облако (ранее T1 Cloud) - 15
  CloudMTS - 11
  VK Cloud Универсальная облачная платформа для развития цифровых сервисов (ранее VK Cloud Solutions) - 10
  Другие 52

  ITglobal.com: Публичное облако - 17
  Cloud4Y IaaS - 15
  Yandex.Cloud Услуги виртуальной вычислительной инфраструктуры - 9
  CloudMTS - 7
  VK Cloud Универсальная облачная платформа для развития цифровых сервисов (ранее VK Cloud Solutions) - 6
  Другие 27

  Cloud4Y IaaS - 24
  ITglobal.com: Публичное облако - 14
  Yandex.Cloud Услуги виртуальной вычислительной инфраструктуры - 13
  CloudMTS - 10
  Cloud4Y Корпоративная облачная почта - 7
  Другие 36

  Cloud4Y IaaS - 13
  Yandex.Cloud Услуги виртуальной вычислительной инфраструктуры - 8
  Рег.облако - 6
  Timeweb Cloud Облачная платформа - 5
  Nubes NGcloud - 4
  Другие 31