VK Tech: Cloud Flink - Сервис для работы с потоковыми данными

Основная статья: SaaS - История. Философия. Драйверы развития

2024: Представление Cloud Flink

VK Tech 20 июня 2024 года сообщил о запуске сервиса для работы с потоковыми данными — Cloud Flink. Решение в режиме реального времени обрабатывает массивы информации напрямую из источника, что важно в развитии высоконагруженных продуктов и технологий искусственного интеллекта. Сервис создан на базе Apache Flink и Kubernetes разработки VK Cloud.

Cloud Flink преднастроен, доступен для запуска в облаке за минуты и не требует дополнительных затрат на установку. Это упрощает использование сервиса как в активных продуктах, так и в тестовых задачах. Сервис позволяет выполнять тысячи задач одновременно и автоматически распределять доступные ресурсы. При резком росте нагрузки в проекте Cloud Flink сам увеличит потребление облачных ресурсов и сократит его, когда потребность снизится.

На базе Cloud Flink компании могут разрабатывать IoT-системы, в которых необходимо на постоянной основе собирать информацию с датчиков, обрабатывать и систематизировать ее. Расширенные возможности обработки данных в режиме реального времени позволяют анализировать паттерны поведения аудитории и реагировать на них. Это актуально в развитии рекомендательных систем, когда важно за доли секунды предложить пользователю релевантный контент на видеоплатформе или актуальный товар на маркетплейсе.

Apache Flink — это распределенная отказоустойчивая платформа обработки информации с открытым исходным кодом. Для ее установки нужны квалифицированные специалисты, а интеграция в общую архитектуру решения требует существенных временных и финансовых вложений. Облачный сервис Cloud Flink упрощает доступ к технологиям обработки данных как для малого бизнеса, так и для крупных компаний. Сервис полностью готов к работе — он разворачивается в облаке и не требует дополнительных ресурсов на настройку и администрирование. Его также легко интегрировать в инфраструктуру и действующий проект, — отметил Александр Виноградов, директор направления сервисов по работе с данными, VK Cloud и Tarantool.

Cloud Flink поддерживает популярные языки для работы с большими данными — Java, Python и Scala. Решение легко интегрируется с другими сервисами платформы VK Cloud. Это упрощает развертывание комплексной облачной инфраструктуры для работы с данными и позволяет выстроить data-driven подход в бизнесе.