2024/06/10 14:26:09

Управление данными
Data management

Управление данными это процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением данных и поиском информации.

Содержание

Разделение функций между Data Governance и Data Management
2024
- Культура управления данными — осмысленный подход к ведению бизнеса
- За 5 лет доля российских компаний, реализующих инициативы по управлению данными, выросла в 5 раз
2020: Aruba: организациям Европы, Ближнего Востока и Африки недостаточно инструментов для работы с данными
2019: Ключевые вопросы и ошибки в управлении данными
2016: Эффективное управление данными увеличивает продажи в 3 раза
2013: Специфика финансовых организаций
Как использовать аналитические данные для разработки качественных ИТ-сервисов
Потери организаций от простоев и сбоев ИТ-систем
Управление данными

Управление данными (англ. data management) — процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением данных и поиском информации.

К управлению данными относятся

Анализ данных
Моделирование данных
Управление базами данных
Работа с хранилищами данных
Извлечение, преобразование и загрузка данных
Добыча данных
Обеспечение качества данных
Защита данных
Шифрование данных
Управление метаданными (репозиториями данных)
Архитектура данных

Отдельная статья TAdviser посвящена самому понятию "Данные". Известный писатель-фантаст Сергей Лукьяненко выступит на TAdviser SummIT 28 ноября. Регистрация 5.6 т

Разделение функций между Data Governance и Data Management

Подобно тому, как аудитор контролирует финансовые процессы, но фактически не осуществляет финансовое управление, руководство данными обеспечивает надлежащее управление данными без непосредственного выполнения управления данными.

Управление данными представляет собой неотъемлемое разделение обязанностей между надзором и исполнением

2024

Культура управления данными — осмысленный подход к ведению бизнеса

За год в области цифровизации и искусственного интеллекта было сделано больше открытий, чем за предыдущие 20 лет. Причем большая часть новых технологий и инструментов оказалась связанной со сферой управления данными. Распределенные дата-центры, оргструктура CDO (chief data officers) как фактор стоимости компаний, концепция Data Fabric — «свежих» идей уже как будто бы хватает.

К сожалению, предприниматели по-прежнему не могут просто предлагать персоналу продвинутые аналитические возможности. Важно научить людей понимать данные, а также анализировать и использовать их для обоснования мнений при принятии решений. Создание культуры управления данными (Data Culture) — задача каждой фирмы, желающей идти по пути цифровой трансформации и оставаться эффективной, поделился в подготовленной для TAdviser статье эксперт по управлению данными Кирилл Кузнецов.

За 5 лет доля российских компаний, реализующих инициативы по управлению данными, выросла в 5 раз

За 5 лет доля российских компаний, реализующих инициативы по управлению данными, выросла в 5 раз. Такие данные представлены 3 июня 2024 года в исследовании «Оценка зрелости управления данными», подготовленного DIS Group.

В исследовании приняли участие более 200 ведущих российских компаний, в том числе 24% представителей финансового сектора, 20% – производственного сектора, 11% – телеком-компании, 9% – нефтегазового сектора и ритейл, 7% – ИТ-компаний, образовательных учреждений, энергетический сектор, 4% – недвижимость и 2% – госсектор.

В документе говорится, что в период с 2018 по 2023 годы доля компаний, которые находятся в процессе реализации инициатив по управлению данными, выросла с 17% до 89%. В 2018 году более 60% компаний не использовали специальные инструменты управления данными, отдавая предпочтение ручным методам или собственным разработкам. К 2023 году доля компаний, использующих проприетарное ПО для управления данными, достигла 82%, из них 48% относятся к гибридным решениям с использованием как проприетарного ПО, так и open source.

Ожидается существенное развитие инструментов управления данными как следствие контекста и вызовов, стоящих перед бизнесом. Значительный скачок произойдет в таких областях, как управление мастер-данными (рост на 23%), качество данных (рост на 22%), бизнес-глоссарий (рост на 20%) и каталог данных (рост на 20%). Согласно исследованию, к 2028 году доля компаний, реализующих инициативы по управлению данными, приблизится к 98%. При этом доля компаний, использующих гибридную комбинацию проприетарного и открытого ПО, достигнет 90%.

В ближайшие 5 лет ожидается значительный рост и совершенствование инструментов управления данными, использующих элементы ИИ и машинного обучения. Внедрение таких инструментов ведет к снижению затрат на управление данными до 30%, увеличению производительности сотрудников до 25% и повышению качества данных до 90%, –отметил генеральный директор DIS Group Павел Лихницкий.

Данные о значительном росте рынка управления данными подтверждают в Ассоциации Больших Данных

Мы действительно отмечали, что в управлении данными 5 лет назад были в основном крупные компании и B2C-рынок. Со временем оно пришло в ключевые бизнес-процессы и кросс-индустриальные кейсы в другие отрасли. Так рост с 17% до 89% кажется органичным. Эти показатели в целом коррелируют с трендами развития рынка больших данных, который рос с учётом различных CAGR по сегментам и годовой инфляции на 12,4% в 2022 г., 6% в 2023 г. и вырастет, по нашим данным, на 4% в 2024 г.

Также в Ассоциации отмечают, что область Защиты Данных (Data Security) становится критичной для большого количества отраслей, и инвестиции в создание и внедрение инструментов здесь могут стать существенными, а итоговые показатели могут и превзойти указанные в исследовании.

При замещении ушедших продуктов компании выбирают более современные и прогрессивные инструменты, которые содержат функции ИИ или сочетаются с его инструментами, взамен наследуемым. Это интеллектуальный контроль и средства повышения качества данных в компании, инструменты разметки данных, data mining и др., где исторически была велика доля ручного труда специалистов, – подчеркнул исполнительный директор Ассоциации больших данных Алексей Нейман.

В эпоху цифровой трансформации данные являются важнейшим активом организаций и играют ключевую роль в принятии решений, разработке инновационных продуктов и создании конкурентного преимущества. Однако ценность данных имеет существенную зависимость от эффективности применяемых методов управления данными, – заявил Павел Лихницкий.

Если компании будут использовать недостаточно эффективные инструменты и будут мало инвестировать в управление данными, то бизнес-ценность в компаниях, реализующих соответствующие инициативы, может остаться на уровне 2023 года.

Кроме того, экономическая нестабильность может затормозить развитие инфраструктуры и использования инструментов для управления данными, а нехватка квалифицированных специалистов будет препятствовать развитию Data Governance и росту компетенций в области управления данными.

В числе возможных вызовов в исследовании приводятся приведенные ниже ситуации.

Проблемы с инструментами: отсутствие достаточно развитых отечественных инструментов управления данными может подорвать доверие бизнеса к этому процессу.
Экономическая нестабильность: неблагоприятные экономические условия могут ограничить инвестиции в развитие Data Governance, что отрицательно скажется на росте зрелости.
Нехватка квалифицированных кадров: дефицит специалистов с необходимыми навыками в области управления данными может тормозить развитие Data Governance.

Исследование DIS Group выявило ряд ключевых глобальных трендов в области управления данными.

Соблюдение нормативных требований: введение строгих правил защиты данных приводит к усилению внимания к безопасности и управлению данными.

Демократизация данных: компании стремятся предоставить доступ к данным большему количеству сотрудников, что требует разработки специфических стратегий управления данными.

Интеграция передовых технологий: искусственный интеллект, машинное обучение и блокчейн активно внедряются в процессы управления данными, автоматизируя задачи и повышая качество данных.

Качество и целостность данных: осознавая важность качественных и достоверных данных, компании активно вводят метрики и инструменты для их мониторинга.

С увеличением объема и сложности данных растет спрос на специализированные инструменты и платформы для эффективного управления данными.

Как отмечают в Ассоциации Больших Данных, согласно Стратегии развития рынка больших данных 2024 г., в 2023 г. тренды роста рынка и оказываемого эффекта от внедрения технологий больших данных выше трендов 2019 и 2020 гг. В сравнении с прогнозом Стратегии 2022 г. прогнозируемые объемы рынка на 2024 г. со 176 млрд руб. выросли до ~ 319 млрд руб., а эффект на тот же год — в 1,5 раза — до 1,6 трлн руб.

Управление мастер-данными, качество данных, бизнес-глоссарий и каталог данных безусловно являются первыми приоритетами в компаниях для автоматизации и внедрения специализированных инструментов, поэтому рост, скорее, произойдет за счёт «догоняющих» отраслей и компаний.

Специалисты отмечают, что сейчас российские организации продолжают активно работать с большими данными. Они вкладывают значительные ресурсы в развитие цифровых инструментов, улучшение процессов управления данными и обучение специалистов. Этот процесс в любом случае не остановится, потому что большие данные представляют собой ключ к повышению эффективности, созданию новых продуктов и укреплению конкурентных позиций в современном мире.

Эффективность инвестиций в цифровые инструменты подтверждена фактическими результатами. Компании все чаще используют данные для разработки инновационных продуктов и улучшения процессов принятия решений, что приводит к повышению прибыли. Ключевую роль в этом играют аналитические инструменты, позволяющие обрабатывать большие объемы данных, выявлять скрытые закономерности и прогнозировать развитие событий. Так, ЕВРАЗ, одна из крупнейших металлургических и горнодобывающих компаний мира, оценила годовой эффект от внедрения цифровых проектов в $100 млн.

Необходимость обработки непрерывно растущих объемов информации, цифровизация отраслей экономики, стимулирование со стороны государства определяет рост популярности соответствующего программного обеспечения и является драйвером быстрого развитие рынка СУБД и инструментов обработки данных. По нашим оценкам, по итогам 2023 года, рынком почти полностью нивелировано падение 2022 года, и его совокупный объем достиг 67 млрд рублей. Для сравнения, в 2021 году рынок оценивался в 72 млрд рублей, в 2022 - 56 млрд рублей. При этом, большую часть рынка занимают отечественные игроки, доля зарубежных вендоров стремительно падает. В 2023 году она составляла менее 20%, а уже к 2027 году снизится и вовсе до 1%. Среднегодовой темп роста объема рынка до 2030 года ожидается выше общемирового и, по оценкам, составит 20% с 2023 г. К 2030 году его объем достигнет более 234 млрд рублей, а это рост почти в 3,5 раза, – отметила заместитель генерального директора ЦСР Екатерина Кваша.

В период с 2018 по 2023 год существенно усилились практики управления данными и были созданы CDO офисы, как отдельные функциональные направления, поддерживающие развитие бизнеса. Это вызвало значительный прогресс в развитии инструментов управления данными и ускорило переход от начального этапа, где преобладали собственные разработки и фокус на базовом инструментарии, к значительно более зрелому и комплексному подходу. В частности, особое внимание компании уделяли развитию инструментов управления мастер-данными, моделирования, Data Lineage и улучшению качества данных. Это подчеркивает растущее осознание ценности данных для бизнеса и способствует увеличению спроса на аналитику данных, – резюмировал Павел Лихницкий.

2020: Aruba: организациям Европы, Ближнего Востока и Африки недостаточно инструментов для работы с данными

21 мая 2020 года стало известно о том, что согласно отчету Aruba, компании Hewlett Packard Enterprise, организации сталкиваются с проблемой получения выгоды из данных, так как системы перезагружены из-за растущего количества запросов.

Как сообщалось, отчет, основанный на результатах опроса более 170 лидеров мнений в области ИТ и сетевых инженеров в экосистеме Aruba региона EMEA, выявил, что большинство респондентов разочарованы недостатками в управлении данными. Согласно опросу, 61% респондентов «не полностью контролируют данные своей компании», 51% - «не могут рассматривать данные целостно», а 52% - «не могут извлечь полезную информацию из полученных данных».

Отчет Data to Decisions: A Rulebook to Unlock the Power of your Data описывает шесть шагов, которые помогут организациям лучше управлять своими данными. Ключевые темы отчета:

Респонденты подтверждают, что потенциал данных позволяет использовать их для более эффективной и ориентированной на клиента работы. Самую большую выгоду от управления данными они связывают с возможностью предоставлять клиентам более качественные услуги (60%), повышением эффективности (38%) и внедрением производственных инноваций (35%).

Однако, респонденты также указали на недостатки существующих систем и инфраструктуры, которые могут ограничить эти возможности. На вопрос о том, как бы они хотели использовать данные, которые не могут задействовать на май 2020 года, респонденты ответили, что в их приоритете - повышать уровень безопасности (63%), внедрять больше аналитики в режиме реального времени (55%), принимать более обоснованные решения на основе данных (55%), а также эффективнее использовать данные для выполнения основных задач бизнеса (45%).

На май 2020 года еще одна серьезная причина для беспокойства – нехватка соответствующих навыков и знаний среди сотрудников компаний. Более трети (36%) опрошенных заявили, что «отсутствие навыков для управления стремительно растущими данными» является для них одной из основных проблем. В то же время, самый большой страх среди респондентов (28%) заключается в том, что «сотрудники не согласятся с политиками управления данными».

Для того, чтобы повысить квалификацию и расширить базу знаний в работе с данными, организациям следует сосредоточиться на повышении квалификации сотрудников, обладающих глубокими отраслевыми знаниями, нанять директора по обработке и анализу данных (Chief Data Officer), а также создать группы по управлению данными, в состав которых будут входить специалисты, принимающие решения по всем ключевым бизнес-задачам, что обеспечит отражение их потребностей в стратегии по работе и управлению данными.

Компании уже располагают большей частью самых ценных знаний. Подготовка сотрудников, позволяющая им общаться с экспертами в области информационных технологий и использовать API, зачастую гораздо ценнее, чем обращение к кандидатам технических наук с просьбой быстро разобраться в отрасли.

рассказал Том Чатфилд (Tom Chatfield), автор отчета и технический аналитик

Помимо того, что на май 2020 года безопасность данных находится на первом месте в списке приоритетов ИT-специалистов, она же вызывает у них самые большие страхи. Две из трех самых больших проблем касались безопасности или соответствия требованиям и политикам компании: 21% респондентов опасаются хакерских атак, а 12% - что их организация будет оштрафована в соответствии с Европейским регламентом защиты персональных данных (GDPR).

В докладе содержится ряд рекомендаций по повышению уровня безопасности, такие как: классифицировать данные в соответствии с различными уровнями риска, разработать план действий в случае утечки данных, а также обучать сотрудников на основе практических сценариев для повышения осведомленности об угрозах.

Сотрудники – последний рубеж безопасности. Вы можете использовать лучшие межсетевые экраны и VPN-решения. Но если кто-либо сохраняет файл с паролями на своем почтовом ящике Gmail, а его взламывают, то все выходит из под контроля.

отметил Эндрю Грилл (Andrew Grill), автор отчета, футурист

Каждая организация понимает, какие возможности предоставляют данные для внедрения инноваций, развития продукции и улучшения качества обслуживания клиентов. По мере того, как данные и решения перемещаются на границу сети, компании должны быть уверены в том, что их системы и процессы справятся с этим. Как утверждается в данном исследовании, организациям необходимо повышать квалификацию и обучать своих сотрудников, создавать эффективные структуры управления и уделять особое внимание безопасности данных. В условиях пандемии эти рекомендации еще более актуальны, так как работа дома становится нормой, а домашний Wi-Fi не отвечает ключевым требованиям безопасности, в то время как число целевых кибератак растет.

заключил Мортен Иллюм (Morten Illum), вице-президент Aruba в регионе EMEA

2019: Ключевые вопросы и ошибки в управлении данными

Актуальность темы управления данными (Data Governance) растет с каждым годом. Действительно, необходимость организации процессов, направленных на повышение эффективности сбора, обработки, хранения и использования данных как ценного актива, уже очевидна практически всем компаниям. Много сказано о том, какие преимущества приносят компании правильно выстроенные процессы управления данными, и многие организации уже начали внедрение этой инициативы. При этом организации часто допускают похожие ошибки, которые негативно влияют на темпы внедрения и эффективность создаваемых процессов управления данными. О том, какие это ошибки, как их избежать и на какие вопросы организация должна найти ответы в процессе внедрения Data Governance, [http://www.tadviser.ru/a/498875 в материале, подготовленном для TAdviser, рассказывает Светлана Бова, Chief Data Officer банка ВТБ].

2016: Эффективное управление данными увеличивает продажи в 3 раза

Согласно исследованиям Experian, в которых приняли участие 1400 организаций из восьми стран мира, компании все больше осознают экономический потенциал информации: по мнению 79% опрошенных, к концу десятилетия данные о клиенте будут определять большую часть решений о продаже. Однако при этом почти все опрошенные - 90% - по-прежнему считают, что им недостает конструктивного подхода к эффективному управлению данными.

В среднем, почти 25% данных по клиентам содержать неточности. Среди наиболее распространенных ошибок:

неполные или отсутствующие данные
устаревшие сведения
дупликация данных
противоречивая информация

Согласно исследованию Experian, компании полагают, что могли бы увеличить продажи почти на 29% при наличии точных клиентских данных.

Согласно оценкам, в 2012 г. каждый день создавался впечатляющий объем данных –2,5 квинтильона байтов – и это в то время, когда мобильная связь, согласно оценкам, охватила 61% населения земного шара. Если исходить из того, что к 2017 г. эта цифра возрастет до 70%, становится очевидно, что объем данных в ближайшие годы будет расти экспоненциально.

Такой "взрывной" рост данных является вызовом для компаний. Как отметили 84% респондентов, их организация в настоящее время считает данные неотъемлемым компонентом бизнес-стратегии. В связи с этим 82% компаний в ближайшие пять лет планируют принять на работу специалистов по данным. Как установило предыдущее исследование Experian, сегодня растет значимость директора по данным (CDO), который развивает работу с данными в рамках стратегической деятельности компании, обеспечивая улучшение финансовых результатов.

Управление данными также усложняется из-за растущих объемов информации и изменений в использовании каналов связи. По словам 39% респондентов (против 10% в прошлом году), их организация имеет 50 или более баз контактов. Кроме того, использование социальных сетей за последние 12 месяцев выросло на 81%.

75% опрошенных в этом году в ходе исследования Experian назвали электронную почту каналом связи, наиболее широко используемым для целей маркетинга. При этом 73% этой группы могут привести пример негативного влияния неточных данных на бизнес. Плохое качество данных об электронных адресах влечет за собой не только снижение выручки, но и такие бизнес-проблемы, как плохое обслуживание клиентов, невозможность осуществления коммуникации с абонентами и бесполезные расходы.

97% организаций стремятся видеть клиента в целом, поэтому на передний план выходит эффективное использование данных, позволяющих рассматривать каждого клиента как отдельную личность, со своими индивидуальными особенностями, и разрабатывать коммерческие предложения с учетом особых потребностей каждого такого клиента.

В качестве преимуществ, связанных с таким целостным пониманием клиента, были названы рост лояльности, увеличение объема продаж и возможность стратегического принятия решений. Поэтому коммерческие компании признают важность точных знаний о клиентах и их влияние на финансовые результаты организации.

2013: Специфика финансовых организаций

В декабре 2013 года Qlik (QlikTech) обнародовала результаты исследования, которое показало: несмотря на то, что после мирового финансового кризиса управление данными приобрело особое значение, более чем две трети (63%) руководителей финансовых компаний не считают необходимым рассматривать этот вопрос на уровне высшего руководства.

Согласно исследованию, проведенному для QlikTech аналитической компанией Lepus, треть (31%) финансовых учреждений не распределили роли и зоны ответственности в области управления данными, несмотря на то, что многие факторы в бизнесе свидетельствуют о необходимости управления данными в финансовой сфере.

Помимо беспрецедентного увеличения объема ежедневно обрабатываемых данных, в действие введено множество нормативно-правовых актов, связанных с управлением данными – таких как закон Сарбейнза-Оксли, Правило 17а-4 Комиссии по ценным бумагам США, стандарты Базель III и Solvency II, а также принципы Базельского комитета по банковскому надзору BCBS 239 (агрегирование данных о рисках). В ответ на это финансовые учреждения должны были сформировать общие подходы в вопросах архитектуры и моделирования данных; решение этой задачи и обеспечивает управление данными.

Исследование было направлено на изучение программ управления данными в банках Европы, Северной Америки и стран Азиатско-Тихоокеанского региона. Оно показало необходимость рассматривать данные вопросы и принимать за них ответственность на уровне высшего руководства, чтобы обеспечить соответствие инфраструктур управления данными целям бизнеса.

Это тем более важно с учетом того, что исследование выявило множество бизнес-факторов, способствующих реализации программ по управлению данными, а также ряд важнейших функций в структуре управления. Существование такого бизнес-фактора, как необходимость обеспечивать нормативно-правовое соответствие и снижение правовых рисков, признали 94% руководителей банков. Следующими по значимости были названы обеспечение согласованности данных в масштабах всего учреждения (88%) и повышение открытости и прозрачности финансовых данных и информации (63%).

Однако основная функция инфраструктуры управления данными для разных банков-участников исследования в значительной степени различается. 44% респондентов одной из двух главных функций назвали снижение рисков, а другой – реализацию выгоды для бизнеса, однако лишь 13% считают первичной функцией инфраструктуры управления данными обеспечение нормативного соответствия.

Пол Ван Сиклен (Paul Van Siclen), директор по развитию рынка финансовых услуг компании QlikTech, отметил, что после мирового финансового кризиса управление данными стало еще более важной задачей, поскольку финансовые учреждения были вынуждены проводить всесторонний анализ своих стратегий по работе с данными. «Но в отсутствие согласованных целей и без рассмотрения этих вопросов на уровне высшего руководства банкам вряд ли удастся достичь желаемого результата», - полагает он.