Росбанк (Oracle Warehouse Builder)

Росбанк реализует проект хранилища данных. Партнер в проекте - компания РДТЕХ.

До проекта

Для работы с документами, связанными с оформлением кредитных договоров банка с физическими и юридическими лицами в Росбанк используется АБС собственной разработки на основе Btrieve (ныне Pervasive). Среда Btrieve, представляющая собой файловую СУБД, технологически не приспособлена для целей анализа. Поэтому для анализа кредитной деятельности банка сотрудники Департамента кредитных операций (ДКрО) вынуждены производить многочасовую выгрузку данных из Btrieve в Excel, затем из Excel в Access, в Access производить необходимые вычисления и строить запросы, и только после этого копировать данные из Access в Excel обратно для построения и печати отчетов. Данная цепочка действий выполняется конечными пользователями (методологами, аналитиками) вручную, занимает много времени и является крайне трудоемкой.

Задачи проекта

Создание хранилища данных, содержащего данные о кредитной деятельности банка и историю их изменений, которое позволяло бы конечным пользователям самостоятельно (без помощи программистов) получать нужную аналитическую информацию за нужный хронологический период (или на нужную дату) в нужных разрезах и в нужных форматах (табличном, матричном, графическом и пр.).

В рамках проекта

• заполнение словаря Btrieve (ddf) путем описания структуры файлов данных;
• настройка гетерогенных служб (Heterogeneous Services) сервера Oracle;
• проектирование и разработка в среде Oracle Warehouse Builder процедур загрузки, очистки, согласования и консолидации данных из АБС и Excel-файлов в хранилище;
• настройка автомата загрузки (jobs) в среде Oracle Enterprise Manager;
• разработка модуля, выполняющего сложные промежуточные расчеты финансово-экономических показателей, характеризующих кредитную деятельность банка;
• проектирование схем хранилища и т.н. зависимых витрин данных по кредитным договорам и письмам (заявкам);
• настройка системы аудита сервера Oracle для протоколирования действий пользователей и сбора статистики использования отчетов;
• разработка подсистемы аналитической отчетности в среде Oracle Discoverer, предполагающая прототипирование предопределенных (стандартных) отчетов и создание среды, в которой конечные пользователи могли бы самостоятельно создавать не регламентированные (ad hoc) запросы и отчеты, анализировать информацию в различных срезах и в динамике;
• настройка сервера Oracle и оптимизация генерируемых запросов для достижения высокой производительности (время выполнения отчетов не должно превышать 10 секунд).

Решение

Хранилище данных состоит из двух основных подсистем: подсистемы загрузки и подсистемы аналитической отчетности.

Подсистема загрузки. Источниками данных для разработанного хранилища послужили кредитный модуль АБС (БД по юридическим лицам и БД по физическим лицам), которая реализована на базе СУБД Pervasive (платформа Novell), и файлы формата Excel, поступающие из низовых подразделений банка (филиалы) по электронной почте.Как DevOps-сервис помогает «разгрузить» высоконагруженные системы BPMSoft 2.1 т

В качестве инструмента проектирования и генерации схемы данных и процессов загрузки информации в хранилище был использован Oracle Warehouse Builder (OWB). Спроектированная при помощи него схема хранилища данных позволяет накапливать хронологические данные, что обеспечило возможность проведения сопоставительного анализа банковских показателей во времени.

Загрузка данных из АБС в хранилище выполняется автоматически по расписанию, которое устанавливается в среде Oracle Enterprise Manager (OEM). Загрузка данных из Excel-файлов инициируется вручную оператором загрузки по мере их поступления из филиалов.

Подсистема аналитической отчетности. В качестве инструментального средства для построения среды разработки аналитических отчетов был использован продукт Oracle Discoverer. Следует отметить, что в рамках реализованного проекта преследовалась цель - не столько создать готовые отчеты, сколько - предоставить сотрудникам ДКрО (аналитикам, методологам, кураторам кредитных клиентов и др.) инструмент, с помощью которого они могли бы самостоятельно, не прибегая к услугам программистов, формировать нужные им отчеты, выбирать и представлять данные в нужном им виде (табличном, кросс-табличном, графическом, с постраничной разверткой и пр.).

Разработан ряд достаточно сложных аналитических отчетов: "Справка по крупным заемщикам", "Отчет о структуре портфеля по уровню риска вложений", "Отчет по срочности портфеля", "Отчет по отраслевой структуре портфеля", "Оборотно-сальдовая ведомость по портфелю", "Справка по заполнению лимитов" и др.

Итоги

В результате внедрения хранилища данных аналитики банка получили возможность извлекать нужную им аналитическую информацию самостоятельно без обращения к программистам. Кроме того, значительно сократилась трудоемкость подготовки отчетов. После внедрения системы у аналитиков отпала необходимость выполнять многочасовые и множественные процедуры экспорта из Btrieve в Excel, из Excel в Access, из Access обратно в Excel. Теперь они только открывают в Oracle Discoverer нужный им отчет или создают новый не регламентированный запрос (ad hoc query), который выполняется около 10 секунд.

У аналитиков банка появились такие аналитические возможности, которые ранее отсутствовали (анализ данных с переходами по иерархии, вращение элементов (осей куба), постраничная развертка, итоги и подитоги, проценты, графика, Top-N анализ и др.).

Использование Oracle Warehouse Builder (OWB) для проектирования и генерации процедур загрузки позволило создать качественно документированную систему. Вся необходимая информация хранится в репозитории OWB и при необходимости может быть представлена в виде отчета.