Data Warehousing

Традиционная СУБД, созданная как система оперативной обработки транзакций (online transaction processing - OLTP), представляет собой хранилище информации предприятия, полученной на определенный момент времени. Нормализованные данные размещаются в группах связанных между собой таблиц. Эта структура оптимизирована для задач учета и накопления данных и в ряде случаев может быть использована при подготовке аналитических отчетов. Однако по мере увеличения объемов информации время выполнения аналитических запросов катастрофически растет. Возникает множество побочных проблем при решении задач комплексного анализа информации: невозможность осознать на уровне пользователя весь комплекс сложных взаимосвязей между имеющимися таблицами; сегментация прикладных БД по многочисленным серверам; локальные ограничения доступа в целях защиты информации; вероятность запрета со стороны администраторов БД на выполнение комплексных запросов и т. д. Частично проблема может быть решена путем регулярного копирования OLTP-систем на специализированном сервере, однако эта схема остается недостаточно гибкой из-за избыточного объема частной информации и сложных взаимосвязей между нормализованными реляционными таблицами.

Решением может служить применение специализированных хранилищ данных (Data Warehousing) и инструментов оперативной аналитической обработки (Online analytical processing - OLAP).

Хранилище данных - это интегрированный накопитель информации, собранной из отдельных гетерогенных источников в единый гомогенный информационный комплекс. Существует два основных типа хранилищ: общекорпоративные (enterprise data warehouse) и киоски данных (data mart). Перечислим их общие отличительные признаки:

• организация информации основана на учете базовых понятий, описывающих деятельность предприятия (клиенты, продукты, продажи, поставщики и т. д.), т. е. применяется методология проектирования, основанная на данных;
• "исходные" данные поступают из самостоятельных оперативных и прикладных систем; они очищаются от ошибок, агрегируются и воспроизводятся в удобной для бизнес-пользователей форме;
• на основании учета мнений пользователей и совершенствования бизнеса постоянно вносятся изменения в архитектуру хранилища, т. е. процесс разработки является итерационным.

Информация в модели OLAP концептуально рассматривается как многомерный куб, характеризуемый источником информации, описательными категориями (измерениями) и их количественными оценками (мерами) (см. Рис. 36). Например, при построении "куба" с информацией о продажах в качестве измерений могут выступать "Время", "География", "Продукт" и т. д., а мерами могут быть "Объем продаж ", "Запасы" и т. д. Каждое измерение может подразделяться на иерархии, соответствующие определенному уровню детализации. Например, измерение "Время" может состоять из уровней: "Годы", "Месяцы", "Дни". Кроме реальных бывают и виртуальные измерения, используемые для выполнения аналитических оценок.

Рис. 36. Многомерный "куб" информации предприятия

При просмотре данных OLAP пользователь будет перемещаться и получать сводную информацию по соответствующему уровню данных. Ключевой принцип OLAP заключается в том, что время реакции на получение запрошенного представления данных, или среза (slice), не должно превышать определенного предела. Сводная информация, или агрегаты (aggregations), обычно вычисляется заранее, что обеспечивает необходимый прирост быстродействия OLAP-систем.

Существует несколько типов OLAP-систем. В основе MOLAP (Multidimensional OLAP) использована специализированная нереляционная модель хранения информации, что обеспечило ей хорошее быстродействие. С другой стороны, технология ROLAP (Relational OLAP) отличается лучшей масштабируемостью, которая достигается благодаря использованию традиционных структур для хранения данных (схемы "звезда" и "снежинка"), индексации, предварительному расчету агрегатов, применению реляционных СУБД. Известны также смешанные решения для OLAP (HOLAP - hybrid OLAP), где одновременно используются элементы архитектур ROLAP и MOLAP.

Разработанная Microsoft открытая архитектура Data Warehousing Framework является основой для управления обменом данными и метаданными при разработке хранилищ и киосков данных. Компоненты Data Warehousing Framework охватывают все этапы процесса создания хранилищ данных. В базе данных Microsoft Repository собирается информация обо всех работающих программных компонентах и их совместных отношениях (метаданные). С помощью средств программирования Microsoft Visual Studio можно вносить необходимые дополнения для настройки этапов работы. Все необходимые базовые компоненты входят в состав SQL Server 7.0. Это средства проектирования базы данных с помощью графического конструктора схем, хранилища данных большой емкости, средства преобразования данных Data Transformation Services (DTS), OLAP-сервисы для поддержки принятия решений и т. д. Для разработки приложений OLAP используется интерфейс Microsoft OLE DB for OLAP.

Интеграция OLAP-сервисов в составе SQL Server делает многомерный анализ доступным для широкой аудитории. Этим инструментом могут пользоваться не только небольшие организации, но также группы и отдельные пользователи в рамках крупных корпораций, которые ранее были изолированы от индустрии OLAP из-за их высокой стоимости и сложности представленных на рынке продуктов.

Таким образом, в составе Microsoft SQL Server имеется все необходимое для организации работы с хранилищами: производительный реляционный сервер БД; процессор запросов, оснащенный специальными алгоритмами для распознавания и оптимизации OLAP-схем; службы преобразования данных, позволяющие производить экспорт/импорт данных различных форматов и выполнять всевозможные преобразования в процессе переноса, в том числе с выбором логики последующей обработки; репозиторий; OLAP-сервер; стандартные программные интерфейсы доступа к многомерным данным. Это служит основой для создания собственных OLAP-приложений любого уровня сложности для различных областей применения, в том числе для работы в сетях Интернет/интранет.