ОГЛЯД
У статті представлений огляд архітектур OLAP-клієнтів на прикладі кількох зарубіжних і вітчизняних товарів * 1, а також розглянуті можливі варіанти застосування OLAP-клієнтів для розробки аналітичних додатків і систем.
_____
* 1. Детальніше класифікація OLAP-продуктів представлена в статті В. Некрасова "OLAP - зроблено в Росії", опублікованій в PC Week / RE, N 3/2001, с. 21.
Принципи роботи OLAP-клієнтів
OLAP-клієнт надає кінцевому користувачеві інтерфейс для виконання довільних запитів до даних, їх багатовимірного аналізу та формування інтерактивних, модифікуються самим користувачем звітів * 1. При цьому використовуються дані зовнішніх джерел.
_____
* 1. Принципи роботи OLAP-клієнтів викладені в статті В. Некрасова "Введення в OLAP на практичному прикладі" - див. PC Week / RE, N 16/2001, с. 23.
Загальний принцип роботи OLAP-клієнтів - попередній опис семантичного шару, який "приховує" фізичну схему даних від користувача (див. Рис. 1). Після створення цього шару користувач може самостійно маніпулювати зрозумілими йому об'єктами, використовуючи терміни предметної області. Наприклад, для створення інтерактивного звіту користувач вибирає бізнес-об'єкт "Продажі" і "перетягує" його атрибути в області колонок або рядків, далі він може так само просто, рухами миші, задавати умови фільтрації або угруповання даних (в цей момент OLAP-клієнт генерує SQL-запит до реляційної базі даних (БД) або запит до багатовимірної БД, наприклад на мові MDX). Опис семантичного шару може зберігатися у спеціальному навчальному репозиторії метаданих, в додатку або в системному репозиторії багатовимірної БД.
Рис.1. Семантичний шар OLAP-клієнтів
Різні OLAP-клієнти мають різні архітектурою, і деякі з OLAP-клієнтів можуть бути розгорнуті в декількох варіантах архітектур. OLAP-клієнти здатні працювати в режимі одного з локальними даними окремого ПК, в файл-серверної архітектури, в класичної дворівневої клієнт-серверній архітектурі, в трирівневої клієнт-серверній архітектурі з сервером додатка (в останньому випадку OLAP-клієнт може бути реалізований як тонкий Web -клієнт; ці Web-клієнти заслуговують окремого обговорення і тут не розглядаються). Точно так же в OLAP-клієнтів організується і робота з метаданими. Джерелами даних можуть бути локальні таблиці (наприклад, у форматі dbf), таблиці SQL-серверів, локальні багатовимірні куби, багатовимірні бази (куби) даних OLAP-серверів. Можлива реалізація обчислює OLAP-машини в OLAP-клієнта, в
MOLAP-сервері (OLAP-сервері, який обробляє дані, що зберігаються у фізичній багатовимірної БД), в ROLAP-сервері (OLAP-сервері, що обробляє дані, що зберігаються в реляційної БД), в сервері додатків. Далі будуть наведені кілька прикладів архітектур OLAP-клієнтів, призначених для використання в локальних мережах і на окремих ПК.
Варіанти архітектур OLAP-клієнтів
OLAP-клієнт MOLAP-сервера. Первинні дані із зовнішніх джерел періодично завантажуються в багатовимірну БД MOLAP-сервера, в якій постійно зберігаються як первинні атомарні дані, так і обчислені в момент завантаження агрегати (див. Рис. 2). Частина метаданих, а саме опису атрибутів куба, і OLAP-машина знаходяться на сервері; OLAP-клієнт надає кошти організації діалогу і відображає дані у вигляді таблиці. При кожній маніпуляції користувача з цією таблицею генерується запит до OLAP-сервера на його мові, наприклад MDX, і відображається обчислений на сервері результат. Обмеження доступу користувачів до даних задаються на стороні MOLAP-сервера.
Мал. 2. OLAP-клієнт MOLAP-сервера
Найбільш простий OLAP-клієнт цього типу - електронна таблиця MS Excel, в яку вбудований OLAP-компонент - "зведена таблиця" (Pivot Table). Аналітичним додатком є книга MS Excel. Частина метаданих, що описує властивості звіту, шлях до сервера, ім'я бази даних і куба, зберігається в книзі MS Excel. Права доступу до звіту обмежуються доступом до файлу MS Excel. Спільне використання налаштувань звіту групою користувачів забезпечується копіюванням файлу цих налаштувань на ПК кожного користувача.
Існує кілька реалізацій подібних OLAP-клієнтів від третіх фірм, які поставляються у вигляді доповнення (add-in) до MS Excel. Один із прикладів - BusinessQuery компанії BusinessObjects.
Переваги та недоліки такого OLAP-клієнта визначаються властивостями MS Excel. Переваги - простота освоєння інструменту кінцевими користувачами і його відносно невисока вартість. Персональне володіння файлом, в якому містяться настройки звіту, зручно для користувача, але ускладнює супровід багатокористувацьких додатків. За рахунок попереднього обчислення агрегатів MOLAP-сервер забезпечує найвищу продуктивність обробки великих обсягів даних, і при цьому пред'являються невисокі вимоги до ресурсів ПК користувачів. Але за це доводиться платити необхідністю адміністрування процесів завантаження даних з джерел первинної інформації.
Крім наведеного тут варіанти, MS Pivot Table може працювати і без OLAP-сервера (обробляючи реально до 65 000 записів). OLAP-сервер MS OLAP Server 7 / Analysis Services 2000 здатний функціонувати в режимах ROLAP, MOLAP або HOLAP (в останньому випадку одночасно обробляються дані як багатовимірних, так і реляційних БД) - за вибором адміністратора.
OLAP-клієнт c локальним кубом. Плоскі дані можуть бути перевантажені в локальний багатомірний куб / файл, який розташовується на файл-сервері для загального використання або на локальному ПК - для персонального (див. Рис. 3). Генерацію локальних кубів забезпечують Cognos, MS Pivot Services, BusinessObjects.
Мал. 3. OLAP-клієнт з локальним кубом
Метадані, що описують фізичну структуру куба, зберігаються в ньому самому, а метадані, що описують інтерфейси і звіти, - в репозиторії OLAP-клієнта (BusinessObjects) або в додатку (Cognos, MS Excel).
Таким способом створюються "спеціальні редакції" OLAP-системи Cognos. Наприклад, одна частина додатку Cognos Nasdaq Special Edition - генератор кубів - знаходиться в біржі Nasdaq, а друга частина - аналітична - у користувачів. Користувачі підписуються на біржові дані, що розсилаються їм у вигляді локальних кубів.
Ця технологія зручна для автономної (off-line) роботи на ПК, відключеному від мережі, або для виконання багаторазового аналізу одного разу підготовлених даних. І як показують тести, ця конфігурація до певного обсягу даних показує навіть більш високу швидкодію, ніж OLAP-сервер.
OLAP-клієнт і ROLAP-сервер. Дані зберігаються в реляційних СУБД зовнішніх систем, все обчислення виконуються в масштабі реального часу (on-line) на спеціальному ROLAP-сервері (див. Рис. 4). OLAP-клієнт надає інтерактивний інтерфейс користувача, генерує запити на внутрішньому мові системи до ROLAP-сервера, який на основі метаданих ваше сховище перетворює їх в SQL-запити до джерел даних - реляційним СУБД.
Мал. 4. OLAP-клієнт і ROLAP-сервер
Так реалізована система MicroStrategy. MS OLAP Server 7 / Analysis Services 2000 також може бути налаштований для роботи в такій архітектурі.
Трирівнева конфігурація забезпечує можливість обслуговування тисяч користувачів за рахунок масштабування і кластеризації ROLAP-сервера. Вимоги до потужності ПК користувачів мінімальні. На відміну від випадку з MOLAP-сервером обчислення виконуються "на льоту", що усуває необхідність процедури перезавантаження даних з реляційних БД в багатовимірні куби. Така система, як і OLAP-сервер, вимагає адміністрування і не використовує величезних можливостей сучасних ПК.
У MicroStrategy оригінально вирішена операція деталізації, або поглиблення (drill-down). При кожному запиті користувача на деталізацію звіту генерується SQL-запит, результат якого відображається в новому вікні. Це не здається зручним інтерфейсним рішенням для користувача. Але за рахунок того, що одночасно обробляються тільки ті дані, що відображаються на екрані, система володіє унікальною можливістю аналізувати дані з реляційних баз необмеженого розміру, аж до терабайтов.
OLAP-клієнт з OLAP-машиною. OLAP-клієнт з вбудованою OLAP-машиною не зберігає агрегатні дані на диску, а в момент запиту завантажує їх в оперативну пам'ять і виконує обчислення на ПК користувача (див. Рис. 5). Джерелами даних можуть бути таблиці SQL-серверів, локальні таблиці, ERP-системи.
Мал. 5. OLAP-клієнт з OLAP-машиною і
центральним репозиторієм метаданих
Робота з метаданими реалізується по-різному. Наприклад, може існувати виділений центральний репозиторій метаданих. Він зберігає опису джерел даних, запитів і звітів і права користувачів.
Побудувати таку архітектуру дозволяє система BusinessObjects. Єдиний репозиторій метаданих дає всім користувачам можливість застосовувати один раз налаштовані звіти. Адміністратор отримує інструмент для розмежування прав користувачів на бізнес-об'єкти і звіти.
У клієнт-серверній архітектурі з OLAP-машиною на стороні клієнта реалізований і OLAP-клієнт "Контур Стандарт" компанії Intersoft Lab. Відмінність від архітектури, описаної вище, полягає в тому, що репозиторій метаданих оформлений у вигляді файлу. У термінології системи він називається "файл додатка" і містить опис семантичного шару, що приховує розташування в мережі і структуру бази даних, а також опис інтерактивних звітів. Цих файлів може бути один або багато (див. Рис. 6). Тому клієнт може працювати по черзі з декількома репозиторіями, які можуть перебувати як на його ПК, так і на файл-сервері. Поділ прав доступу на дані реалізується засобами СУБД, а на звіти - засобами операційної системи: для кожної робочої групи створюється свій файл додатка, доступ до якого обмежується членами цієї групи.
Мал. 6. OLAP-клієнт з OLAP-машиною і безліччю
репозиторіїв метаданих у вигляді файлів
Гідність цього методу полягає в отчуждаемості сховища, який можна просто скопіювати, надіслати поштою в філії. Крім того, репозиторій не вимагає обслуговування. Така архітектура забезпечує надзвичайну гнучкість при вирішенні прикладних задач. Цей OLAP-клієнт може працювати як DOLAP (Desktop OLAP), якщо дані знаходяться на локальному ПК, як файл-серверний додаток, якщо файли БД лежать на сервері в Інтернеті, або як потужний багатокористувацьке клієнт-серверний додаток, якщо дані надає SQL-сервер.
Незалежно від способу зберігання метаданих, в цьому випадку клієнт-серверна система виконує розподілені обчислення, при цьому завдяки розташуванню OLAP-машини на стороні клієнта в повній мірі використовується потужність ПК користувачів. Крім того, не потрібно адміністрування додаткової багатовимірної БД або ROLAP-сервера. При цьому максимальні обсяги даних і швидкість їх обробки залежать від потужності ЦП і обсягів оперативної пам'яті ПК. Як показало тестування системи "Контур Стандарт", на ПК з тактовою частотою 400 МГц і 194 Мб оперативної пам'яті OLAP-операції над завантаженим в оперативну пам'ять масивом з мільйона унікальних записів виконуються практично з нульовим часом відгуку. При прогнозуванні продуктивності системи слід враховувати важливу особливість роботи OLAP-клієнта в клієнт-серверній архітектурі з РСУБД. І Business Objects, і "Контур Стандарт" виконують аналіз запитів користувачів і генерують SQL-запит до СУБД, в якому описується відповідний алгоритм попередньої угруповання. Групує сервер, а клієнту повертається компактна вибірка для подальших OLAP-обчислень. Розмір цієї вибірки може бути в десятки і сотні разів менше обсягу первинних даних. Таким чином, можливості OLAP-клієнта також дуже сильно залежать від потужності сервера БД. При досить швидкому сервері і великому обсязі реальних даних, в яких, як правило, існують неунікальні записи, OLAP-клієнт зможе обробляти десятки або навіть сотні мільйонів первинних, чи не агрегованих записів.
Застосування OLAP-клієнтів
OLAP-клієнт може бути застосований для вирішення декількох бізнес-задач:
1. Створення аналітичної інфраструктури підприємства силами фахівців самого підприємства або внедренческой фірми.
2. Створення тиражируемого аналітичного додатки для популярної OLTP-системи силами стороннього виробника.
3. Створення тиражируемого Сховища даних або високорівневого інструменту для побудови сховищ даних.
4. Створення інтегрованого аналітичного модуля для OLTP-системи розробником цієї системи.
Перераховані бізнес-завдання можуть бути вирішені з використанням різних конфігурацій інформаційних систем, побудованих за допомогою OLAP-клієнта.
Сховище даних. Розробник унікального Сховища або універсального інструменту для побудови сховищ може сконцентруватися на проектуванні БД і засобів збору і очищення даних. Виконання запитів, аналіз і випуск звітів делегуються готовим спеціалізованим системам - OLAP-клієнтам (див. Рис. 7). Іншими словами, програмування інтерфейсів Сховища може бути зведено тільки до створення робочого місця адміністратора.
Мал. 7. OLAP-клієнт з Сховищем даних
Транзакційна система. Транзакційні системи, від великих західних ERP-систем до компактних російських "бухгалтерій", найкращим чином виконують свої основні функції - автоматизацію обліку та випуск регламентованих звітів, але не маркетинговий або фінансовий аналіз. Однак вони накопичують сукупність даних, які можна використовувати для цього аналізу.
За допомогою OLAP-клієнта ці дані можна отримувати в режимі реального часу безпосередньо з БД OLTP-системи (див. Рис. 8). Для цього структура БД повинна бути прозорою, а потужність сервера БД достатньою для одночасного виконання "довгих" аналітичних запитів і "коротких" транзакцій операціоністів.
Мал. 8. OLAP-клієнт, підключений до БД транзакционной системи
Налаштування OLAP-клієнта на дані OLTP-системи доповнює її оперативні та адміністративні інтерфейси аналітичними, що дає великі економічні переваги в порівнянні з доопрацюванням самих систем. Вбудовані інтерфейси OLTP-системи будуть продовжувати служити для виконання транзакцій і, як правило, призначатися для операціоністів, а інтерфейси OLAP-клієнта використовуватимуться фахівцями і керівниками.
Цей підхід однаково придатний як для унікальних систем підприємства, так і для популярних тиражованих систем. Так, BusinessObjects поставляє "Шаблони швидкого розгортання" (Rapid Deployment Templates, RDT). Вони являють собою налаштування семантичного шару, що переводять схеми даних популярних на Заході ERP-систем, таких, як SAP R3, PeopleSoft і інші, на мову бізнес-об'єктів. За допомогою RDT користувач або постачальник кінцевих аналітичних додатків може швидко налаштувати необхідні підприємству інтерактивні інтерфейси і звіти.
Налаштування "Контур Стандарт" на тиражованих бухгалтерську систему, збережені в окремому ресурсі - файлі "Додатки", можуть поширюватися разом з цією системою її автором або, як додаток до неї, незалежним розробником (див. Рис. 9).
Мал. 9. Додаток "Контур Стандарт" для тиражованої OLTP-системи
Вітрини даних. У разі, якщо БД оперативної системи закрита для прямого доступу або її структура не підходить для OLAP-аналізу, можна створювати спеціальні набори реляційних таблиць або багатовимірних кубів - Вітрини даних (Data Mart) і періодично вивантажувати в них дані для аналізу, наприклад, з бухгалтерської системи (див. рис. 10).
Мал. 10. Вітрина даних OLTP-системи, створена для аналізу
В цьому випадку аналітичний додаток для тиражованої OLTP-системи складається з трьох елементів: програми вивантаження даних (вона може бути розроблена на мові програмування, вбудованому в OLTP-систему), Вітрини даних і OLAP-клієнта, налаштованого на Вітрину даних.
Це рішення може поставлятися як самостійний додаток.
Вітрини даних також створюються для зменшення часу відгуку при роботі з дуже великим Сховищем даних. Для цього деякі тематичні дані регулярно вивантажуються з нього в багатовимірні або реляційні Вітрини даних для використання групою фахівців.
Інтеграція даних на робочому столі користувача. Важливе значення більшості OLAP-клієнтів - можливість інтеграції даних з різних джерел в одній програмі. Кінцевий користувач буде працювати з даними, фізично розташованими в різних інформаційних системах підприємства, з єдиного інтерфейсу і єдиним чином, що дуже зручно (див. Рис. 11).
Мал. 11. Інтеграція даних з різних систем на робочому столі користувача
Допускається настройка одного призначення для користувача інтерфейсу OLAP-клієнта відразу на кілька баз Даних різніх тіпів (SQL-сервери, Локальні табліці) и різніх систем (бухгалтерська система, Сховище Даних, Вітрина Даних). Для цього в Business-Objects реалізованій Спеціальний сервер BI-портал InfoView. MicroStrategy і "Контур Стандарт" можуть відображати список звітів незалежно від їх джерел даних, в одній структурі дерева папок.
"Архітектурна гнучкість" OLAP-клієнтів відкриває необмежені можливості для реалізації ідей професійних розробників, впроваджувальних компаній та ІТ-підрозділів підприємств. Акуратний аналіз складу і структури первинних даних, реальних запитів користувачів, наявного парку обчислювальної техніки і вибір на цій основі оптимального OLAP-клієнта і архітектури інформаційної системи може допомогти скоротити витрати і при цьому задовольнити потреби користувачів.
Для розробників буде корисно взяти до уваги тенденції в OLAP-технології. Середня людина практично не в змозі аналізувати звіти, що мають понад сім вимірювань і більше двох-трьох десятків елементів в одному вимірі. Таким чином, обсяги даних для "людського" аналізу є константою, а потужність комп'ютерів, в тому числі персональних, стає дедалі більше. Уже сьогодні OLAP-сервер зникає як окремий продукт і перетворюється в стандартний сервіс SQL-сервера. Подальше підвищення потужності ПК може призвести до того, що її стане достатньо для виконання OLAP-аналізу переважної більшості додатків баз даних.
Про автора: Володимир Некрасов - технічний директор компанії Intersoft Lab (www.iso.ru).
Версія для друку
Тільки зареєстровані Користувачі могут залішаті Коментарі.
