МЕТОДИКА РОЗРАХУНКУ ОПТИМАЛЬНОГО ЧИСЛА ВУЗЛІВ КЛАСТЕРА віртуалізації ПРИВАТНОГО ХМАРИ ВІРТУАЛЬНИХ РОБОЧИХ СТОЛІВ За критерієм ефективності

УДК: 004.75

Аверьяніхін А.Е., Котельницький А.В., Муравйов К.А.

Московський державний технічний університет ім.Н.Е.Баумана

МЕТОДИКА РОЗРАХУНКУ ОПТИМАЛЬНОГО ЧИСЛА ВУЗЛІВ КЛАСТЕРА віртуалізації ПРИВАТНОГО ХМАРИ ВІРТУАЛЬНИХ РОБОЧИХ СТОЛІВ За критерієм ефективності

анотація

У даній статті розглянуті проблеми побудови хмарних центрів обробки даних на основі інфраструктури віртуальних робочих столів (VDI). Основна увага приділена питанням оцінки оптимального числа необхідних вузлів кластера віртуалізації за критерієм ефективності. Впровадження хмарних технологій забезпечує рівномірне використання ресурсів, спрощує адміністрування парку технічних засобів і дозволяє масштабувати віртуальні машини під поточні завдання. Однак, динамічна зміна кількості споживаних ресурсів в хмарі ускладнює оцінку необхідного обладнання. Об'єктом дослідження є алгоритми розміщення віртуальних машин на обчислювальних серверах і розробка математичного апарату оцінки необхідного числа вузлів кластера віртуалізації. У статті описуються формули розрахунку нижньої і верхньої оцінки необхідної кількості ресурсів в кластері в залежності від використання алгоритму розміщення віртуальних машин на обчислювальних серверах. Отримані формули дозволяють розрахувати необхідну кількість вузлів кластера при динамічній зміні рівня споживаних ресурсів віртуальними машинами.

Ключові слова: приватна хмара, VDI, віртуалізація.

Averyanikhin AE, Kotelnitsky AV, Muraviev KA

Bauman MSTU

METHOD OF CALCULATION OF OPTIMUM NUMBER OF KNOTS OF THE CLUSTER OF VIRTUALIZATION OF THE PRIVATE CLOUD OF VIRTUAL DESKTOPS BY CRITERION OF EFFICIENCY

Abstract

In this article, problems of cloud data center creation based on virtual desktop infrastructure (VDI) are considered. The main attention is paid assessment of optimum number of necessary virtualization cluster nodes . Cloud technologies integration provides unified resource usage, simplifies IT infrastructure administration and allows scaling virtual computers under the current needs . However, dynamic change of consumed resources quantity in a cloud complicates an assessment of the necessary equipment . Algorithms of virtual machines placement on computing servers and development of mathematical apparatus of an assessment of demanded number of virtualization cluster nodes is an object of a research . Formulas of the bottom and top assessment of demanded quantity of resources in a cluster depending on use of virtual machine placement algorithm on computing servers are described . The received formulas allow researchers to calculate necessary number of cluster nodes at a dynamic change of consumed level of resources by virtual machines .

Keywords: private cloud, VDI, virtualization.

Вступ

Хмарні технології - результат розвитку архітектур інформаційних систем (ІС). Під терміном "хмарні технології" (ОТ) будемо розуміти модель, яка забезпечує багатокористувацький доступ до обчислювальних ресурсів (ВР) за допомогою розподіленої гетерогенної мережевої інфраструктури. Управління завантаженням ВР здійснюється оперативно за запитом користувача при мінімальних експлуатаційних витратах. Принциповою особливістю ВІД є акцент на переважній самообслуговуванні його користувачів. Як показує аналіз розвитку on-line сервісів, обсяг застосування ВІД неухильно зростає [1].

Доступ до необхідних користувачеві ВР забезпечує хмарний провайдер. Якщо він є сторонньою організацією і ресурси надаються за допомогою інтернет - хмара буде називатися публічним (public cloud). При такому підході повне технічне обслуговування затребуваних ресурсів здійснюється сторонньою організацією. При цьому кількість ресурсів в хмарі є умовно нескінченним - споживач отримує рівно стільки ресурсів, скільки запитує.

Якщо хмарним провайдером є ІТ відділ організації, а ресурси надаються всередині ІС, то хмара є приватним (private cloud). Приватне хмара, це хмара організації, яке для користувачів виглядає як публічне. Воно має всі переваги приватного хмари, але функціонує на базі локального ЦОД. Такий підхід набув найбільшого поширення в даний час. Він дозволяє зберегти користувачам повний контроль над своїми даними, які не завжди можливо розмістити в публічному хмарі за вимогами безпеки і конфіденційності [2].

При створенні приватного хмари ІТ інфраструктура організації централізує і віртуалізується. Тобто все ВР збираються в один обчислювальний кластер, потім діляться на логічні розділи (віртуальні машини (ВМ)) і видаються користувачам. Таким чином загальні апаратні ресурси організації можуть бути використані для різних завдань. Як показує статистика, ВМ демонструють продуктивність на рівні аналогічних апаратних платформ [3]. Впровадження приватного хмари зменшує складність ІТ інфраструктури, підвищує її керованість, а також дозволяє оптимізувати використання наявних ресурсів. Економія в хмарної моделі досягається за рахунок ефективного використання розділяється пулу ВР. Оптимізація можлива і за рахунок централізованого адміністрування - якість управління підвищується, число системних адміністраторів зменшується [4].

Існують також громадські хмари (community cloud) для використання спільнотами користувачів або організацій, а також гібридні хмари (hybrid cloud). Гібридним хмарою називається комбінація приватного і публічного хмари - організація використовує своє приватне хмара, але при нестачі власних ресурсів додаткові потужності замовляються в публічних хмарах.

Існують три основні сервісні моделі хмари: SaaS (Software as a Service - «програмне забезпечення як сервіс»), IaaS (Infrastructure as a Service - «інфраструктура як сервіс») і PaaS (Platform as a Service - «платформа як сервіс») [ 5].

Програмне забезпечення як послуга - Cloud Software as a Service (SaaS). В цьому випадку користувачеві надається програмне забезпечення (ПО) - додатки провайдера, що виконуються на "хмарі". ПО використовується різними клієнтами в гетерогенному середовищі. Споживач не керує і не контролює саму хмарну інфраструктуру, на якій виконується додаток, будь то мережі, сервери, операційні системи, системи зберігання або навіть деякі специфічні для додатків можливості. У ряді випадків, споживачеві може бути надано можливість доступу до деяких призначеним для користувача конфігураційним налаштувань.

Платформа як послуга - Cloud Platform as a Service (PaaS). Використовується розробниками і інтеграторами ПО. Споживачеві надаються кошти для розгортання на хмарної інфраструктурі створюваних або придбаних додатків, що розробляються з використанням підтримуваних провайдером інструментів і мов програмування.

Інфраструктура як послуга - Cloud Infrastructure as a Service (IaaS). Споживачеві надаються кошти обробки даних, зберігання, мереж та інших базових ВР, на яких споживач може розгортати і виконувати довільний ПО, включаючи операційні системи і додатки. Споживач не керує і не контролює саму хмарну інфраструктуру, але може контролювати операційні системи, засоби зберігання, що розгортаються додатки і, можливо, мати обмеженим контролем над вибраними мережевими компонентними (наприклад, мережевий екран хоста, керованого споживачем).

Кожна з перерахованих сервісних моделей може мати свої підвиди, залежно від типу послуг, що надаються. Одну з актуальних завдань підприємств вирішує сервісна модель DaaS (Desktop as a Service) - робочий стіл як сервіс.

DaaS є одним з видів приватного хмари сервісної моделі IaaS. Якщо в класичному IaaS зазвичай надаються ресурси для розміщення серверних додатків, то DaaS надає ресурси для використання графічного інтерфейсу користувача операційних систем, розміщених на сервері. DaaS базується на відповідній ІТ інфраструктури - інфраструктурі віртуальних робочих місць або VDI (Virtual Desktop Infrastructure).

Традиційно кожне робоче місце являє собою персональний комп'ютер і набір периферійних пристроїв. Такий підхід має ряд недоліків [6-8]:

• старіння парку персональних комп'ютерів і необхідність його заміни кожні 4-5 років;
• високі витрати обслуговування, кожен персональний комп'ютер необхідно налаштувати;
• простоювання ресурсів при відсутності співробітника на робочому місці;
• відсутність доступу до даних поза робочим місцем.

На зміну традиційним принципом організації робочого простору приходить концепція DaaS [9].

Віртуалізація робочого місця - це поділ персонального комп'ютера на дві частини: серверну і клієнтську. Основна функціональна частина переноситься на сторону сервера. На клієнтської частини залишається тільки периферія. Тобто, в найбільш поширеному варіанті, перед кінцевим користувачем залишається монітор, мишка, клавіатура і невеликий пристрій для підключення перерахованого вище до мережі. При цьому користувач може підключитися до свого комп'ютера не тільки зі свого робочого місця, а й з будь-якого пристрою підключеного до мережі інтернет.

Такий підхід має ряд переваг перед класичним використанням персональних комп'ютерів [10 - 12]:

• спрощення адміністрування: кожне робоче місце є копією одноразово налаштованого віртуального комп'ютера;
• підвищення мобільності працівників: архітектура віртуальних робочих місць дозволяє налаштувати віддалене підключення до будь-якого віртуального комп'ютера в корпоративній мережі;
• спрощення оновлення обладнання: при заміні серверного обладнання є можливість зберегти всі персональні віртуальні комп'ютери всіх співробітників в незмінному вигляді;
• економія ресурсів: за кожним віртуальним комп'ютером не закріплені певні фізичні ресурси, що дозволяє використовувати менше обчислювальних ресурсів, ніж це необхідно для початкової кількості персональних комп'ютерів.

Для створення DaaS хмари необхідно створити відповідну VDI інфраструктуру. Так як, обчислювальні ресурси в хмарі виділяються користувачами самостійно, передбачати споживану навантаження важко. Крім того, кожна ВМ може споживати різну кількість ресурсів, в залежності від її навантаження. Для визначення споживаних ВМ ресурсів застосовують алгоритми передбачення навантаження [13].

Також в даному випадку відіграє важливу роль організація системи зберігання даних (СЗД) і алгоритм розміщення віртуальних машин на обчислювальних серверах - чим щільніше будуть розташовуватися ВМ, тим менше потрібно серверів. Щільне розташування ВМ на серверах дозволить також вимикати ВС при низькому завантаженні, що забезпечить режим енергоефективності [14]. Основною проблемою є автоматичне виділення оптимальної кількості апаратних ресурсів в комплексі віртуалізації для забезпечення ефективної та безперебійної роботи хмари.

1 Інфраструктура хмари віртуальних робочих місць

Першочерговим завданням при проектуванні хмари віртуальних робочих місць (ВРМ) є оцінка потреби в обчислювальних ресурсах. Для виконання заявленої завдання, на першому етапі, визначимо структуру проектованого комплексу.

У складі хмари можна виділити програмну і апаратну складові. Апаратними компонентами є: системи зберігання даних, обчислювальні сервера, мережева інфраструктура і клієнтські пристрої. Програмні компоненти: ПО управління СГД, монітор віртуальних машин, ПО управління монітором віртуальних машин, клієнтське ПЗ віддаленого доступу. Структура типового апаратно-програмного комплексу віртуалізації зображена на малюнку 1.

Мал. 1 - Структура типового апаратно-програмного комплексу віртуалізації робочих місць

Для запуску додатків користувачі з клієнтських пристроїв віддалено підключаються до віртуальних машин, запущеним на обчислювальних серверах. При цьому файли віртуальних машин (віртуальні жорсткі диски) зберігаються в системі зберігання даних. Обмін даними між компонентами системи забезпечується за допомогою мережевої інфраструктури, що складається з комутаційного обладнання (комутатори або маршрутизатори) і середовища передачі (кабелів).

На клієнтських місцях повинно бути встановлено спеціальне програмне забезпечення для віддаленого доступу до віртуальних машин. Роботу віртуальних машин забезпечує монітор ВМ, встановлений на ВС. Окремі компоненти монітора ВМ можуть також забезпечувати балансування навантаження між ВС. Дані ВМ зберігаються на системі зберігання даних. Звернення до цих даних від монітора ВМ обробляються контролерами СГД.

Для забезпечення відмовостійкості застосовують кілька ВС, які замінюють один одного в разі відмови. При цьому, ВМ запущені на одному сервері, мігрують на інший без зупинки (робота ВМ в цьому випадку припиняється на кілька секунд). СГД так само повинна містити кілька контролерів, для безперебійної обробки запитів від ВС. Дані в СГД зберігаються в RAID масивах, що дозволяє зберегти дані, навіть якщо деякі диски вийшли з ладу. На малюнку 2 видно, що структура комплексу забезпечує відмовостійкість всіх елементів системи:

Мал. 2 - Забезпечення відмовостійкості комплексу віртуалізації

Особливістю приватних хмар орієнтованих на роботу з віртуальними робочими столами, є великий обсяг графічної інформації, що передається від ВС до клієнтського пристрою. Таким чином, при проектуванні приватного хмари з наданням робочого столу, необхідно приділити окрему увагу пропускної здатності мережевої інфраструктури.

2 Математична модель приватного хмари віртуальних робочих місць

Для оцінки необхідних ресурсів для побудови приватного хмари середовища конструкторсько-технологічного проектування [8, 10, 11] побудуємо її математичну модель. За основу, візьмемо математичну модель представлену в роботі [15], доповнивши її розрахунком оптимальної кількості вузлів кластера за критерієм ефективності. При цьому будемо враховувати непередбачуваність розгортання і знищення віртуальних машин в приватному хмарі. Приклад такої поведінки системи показаний на малюнку 3. Протягом деякого періоду часу розгортаються віртуальні машини 2, 5 і 11. ВМ 1 і 5 зупиняються, а 6, 7 і 8 продовжують роботу. При цьому всі ці дії відбуваються в різний час.

Мал. 3 - Поведінка віртуальних машин в хмарі

Будемо вважати, що апаратно-програмний комплекс складається з M обчислювальних серверів. Кожен сервер може бути описаний за допомогою R параметрів (процесор, оперативна пам'ять і так далі). Кожен j сервер має відомої ємністю Cjk, для кожного ресурсу k, де і . Позначимо k = 1 за параметр процесора.

Кожна ВМ i вимагає деяку мінімальну кількість ресурсів rik по кожному параметру k. Назвемо це резервом ресурсів. У разі якщо на обчислювальному сервері відсутня мінімальна кількість ресурсів, віртуальна машина не буде розгорнута.

Якщо резерв, це статично визначений параметр, то запит це динамічно змінюється параметр визначає реальну потребу в ресурсах.

У кожен момент часу активні ВМ можна умовно розділити на вже розміщені ВМ, і ті які необхідно розмістити. Запишемо це у вигляді формули:

де placed (t) це вже розміщені ВМ, removed (t) - вимкнені ВМ, added (t) - ВМ, готові до розміщення.

Розміщення ВМ хмарі може бути описано двома змінними: споживання процесорного ресурсу і розміщення на обчислювальному сервері.

Перша змінна описує скільки віртуальних процесорів було призначено віртуальній машині. Друга змінна показує зв'язок між обчислювальним сервером і ВМ. Тобто бінарна змінна xij (t) = 1 якщо в момент часу t віртуальна машина i знаходиться на обчислювальному сервері j.

Приймемо, що комплекс віртуалізації досить великий для розміщення всіх запитів. В цьому випадку виконується рівність:

Для кожного типу ресурсів повинно бути гарантована можливість їх розміщення. Сума всіх зарезервованих ресурсів не повинна перевищувати ємність сервера з даного ресурсу.

Вираз для процесорного ресурсу буде виглядати:

Перейдемо від оцінки ресурсів сервера до оцінки ресурсів всього хмари. При побудові приватного хмари ми можемо прогнозувати майбутнє завантаження ВС, так як кількість користувачів хмари звичайно і відомо нам. Перспективним є використання нейромережевих технологій для реалізації динамічного передбачення завантаження ПС [16-20]. При побудові публічного хмари така можливість відсутня, так як кількість користувачів заздалегідь не відомо. У цьому випадку можливо використовувати статичні методи прогнозної оцінки, які реалізуються на основі наповнених даних по експлуатації комплексу.

Визначимо необхідну кількість ЗС приватного хмари. При цьому, приймемо, що кількість ВМ і їх споживання процесорного ресурсу відомо.

Нехай нам необхідно розмістити N віртуальних машин на M обчислювальних серверах. Сумарна кількість ресурсів всіх ВМ не повинна перевищувати сумарної кількості ресурсів обчислювальних серверів:

Дана умова є необхідною, проте воно не гарантує розміщення всіх ВМ на серверах. Приміром, може статися так, що навіть при виконанні цієї умови деяким ВМ не вистачить ресурсів: ці ресурси будуть в доступні в невеликій кількості на всіх серверах, але не знайдеться жодного сервера з достатньою кількістю цього ресурсу для розміщення ВМ. Кількість необхідних обчислювальних серверів буде залежати від оптимальності розміщення ВМ в хмарі.

Завдання оптимального розміщення ресурсів по суті є завданням про упаковку застосовної до технології віртуалізації [21]. Дане завдання відома також як «завдання про упаковку в контейнери» або «завдання про рюкзаку». Доведено, що дана задача є NP-важкою [22], тому для її вирішення застосовують алгоритми які дають приблизний результат [22, 23]. Для невеликих обсягів даних можна скористатися не поліноміальними алгоритмами [23]. Найочевиднішим таким алгоритмом є перебір, що має експонентну складність. Якщо при розміщенні ресурсів потрібно врахувати один параметр, використовуються одномірні алгоритми, якщо таких параметрів багато, використовуються багатовимірні алгоритми.

З огляду на, що при розміщенні нової ВМ дозволені міграції вже розміщених ВМ, можна скористатися алгоритмами офлайн розміщення. Такі алгоритми дають найбільш близький до оптимального результат. Наприклад, доведено, що алгоритм FFD дає результат не більше ніж [22], де OPT - мінімально можливу кількість серверів. Однак, при застосуванні офлайн алгоритмів, додавання кожного нового сервера може привести до великої кількості міграцій вже існуючих ВМ. Таким чином, застосування даних алгоритмів можливо тільки в системах, де включення і виключення ВМ відбувається не так часто, і допустима припинення роботи ВМ на кілька секунд (відбувається під час перемикання ВМ з сервера на сервер). Міграція ВМ також створює додаткове навантаження на локальну мережу, оскільки при міграції відбувається переміщення даних оперативної пам'яті з сервера на сервер.

Застосування офлайн алгоритмів допустимо в комплексах віртуалізації робочих місць в умовах обмежених ресурсів. В цьому випадку, ВМ не вимикаються після закінчення роботи користувача, що забезпечує низьку кількість нових розміщень і, відповідно, міграцій. У тому випадку, якщо міграція здійснюється під час роботи користувача з ВМ, відбувається завмирання миші на кілька секунд, що також не є критичним.

Для знаходження нижньої межі оцінки мінімальної кількості обчислювальних серверів, скористаємося оцінкою Мартелло-Тосса (Martello & Toth) [23]. При цьому, додамо параметр часу, для динамічної оцінки ємності комплексу віртуалізації. Приймемо, що все обчислювальні сервера в нашому хмарі однакові, тобто:

Врахуємо також, що споживання ресурсів віртуальних машин може змінюватися в часі. У момент часу t для довільного розіб'ємо безліч планованих для розгортання віртуальних машин active (t) на підмножини a 1 (t), a 2 (t), a 3 (t), так що:

Таким чином, підмножина a 1 (t) буде складатися з великих ВМ, a 2 (t) з середніх, а a 3 (t) з маленьких.

Нижньої оцінкою оптимальної кількості серверів буде:

Провести нижня оцінка оптимальної кількості серверів необхідно також з урахуванням обраного параметра α:

(9)

Отримані результати округлюються до цілого в більшу сторону. Підсумкової нижньої оцінкою оптимальної кількості серверів буде:

У разі консервативної оцінки необхідної кількості серверів, припустимо, що пікові значення споживання ресурсів всіх ВМ настає одночасно. Будемо вважати також що в цей момент кількість розгорнутих ВМ максимально. При такому підході ми перестраховуємося від можливої ​​нестачі ресурсів на серверах. Запишемо формули для даного підходу.

нехай . Тобто в безлічі кількість ВМ максимально. В такому випадку:

Нижня оцінка оптимальної кількості серверів:

Більш реалістичну оцінку можна отримати за формулами 8-10 в момент часу t` за умови:

Тобто, загальна завантаження серверів в момент часу t`максімальна. Такий підхід до оцінки необхідної кількості обчислювальних серверів є агресивним і дозволяє знайти мінімум необхідних ресурсів.

Очевидно, що верхню оцінку оптимальної кількості серверів можна отримати, помноживши отриманий за формулою 10 результат на коефіцієнт R, що залежить від використовуваного алгоритму розміщення ВМ на серверах. Коефіцієнт R є гарантованою відносною точністю алгоритму і обчислюється за формулою:

де L - число, що вийшло серверів даними алгоритмом, OPT - оптимальна кількість серверів. Максимальне значення коефіцієнта R розраховане для більшості відомих алгоритмів [23] і є табличним значенням. У таблиці 1 наведені значення коефіцієнта R для найпоширеніших алгоритмів: «наступний відповідний» (NF), «перший відповідний» (FF), «найкращий відповідний» (BF), «перший відповідний з упорядкуванням» (FFD), «наступний відповідний з упорядкуванням »(NFD),« найкращий відповідний з упорядкуванням »(BFD).

Таблиця 1 - Значення коефіцієнта R для різних алгоритмів оптимального розміщення

Онлайн алгоритми Офлайн алгоритми Алгоритм NF FF BF NFD FFD BFD Значення R 2.000 1.700 1.700 1.691 1.222 1.222

При проведенні подібної оцінки необхідно враховувати динамічну зміну споживаних ресурсів в хмарі - користувачі самостійно запускають і зупиняють ВМ в загальному пулі ресурсів. У зв'язку з цим для визначення необхідної кількості ресурсів потрібно визначити яким чином буде зміняться кількість запущених ВМ в хмарі, а також як буде змінюватися їх потреба в ресурсах.

Висновок

Впровадження хмарних технологій в ІТ інфраструктуру підприємств дозволяє значно скоротити витрати на її супровід за рахунок оптимізації використання апаратних ресурсів і спрощення адміністрування. Хмара віртуальних робочих місць (DaaS) в даному випадку не є винятком - його впровадження призведе до віртуалізації робочих місць і централізації ІТ інфраструктури. При переході організації від класичних персональних комп'ютерів до віртуальних робочих місць необхідно побудувати інфраструктуру віртуальних робочих місць (VDI).

При проектуванні VDI хмари необхідно вирішити задачу оцінки необхідного числа вузлів кластера віртуалізації на якому будуть розташовуватися віртуальні машини користувачів. Іншим фактором, від якого залежить необхідну кількість вузлів є алгоритм розміщення віртуальних машин на ВС. Вибір оптимального алгоритму визначає найбільш щільне розміщення ВМ, що призведе до зменшення необхідного числа вузлів.

Для того щоб врахувати перераховані вище умови в роботі запропонована модель оцінки необхідної кількості вузлів кластера віртуалізації, заснована на рішенні задачі про оптимальну упаковці. Використання такого апарату стає життєво важливим при проектуванні хмарних платформ з великим обсягом споживання. Даний алгоритм визначення необхідної кількості вузлів універсальний і може застосовуватися при вирішенні задач проектування хмарних платформ самого різного призначення [6-8, 10-12].

література

1. XaaS Check 2010 Status Quo und Trends im Cloud Computing. XaaS Check [Електронний ресурс]. Режим доступу: http://www.xaas-check.eu/download.php?cat=00_Willkommen&file=2010-XaaS-Check-Report.pdf, вільний. Яз. ньому. (Дата звернення 04.12.2013).
2. Беккер М.Я., Гатчина Ю.А., Кармановской Н.С., Терентьєв А.О., Федоров Д.Ю. Інформаційна безпека при хмарні обчислення: проблеми і перспективи - Науково-технічний вісник Санкт-Петербурзького університету інформаційних технологій, механіки і оптики. 2011 №1 (71) с.98.
3. Jamal M., Qadeer A., ​​Waqar M., Waheed A., Ding J., Virtual Machine Scalability on Multi-Core Processors Based Servers for Cloud Computing Workloads - University of Engineering and Technology 2008, Lahore, Pakistan.
4. Prodan R., Ostermann S. A Survey and Taxonomy of Infrastructure as a Service and Web Hosting Cloud Providers - Institute of Computer Science 2009 Innsbruck.
5. Cloud-based Desktop Services for Thin Clients [Електронний ресурс]. Режим доступу: https://biblio.ugent.be/input/download?func=downloadFile&recordOId=3234753&fileOId=3234767, вільний. Яз. англ. (Дата звернення 08.05.2014).
6. Власов А.І., Журавльова Л.В., Шаріпов Н.Р., Шаріпова А.Ф. АРХІТЕКТУРА АДАПТИВНИХ МУЛЬТИСЕРВІСНИХ ІНФОРМАЦІЙНО-ОСВІТНІХ СИСТЕМ // Науковий огляд. 2012. № 6. С. 152-154.
7. Власов А.І., Овчинников Е.М. БАНКІВСЬКІ І КОРПОРАТИВНІ АВТОМАТИЗОВАНІ ІНФОРМАЦІЙНІ СИСТЕМИ. ПРИНЦИПИ, КОШТИ ТА СИСТЕМИ ДОКУМЕНТООБІГУ комерційного банку - Москва. УЦ "Газпром". 1999. 107 с.
8. Верейнов К.Д., Власов А.І., Дудко В.Г., Тимошкин А.Г. КОНЦЕПЦІЯ КОМПЛЕКСНОЇ АВТОМАТИЗАЦІЇ СИСТЕМ УПРАВЛІННЯ ВИРОБНИЦТВОМ І розробки на базі СУЧАСНОГО АПАРАТНОГО І ПРОГРАМНОГО ЗАБЕЗПЕЧЕННЯ // Питання радіоелектроніки. Серія: Автоматизовані системи управління виробництвом і розробками. 1994. № 2. С. 50-66.
9. Calcavecchia N., Biran O., Hadad E., Moatti Y. VM Placement Strategies for Cloud Scenarios - IBM Haifa Research Lab, 2011, Haifa, Israel.
10. Власов А.І., Михненко А.Є. ІНФОРМАЦІЙНО-УПРАВЛЯЮЩИЕ СИСТЕМИ ДЛЯ ВИРОБНИКІВ ЕЛЕКТРОНІКИ // Виробництво електроніки. 2006. № 3. С. 15-21.
11. Власов А.І., Михненко А.Є. Принципи побудови І РОЗГОРТАННЯ ІНФОРМАЦІЙНОЇ СИСТЕМИ ПІДПРИЄМСТВА ЕЛЕКТРОННОЇ ГАЛУЗІ // Виробництво електроніки. 2006. № 4. С. 5-12.
12. Яковлєв В.Л., Яковлєва Г.Л., Власов А.І. МЕТОДОЛОГІЯ ПОБУДОВИ ІНТЕГРОВАНИХ ФІНАНСОВО-ЕКОНОМІЧНИХ ЕКСПЕРТНО-АНАЛІТИЧНИХ СИСТЕМ // У збірнику: Молоді вчені - науці, технологіям і профосвіти для сталого розвитку: проблеми і нові рішення Збірник тез доповідей міжнародної конференції СНД. 1999. С. 81-85.
13. Prasad Saripalli, GVR Kiran, Ravi Shankar R, Harish Narware, Nitin Bindal Load Prediction and Hot Spot Detection Models for Autonomic Cloud Computing - Fourth IEEE International Conference on Utility and Cloud Computing 2011 року.
14. Pedram M., Hwang I., Power and Performance Modeling in a Virtualized Server System - University of Southern California 2009 Los Angeles.
15. Bichler M., Speitkamp B. A Mathematical Programming Approach for Server Consolidation Problems in Virtualized Data Centers - IEEE TRANSACTIONS ON SERVICES COMPUTING. 2010 VOL.3 p.4.
16. Шахно В.А., Власов А.І., Поляков Ю.А., Кузнецов А.С. Нейрокомп'ютер: АРХІТЕКТУРА І СХЕМОТЕХНИКА - М .: Изд-во Машинобудування. 2000. Додаток до журналу "Інформаційні технології". 64 с.
17. Власов А.І. АПАРАТНА РЕАЛІЗАЦІЯ НЕЙРОВИЧІСЛІТЕЛЬНИХ УПРАВЛЯЮЧИХ СИСТЕМ // Прилади і системи. Управління, контроль, діагностика. 1999. № 2. С. 61-65.
18. Власов А.І., Колосков С.В., Пакілев А.Є. Нейромережеві Методи та засоби ВИЯВЛЕННЯ АТАК на мережевому рівні // У збірнику: Нейроінформатика-2000 2-я Всеросійська науково-технічна конференція: збірник наукових праць в 2 частинах. Сер. "Наукова сесія МІФІ-2000". 2000. С. 30-40.
19. Власов А.І., Циганов І.Г. АРХІТЕКТУРА КОРПОРАТИВНОЇ багатоагентного автоматизованої системи ФІЛЬТРАЦІЇ ІНФОРМАЦІЙНИХ ПОТОКІВ // Інформаційні технології. 2005. № 1. С. 34-41.
20. Власов А.І., Іванов В.В., Косолапов І.А. МЕТОДИ випереджувальним ПРОГНОЗУВАННЯ СТАНУ ШИРОКОСМУГОВОЇ МЕРЕЖІ ЗВ'ЯЗКУ // Програмні продукти і системи. 2011. № 1. С. 1.
21. Hochbaum D. Approximation Algorithms for NP-Hard Problems - PWS Publishing 1996 року, Boston, p. 46-93
22. Гімаді Е.Х., Залюбовський В.В. Питання про упаковки в контейери: асимптотично точний підхід // Известия вищих навчальних закладів. Тисячі дев'ятсот дев'яносто сім №12 (427), с.1.
23. Martello S., Toth P. Knapsack problems. Algorithms and Computer Implementations - John Wiley & Sons. 1990 Chichester p.32-36.

References

1. XaaS Check 2010 Status Quo und Trends im Cloud Computing. XaaS Check [Jelektronnyj resurs]. Rezhim dostupa: http://www.xaas-check.eu/download.php?cat=00_Willkommen&file=2010-XaaS-Check-Report.pdf, svobodnyj. Jaz. nem. (Data obrashhenija 04.12.2013).
2. Bekker M.Ja., Gatchin Ju.A., Karmanovskij NS, Terent'ev AO, Fedorov D.Ju. Informacionnaja bezopasnost 'pri oblachnyh vychislenijah: problemy i perspektivy - Nauchno-tehnicheskij vestnik Sankt-Peterburgskogo universiteta informacionnyh tehnologij, mehaniki i optiki. 2011 №1 (71) s.98.
3. Jamal M., Qadeer A., ​​Waqar M., Waheed A., Ding J., Virtual Machine Scalability on Multi-Core Processors Based Servers for Cloud Computing Workloads - University of Engineering and Technology 2008, Lahore, Pakistan.
4. Prodan R., Ostermann S. A Survey and Taxonomy of Infrastructure as a Service and Web Hosting Cloud Providers - Institute of Computer Science 2009 Innsbruck.
5. Cloud-based Desktop Services for Thin Clients [Jelektronnyj resurs]. Rezhim dostupa: https://biblio.ugent.be/input/download?func=downloadFile&recordOId=3234753&fileOId=3234767, svobodnyj. Jaz. angl. (Data obrashhenija 08.05.2014).
6. Vlasov AI, Zhuravleva LV, Sharipov NR, Sharipova AF ARHITEKTURA ADAPTIVNYH MUL "TISERVISNYH INFORMACIONNO-OBRAZOVATEL" NYH SISTEM // Nauchnoe obozrenie. 2012. № 6. S. 152-154.
7. Vlasov AI, Ovchinnikov EM BANKOVSKIE I KORPORATIVNYE AVTOMATIZIROVANNYE INFORMACIONNYE SISTEMY. PRINCIPY, SREDSTVA I SISTEMY DOKUMENTOOBOROTA KOMMERChESKOGO BANKA - Moskva. UC "Gazprom". 1999. 107 s.
8. Verejnov KD, Vlasov AI, Dudko VG, Timoshkin AG KONCEPCIJa KOMPLEKSNOJ AVTOMATIZACII SISTEM UPRAVLENIJa PROIZVODSTVOM I RAZRABOTKAMI NA BAZE SOVREMENNOGO APPARATNOGO I PROGRAMMNOGO OBESPEChENIJa // Voprosy radiojelektroniki. Serija: Avtomatizirovannye sistemy upravlenija proizvodstvom i razrabotkami. 1994. № 2. S. 50-66.
9. Calcavecchia N., Biran O., Hadad E., Moatti Y. VM Placement Strategies for Cloud Scenarios - IBM Haifa Research Lab, 2011, Haifa, Israel.
10. Vlasov AI, Mihnenko AE INFORMACIONNO-UPRAVLJaJuShhIE SISTEMY DLJa PROIZVODITELEJ JeLEKTRONIKI // Proizvodstvo jelektroniki. 2006. № 3. S. 15-21.
11. Vlasov AI, Mihnenko AE PRINCIPY POSTROENIJa I RAZVERTYVANIJa INFORMACIONNOJ SISTEMY PREDPRIJaTIJa JeLEKTRONNOJ OTRASLI // Proizvodstvo jelektroniki. 2006. № 4. S. 5-12.
12. Jakovlev VL, Jakovleva GL, Vlasov AI METODOLOGIJa POSTROENIJa INTEGRIROVANNYH FINANSOVO-JeKONOMIChESKIH JeKSPERTNO-ANALITIChESKIH SISTEM // V sbornike: Molodye uchenye - nauke, tehnologijam i profobrazovaniju dlja ustojchivogo razvitija: problemy i novye reshenija Sbornik tezisov dokladov mezhdunarodnoj konferencii SNG. 1999. S. 81-85.
13. Prasad Saripalli, GVR Kiran, Ravi Shankar R, Harish Narware, Nitin Bindal Load Prediction and Hot Spot Detection Models for Autonomic Cloud Computing - Fourth IEEE International Conference on Utility and Cloud Computing 2011 року.
14. Pedram M., Hwang I., Power and Performance Modeling in a Virtualized Server System - University of Southern California 2009 Los Angeles.
15. Bichler M., Speitkamp B. A Mathematical Programming Approach for Server Consolidation Problems in Virtualized Data Centers - IEEE TRANSACTIONS ON SERVICES COMPUTING. 2010 VOL.3 p.4.
16. Shahnov VA, Vlasov AI, Poljakov Ju.A., Kuznecov AS NEJROKOMP "JuTERY: ARHITEKTURA I SHEMOTEHNIKA - M .: Izd-vo Mashinostroenie. 2000. Prilozhenie k zhurnalu "Informacionnye tehnologii". 64 s.
17. Vlasov AI APPARATNAJa REALIZACIJa NEJROVYChISLITEL "NYH UPRAVLJaJuShhIH SISTEM // Pribory i sistemy. Upravlenie, kontrol ', diagnostika. 1999. № 2. S. 61-65.
18. Vlasov AI, Koloskov SV, Pakilev AE NEJROSETEVYE METODY I SREDSTVA OBNARUZhENIJa ATAK NA SETEVOM UROVNE // V sbornike: Nejroinformatika-2000 2-ja Vserossijskaja nauchno-tehnicheskaja konferencija: sbornik nauchnyh trudov v 2 chastjah. Ser. "Nauchnaja sessija MIFI-2000". 2000. S. 30-40.
19. Vlasov AI, Cyganov IG ARHITEKTURA KORPORATIVNOJ MNOGOAGENTNOJ AVTOMATIZIROVANNOJ SISTEMY FIL "TRACII INFORMACIONNYH POTOKOV // Informacionnye tehnologii. 2005. № 1. S. 34-41.
20. Vlasov AI, Ivanov VV, Kosolapov IA METODY UPREZhDAJuShhEGO PROGNOZIROVANIJa SOSTOJaNIJa ShIROKOPOLOSNOJ SETI SVJaZI // Programmnye produkty i sistemy. 2011. № 1. S. 1.
21. Hochbaum D. Approximation Algorithms for NP-Hard Problems - PWS Publishing 1996 року, Boston, p. 46-93
22. Gimadi Je.H., Zaljubovskij VV Zadacha ob upakovki v kontejery: asimptoticheski tochnyj podhod // Izvestija vysshih uchebnyh zavedenij. Тисячі дев'ятсот дев'яносто сім №12 (427), s.1.
23. Martello S., Toth P. Knapsack problems. Algorithms and Computer Implementations - John Wiley & Sons. 1990 Chichester p.32-36.