Олександр Воробйов
17.09.2003
LAN, # 09/2003
Електропостачання комп'ютерних і телекомунікаційних систем, скорочено інфокомунікацій, має багато в чому ті ж особливості, що і електропостачання технічних засобів взагалі.
Електропостачання характеризується надійністю і якістю. До поняття якості в першу чергу відноситься якість електроенергії, на яке впливають різні порушення і спотворення форми напруги живлення. Ці порушення можуть надходити з енергосистеми: наприклад, грозові імпульси, комутаційні перенапруги внаслідок комутації ділянок електричної мережі, провали і відхилення напруги під час автоматичного включення резерву (АВР) і перемикання споживачів на інші джерела живлення.
Спотворення в електричну систему нерідко вносять і самі електроприймачі з резкопеременной і нелінійним характером навантаження: всілякі перетворювачі, промислові споживачі, електричний транспорт і т. Д. Подібні властивості електроприймачів відносяться до електромагнітної сумісності - здатності технічних засобів функціонувати з необхідною якістю в заданій електромагнітній обстановці, не створюючи неприпустимих електромагнітних завад іншим технічним засобам.
Стандарти надійності і якості енергоживлення
Вимоги по надійності електропостачання споживачів викладені перш за все в такому основоположному нормативному документі, як «Правила улаштування електроустановок» (ПУЕ). В якості головного показника надійності електропостачання вводиться категорія надійності. У правилах розрізняють три категорії (з третьої по першу) в залежності від вимог до надійності і часу усунення несправностей, при цьому в першій категорії виділяють особливу групу. В Таблиці 1 наведені відомості про кількість незалежних, взаєморезервуючих джерел електропостачання та відповідних категоріях надійності. Слід мати на увазі, що енергосистема надає споживачеві не більше двох джерел електропостачання, т. Е. Подключе ня забезпечується не більше ніж до двох електричних підстанцій. Інші джерела, ДЕС або ІБП, не є об'єктами енергосистеми.
Таблиця 1. Категорії надійності електропостачання.
Якість електроенергії впливає на працездатність і ефективність функціонування питомого обладнання. Стосовно до інфокомунікаційних систем його слід розглядати як вплив кондуктивних перешкод (електромагнітних завад, що поширюються по елементах електричної мережі) на обладнання. Якщо рівень перешкод (показники якості електроенергії) не перевищує встановлених стандартом норм, то обладнання функціонує справно, і порушень (збоїв, зниження ефективності) інфокомунікаційних систем не відбувається.
Якість електроенергії (якість напруги) нормується в Гості 13109-97 «Норми якості електричної енергії в системах електропостачання загального призначення». У стандарті визначаються показники і норми якості електроенергії в електричних мережах систем електропостачання загального призначення змінного трифазного і однофазного струму частотою 50 Гц в точках приєднання електричних мереж, які перебувають у власності різних споживачів електроенергії.
Показники якості електроенергії в електричних мережах, які перебувають у власності споживачів, регламентуються галузевими стандартами та іншими нормативними документами, але вони не повинні бути нижче норм ГОСТу для точок загального приєднання. Коли зазначені галузеві стандарти та інші нормативні документи відсутні, норми цього стандарту обов'язкові для електричних мереж споживачів електроенергії.
Встановлюються ГОСТом показники якості електроенергії визначають граничний рівень електромагнітної сумісності для кондуктивних електромагнітних завад в системах електропостачання загального призначення. При дотриманні цих норм забезпечується електромагнітна сумісність електричних мереж систем електропостачання загального призначення і електричних мереж споживачів електроенергії (приймачів електроенергії), не виникає порушень і перешкод в роботі обладнання внаслідок незадовільної якості електропостачання.
Вплив порушень на працездатністьРізні показники якості електроенергії впливають на працездатність інфокомунікаційних систем по-різному. Стандартом встановлені нормально допустимі і гранично допустимі значення показників. Нижче ми розглянемо основні з них.
Відхилення напруги. Відхилення напруги (див. Малюнок 1) характеризується показником усталеного відхилення напруги. Для нього визначені нормально допустимі і гранично допустимі значення відхилення на висновках приймачів електроенергії, відповідно, в +5 і + 10% від номінальної напруги електричної мережі. Цей показник досить істотний, тому що від його значень залежить працездатність блоків живлення.
Коливання напруги. Для інфокомунікаційних систем значущим показником коливання напруги (див. Також Малюнок 1) є діапазон зміни напруги. Гранично допустимий діапазон зміни напруги має досить складну функціональну залежність від частоти повторення і форми обвідної. Дані залежності наводяться в Гості 13109-97.
Малюнок 1. Відхилення, коливання, перенапруження і провал напруги.
Сума усталеного відхилення напруги і діапазону змін напруги в точках приєднання до електричних мереж в 380/220 В не повинна перевищувати + 10% від номінальної напруги.
Провал напруги. Провал напруги (див. Малюнок 1) характеризується тривалістю провалу напруги, величина якого в електричних мережах з напругою до 20 кВ не повинна перевищувати 30 с. Провал напруги, так само як і його повне відключення, представляє найбільшу небезпеку для електропостачання інфокомунікаційних систем.
Малюнок 2. несинусоїдальний напруга.
Несинусоїдальність напруги. Несинусоїдальність напруги (див. Малюнок 2) включає наступні показники:
- коефіцієнт спотворення синусоидальности кривої напруги;
- коефіцієнт n-й гармонійної складової напруги.
Нормально допустимі і гранично допустимі значення коефіцієнта спотворення синусоидальности кривої напруги повинні бути не більше 8% в точках загального приєднання до електричних мереж з номінальною напругою 380/220 В. Цей показник не має безпосереднього впливу на якість електропостачання інфокомунікацій, оскільки сучасні блоки живлення можуть нормально працювати від джерел живлення, у яких форма кривої напруги близька до прямокутної (меандр). Разом з тим, несинусоїдальна напруга здатне зробити шкідливий вплив на що забезпечує обладнання, наприклад на двигуни компресорів і вентиляторів систем кондиціонування технологічних приміщень. Слід також зауважити, що даний вид спотворень характерний для мереж електропостачання промислових підприємств, але не для житлових і офісних будівель.
Несиметрія напруг. Несиметрія напруг характеризується наступними показниками:
- коефіцієнтом несиметрії напруг за зворотною послідовністю;
- коефіцієнтом несиметрії напруг за нульовою послідовності.
Ці показники також не впливають в явному вигляді на якість електропостачання інфокомунікацій.
Відхилення частоти. Відхилення частоти напруги змінного струму в електричних мережах характеризується показником відхилення частоти, для якого встановлені нормально допустиме і гранично допустиме значення: +0,2 і +0,4 Гц, відповідно. Частота - загальносистемний параметр, т. Е. Вона однакова у всіх точках об'єднаної енергосистеми. В разі значних відхилень частоти в дію вводиться протиаварійне автоматика енергосистеми. Відхилення частоти може призвести до відключення цілих районів і навіть загальносистемної аварії, що трапляється далеко не кожне десятиліття. Крім того, сучасні блоки живлення засобів обчислювальної та телекомунікаційної техніки на 50 і 60 Гц залишаються працездатними при відхиленнях в кілька герц, а не відсотків, як це встановлюється стандартом.
Імпульс напруги. Імпульс напруги (див. Малюнок 3) характеризується показником імпульсного напруги. Значення імпульсної напруги для грозових імпульсів, що виникають в електричних повітряних і кабельних мережах 380/220 В енергопостачальної організації, не перевищують 10 і 6 кВ, відповідно. Для комутаційних імпульсів в мережах 380 В значення імпульсу - не більше 4,5 кВ. Поява грозового імпульсу в кабельній мережі можливо, якщо він проникає в неї з повітряної. Наприклад, якщо харчування на трансформаторну підстанцію 10 / 0,38 кВ подається за допомогою повітряної лінії, що характерно для сільських мереж, то поява грозового імпульсу в мережі нижчої напруги 380/220 В не такі вже й неймовірно. У міських мережах, де лінії як вищого, так і нижчого напруги, як правило, кабельні, виникнення грозового імпульсу важко пояснити.
Малюнок 3. Імпульси напруги.
Тимчасове перенапруження. Тимчасове перенапруження (див. Малюнок 1) характеризується коефіцієнтом тимчасового перенапруги (відношенням максимального значення обвідної амплітудних значень напруги за час існування перенапруги до амплітуди номінального напруги). Значення коефіцієнта залежить від часу перенапруги, але не перевищує 1,47.
При обриві нульового робочого провідника в трифазних електричних мережах напругою до 1 кВ з наглухо заземленою нейтраллю (т. Е. Нейтраль трансформатора або генератора безпосередньо приєднана до заземлювального пристрою) виникають тимчасові перенапруги між фазою і землею. Рівень таких перенапруг при значній несиметрії фазних навантажень може досягати значень міжфазного напруги, а тривалість - кількох годин. Цей вид порушень небезпечний не тільки через ризик пошкодження обладнання та порушення режиму його роботи, але і являє собою реальну пожежну небезпеку внаслідок високої ймовірності загоряння електрообладнання та електроприймачів.
Таким чином, можна констатувати, що електроспоживаючими обладнання інфокомунікаційних систем чутливо до порушень якості енергопостачання в різному ступені в залежності від виду спотворень. Можливі наслідки виражаються в збоях в роботі апаратно-програмних засобів і, в меншій мірі, - в пошкодженнях обладнання. Найбільш критичними порушеннями є провали напруги, оскільки вони призводять до відключень і перезавантаження обладнання. Перенапруги і імпульси напруги можуть викликати пошкодження обладнання. Відхилення, коливання, несинусоидальность напруги практично не впливають на працездатність інфокомунікаційних систем. Ці порушення, включаючи відхилення частоти, в більшій мірі впливають на обладнання інженерних систем.
Якісне безперебійне живлення інфокомунікацій
Забезпечення якості електропостачання і його надійність досягаються різними схемними рішеннями і застосуванням спеціального обладнання. Широке поширення набуло найбільш універсальний засіб забезпечення якості та надійності електропостачання інфокомунікацій - джерела безперебійного живлення (ІБП - Uninterruptible Power Supplу, UPS). На їх основі будуються системи безперебійного електропостачання (харчування) інфокомунікаційних систем.
В останні роки на порядок денний висунулися відмовостійкі системи. Під отказоустойчивостью системи безперебійного електропостачання на базі ДБЖ розуміють збереження здатності здійснювати безперебійне постачання споживачів струмом у випадках проведення планових (регламентних, сервісних) і ремонтних (відновлювальних) робіт.
Функції відмовостійкості безпосередньо залежать від експлуатаційної готовності системи. Тривала експлуатаційна готовність оцінюється як імовірність того, що система при певних умовах буде в повному обсязі виконувати свої завдання.
На практиці вирішальним фактором є тривалість перерви в подачі електроенергії до споживачів. У зв'язку з цим при електропостачанні інфокомунікаційних систем експлуатаційна готовність системи електропостачання повинна бути не нижче експлуатаційної готовності технічних засобів інфокомунікацій. По відношенню до інфокомунікаційних систем експлуатаційну готовність електропостачання будемо характеризувати коефіцієнтом доступності електропостачання.
Доступність системи залежить від її надійності. А що є кількісною характеристикою надійності? Найбільш часто вдаються до таких показників, як середній час між збоями або середній час напрацювання на відмову (Mean Time Between Failure, MTBF). Однак до них треба підходити з обережністю. Справа в тому, що виробник тієї чи іншої техніки вказує величину MTBF рівний, скажімо, 30 тис. Ч, т. Е. Приблизно 10 років. При цьому сам пристрій виробляється протягом усього трьох років. Та й термін його реальної експлуатації з огляду на моральне старіння навряд чи перевищить, припустимо, п'ять років. Як же було визначено приводиться значення MTBF? Йдеться про добре відомому в статистиці «усередненні по ансамблю»: якщо для 1000 працюючих пристроїв за рік відбулося в цілому 100 збоїв, то на цій підставі середній час між збоями обчислюється як 1000 х 1 рік / 100 = 10 років. Очевидно, що визначається таким чином величина MTBF є статистичним параметром і справедлива для великої кількості діючих механізмів, а аж ніяк не для окремого пристрою. Іншими словами, пристрій, значення MTBF якого становить 10 років, може запросто вийти з ладу на наступний день після введення в експлуатацію. Просто комусь не пощастить.
Однак на цьому неприємності можуть не закінчитися. Ремонт може зайняти п'ять хвилин, а може і п'ять робочих днів, і добре, якщо в результаті інформаційна система не буде простоювати. Таким чином, крім параметра MTBF дуже важливе значення має інша величина - середній час відновлення пристрою (Mean Time To Repair, MTTR). У статтях і оглядах, присвячених надійності ІС, все частіше зустрічається поняття коефіцієнта доступності. Він визначається досить просто - як відносне значення загальної тривалості нормальної роботи системи за рік. Зазвичай компанії вимірюють коефіцієнт доступності для додатків, так як від цього безпосередньо залежить продуктивність користувачів. В умовах сучасного підприємства найважливіші додатки або їх складові фізично розподілені по всій організації, а іноді навіть за її межами, включаючи комп'ютери споживачів і постачальників. Тому адміністратори ІТ повинні вжити необхідних заходів, щоб забезпечити високе значення доступності додатків по підприємству в цілому.
Виходячи з того, що час нормальної роботи в середньому дорівнює MTBF, а час простою виникає після аварії або відмови і, відповідно, так само MTTR, коефіцієнт доступності (Availability) можна визначити наступним чином:
Availability = MTBF / (MTBF + MTTR)
Очевидно, що MTBF має бути якомога більше, а MTTR - якомога менше. Як же досягти цього для апаратного забезпечення?
Який ДБЖ надійніше?
Надійність будь-якої складної системи (в тому числі ІС) обмежена надійністю найслабшого вузла. На сьогоднішній день в таких загальних для будь-якої ІС процесах, як обробка та зберігання даних, давно застосовуються технології кластеризації і «зеркалізаціі», дискових масивів зберігання даних RAID і т. П. Тому тим, хто інвестує чималі кошти в подібні технології для всебічного підвищення надійності роботи ІС, має сенс задуматися: а яке ж ланка залишилося найслабшим? Найчастіше таким виявляється ДБЖ традиційної моноблочной конструкції, а адже саме він, як правило, захищає серверні кімнати і інші критичні додатки. За останні роки до цього висновку прийшла велика кількість дослідницьких і консалтингових інститутів, а також асоціацій користувачів комп'ютерних технологій.
Навіть при збільшенні витрат на розробку вироби, всілякої витонченості схемних рішень, 100-відсотковому вхідному контролі компонентів, багаторазовому тестуванні вироби в процесі виробництва окремі компоненти мають якийсь стелю надійності. Так, типові сучасні системи захисту харчування, де робиться ставка лише на високу надійність окремих вузлів, мають максимальне значення MTBF в межах від 50 тис. До 500 тис. Ч. У той же час застосування резервування самих ІБП дозволяє домогтися істотного збільшення MTBF при тих же витратах на собівартість вироби. На рисунку 4 зображено якісний характер зміни надійності вироби в залежності від його собівартості, при цьому крива 1 відповідає пристрою без резервування, крива 2 - пристрою з застосуванням резервування.
Малюнок 4. Зміна надійності вироби в залежності від витрат.
Загальновизнаним підходом для радикального зниження MTTR стало сьогодні в конструюванні дотримання принципу «гарячої» заміни несправних або вимагають обслуговування вузлів.
При створенні найбільш відповідальних і критичних вузлів і пристроїв, що працюють у складі ІС, застосовується наступний метод. Вузол (пристрій і т. П.) Розбивається на N паралельно з'єднаних модулів з додаванням однієї (N + 1), двох (N + 2) і т. Д. Модулів для підвищення рівня резервування (або, що одне і те ж, надмірності ), додатково розробниками забезпечується можливість заміни цих модулів (збільшення або зменшення їх числа) на ходу, в «гарячому» режимі. Таким чином, досягається:
- висока відмовостійкість за рахунок наявності N + 1, N + 2 і т. д. модулів. При відмові будь-якого з модулів інші просто перерозподіляють між собою його навантаження;
- нульове MTTR - для заміни вийшов з ладу модуля не потрібно відключати пристрій в цілому. Залишаються в роботі модулі забезпечують повноцінне функціонування;
- набагато більш висока економічна ефективність у порівнянні з подвоєнням (утроением і т. п.) пристрої в цілому;
- масштабованість пристрою, причому зміни конфігурації можливі без виключення пристрою, в "гарячому" режимі.
Співвідношення між доступністю, надмірністю і можливостями «гарячої» заміни легко пояснити за допомогою діаграми (див. Малюнок 5), де системи захисту електропостачання розташовуються на площині в залежності від того, наскільки вони задовольняють двома складовими доступності - надмірності і можливості «гарячої» заміни.
Малюнок 5. Діаграма КДЕ.
З ростом числа вузлів з підтримкою режиму «гарячої» заміни відповідна системі точка на площині переміщається вгору, а з ростом числа надлишкових вузлів - зліва направо. Залежно від необхідної величини доступності і планованих витрат, адміністратори ІС можуть знайти оптимальне рішення.
На підставі діаграми сучасні системи захисту електроживлення можна класифікувати за рівнем доступності наступним чином.
- Традиційний (моноблочний) ДБЖ (Standalone UPS) не володіє ні надмірністю, ні можливостями "гарячої" заміни. Як видно з таблиці, пристрій забезпечує достатню доступність електроживлення завдяки надійності ДБЖ як такого. Подібні системи найбільш ефективні в діапазоні малих потужностей (до 5кВА), в цьому випадку кілька моноблочних ДБЖ можуть захистити окремі критичні ланки системи. Щоб отримати централізоване рішення для систем більшої потужності (понад 5 кВА), користувачі повинні вибрати систему з більш високим рівнем доступності.
- Відмовостійкий ДБЖ (Fault Tolerant UPS) іноді описують як систему з "розумною надмірністю", оскільки такі системи містять надлишкові компоненти. Однак не всі головні вузли можна замінювати в режимі "гарячої" заміни. Системи цього типу мають більш високий коефіцієнт доступності, продовжуючи захищати навантаження навіть в разі відмови одного з надлишкових компонентів. Але оскільки несправність недубліруемих компонентів часто означає необхідність заміни всього ДБЖ, в числі їх серйозних недоліків - дорогий і вимагає часу ремонт. Це неминуче призводить до простою систем і великих незручностей для адміністраторів ІС. Відмовостійкі системи ДБЖ можуть мати частину вузлів, що допускають "гарячу" заміну, наприклад батареї або блоки силової електроніки. В основному ж велике число критично важливих вузлів, зокрема блоки процессорной електроніки, неможливо замінити в "гарячому" режимі. І чим більше таких незамінюваних компонентів, тим нижче коефіцієнт доступності електроживлення.
- Модульний ДБЖ (Modular UPS). Як і відмовостійкий ІБП, він забезпечує високий рівень доступності. Ці системи мають численні компоненти з режимом "гарячої" заміни і зазвичай використовуються в багатосерверних середовищах і телекомунікаційному обладнанні. Багато модульні ДБЖ передбачають також надмірність батарей. Однак найважливіша перевага таких систем у порівнянні з відмовостійкими ДБЖ полягає в тому, що відмова будь-якого з основних компонентів може бути ліквідований в "гарячому" режимі, що виключає планові простої на виклик сервісної підтримки.
- Вищу ступінь захисту електропостачання забезпечують системи матричної архітектури - так звані "енергетичні масиви" (Power Array). У Power Array все блоки - силової електроніки, батарей і процесорні - є і надмірними, і замінними в "гарячому" режимі. Системи такого типу характеризуються дуже високими значеннями доступності і реалізують захист вищого рівня для ІС. Power Array зазвичай на 10-20% дорожче моноблочних ДБЖ подібною потужності і в середньому на 5-10% дорожче відмовостійких або модульних ИБП.
Діаграма може бути уточнена далі, оскільки в кожній системі захисту електроживлення є три найважливіших блоку: батареї, силова електроніка і процесорна електроніка. Чим більше компонентів мають властивості «гарячої» заміни і надмірності, тим вище доступність системи. Реальні ДБЖ часто ставляться до «гібридним» системам, у яких частина вузлів має властивість «гарячої» заміни, а інша частина - властивістю надмірності.
Підсумовуючи сказане в статті, відзначимо: по-перше, електропостачання інфокомунікацій залежить від якості електроенергії та надійності електропостачання; по-друге, відповідно до ситуації, що технічній практиці, основним засобом забезпечення надійності та якості електропостачання є джерела безперебійного живлення; по-третє, найкращі показники надійності електропостачання можна отримати, використовуючи резервуються системи з архітектурою «енергетичний масив».
Олександр Воробйов - співробітник Управління інформаційних систем «ВАТ Внешторгбанк». Він є автором книги «Електропостачання комп'ютерних і телекомунікаційних систем», що вийшла у видавництві «ЕкоТрендз» в 2003 р З ним можна зв'язатися за адресою: [email protected] або [email protected] .
А що є кількісною характеристикою надійності?Як же було визначено приводиться значення MTBF?
Як же досягти цього для апаратного забезпечення?
Який ДБЖ надійніше?
Тому тим, хто інвестує чималі кошти в подібні технології для всебічного підвищення надійності роботи ІС, має сенс задуматися: а яке ж ланка залишилося найслабшим?