е встигла концепція центрів обробки даних (ЦОД) закріпитися на світовому ринку, як тут же з усіх кінців почали лунати зловісні пророцтва про прийдешні проблеми. Висока концентрація обладнання в обмеженому просторі дійсно створює ряд складнощів, однією з яких є проблема охолодження. Варто лише поглянути на заголовки статей світових ІТ-видань, щоб зрозуміти, що проблема відведення тепла від устаткування ЦОД вийшла на перший план у всіх економічно розвинених країнах.
Оскільки приміщення датацентру має обмежені розміри, в ньому можна встановити строго певну кількість серверних шаф. Все добре, поки обладнання небагато: в цьому випадку його можна рівномірно розподілити по всьому стійок, поміщаючи в кожну всього кілька серверів або СГД.
Однак настає момент, коли необхідно збільшити продуктивність ЦОД. І тоді в шафах стає дійсно жарко. Оперативно розширити приміщення, щоб встановити нові стійки для обладнання, як правило, неможливо. Доводиться максимально використовувати існуючі площі, приймаючи додаткові заходи для охолодження обладнання.
Якщо кондиціонери не справляються
Нарощувати продуктивність ЦОД можна двома основними способами - додаванням нових серверів або заміною діючих систем на більш потужні. В основному, використовують комбінацію цих методів. Але, незважаючи на всі зусилля виробників, підвищення обчислювальної потужності означає збільшення енергоспоживання і тепловиділення.
Класична система охолодження ЦОД - з подачею повітря з-під фальшпідлоги і створенням холодного і гарячого коридорів - не дозволяє, в силу фізичних обмежень, відвести більше 4 -6 (в окремих випадках до 8) кВт тепла від однієї шафи. Якщо цього недостатньо, можна, знову ж таки, йти двома шляхами. Наприклад, рівномірно додаючи обладнання в усі стійки, одночасно з цим пропорційно збільшувати потужність систем кондиціонування (на приклад, розміщуючи кондиціонери в рядах). Або, зібравши всі найбільш енергоємні пристрої в один шафа, локально забезпечити йому підвищену охолодження. Не виключена, однак, ситуація, коли, по мірі розвитку ЦОД, такого «індивідуального» охолодження зажадають всі шафи в приміщенні.
Найбільш ефективно забезпечувати подібне охолодження можна за рахунок виділення кожному шафі окремого кондиціонера. Втіленням цієї ідеї стали замкнуті системи кондиціонування (ЗСК), пропоновані на сьогоднішній день багатьма виробниками шаф.
Основний принцип ЗСК полягає в тому, що гарячий і холодний потоки повітря циркулюють всередині серверної шафи, не змішуючись між собою і не потрапляючи в приміщення ЦОД. Таким чином, вдається максимально ефективно використовувати систему охолодження, сконцентрувавши її на конкретній стійці, від якої, в результаті, вдається відвести десятки кіловат тепла.
У нашій країні рішення такого типу пропонують чотири компанії: APC-MGE, Rittal, Emerson та Knurr (придбана Emerson на початку 2006 року). Всі перераховані виробники мають власні підходи до побудови ЗСК, які ми зараз і розглянемо.
Рішення від APC-MGE на всі випадки життя
Для ізольованого охолодження серверних шаф компанія APC- MGE розробила систему Rack Air Containment System (RACS). Вона складається з трьох ключових елементів: серверних шаф NetShelter SX, кондиціонерів InRow SC, RC або RP (які приєднуються до шаф збоку), а також особливих ізолюючих кожухів, які одягаються на шафу і кондиціонер (Рис.1 а, б, в) . Кожухи можуть бути двох видів - шириною 300 мм (для кондиціонерів серії InRow SC, RC) і 600 мм (для шаф серії SX і кондиціонерів InRow RP).
Металеві кожухи (зроблені з того ж матеріалу, що і шафи APC-MGE NetShelter) з прозорими передніми панелями можуть одягатися як з фронтальної сторони (для ізоляції холодного коридору), так і з тильної (щоб затримувати гаряче повітря і не пускати його у зовнішнє приміщення ) (рис.2 а, б, в).
Замкнута система APC RACS працює наступним чином. Кондиціонер видуває холодне повітря в ізольований простір перед обладнанням. Потім вентилятори серверів та інших активних пристроїв затягують його всередину корпусів. Зі зворотного боку стійки з обладнанням виходить нагріте повітря. Завдяки кожуха він не потрапляє у зовнішній простір, а знову всмоктується вентиляторами кондиціонера, охолоджується і подається в «холодну зону» перед обладнанням. Також можливе застосування системи з ізоляцією тільки гарячої зони. Це дозволяє, з одного боку, уникнути перемішування гарячого повітря з холодним, а з іншого - використовувати потужність кондиціонера для охолодження обладнання в інших стійках або приміщення. Надлишок тепла відводиться по воздуховодам припливно-витяжної вентиляції (якщо кондиціонери з повітряним охолодженням або за допомогою фреону або води (у разі використання кондиціонерів відповідного типу). Вважається, що діапазон нормальної температури холодного повітря знаходиться в межах 20 -25 С °, хоча іноді її цілком можна опустити і значно нижче.
Система RACS дозволяє побудувати кілька схем замкнутого кондиціонування. Одна з них має на увазі, що один кондиціонер обслуговує дві шафи (см.ріс.2 б). Крім того, кондиціонери можуть бути розміщені і по обидва боки шафи (см.ріс.2 в) - для посиленого охолодження або для забезпечення відмовостійкості (якщо один з них вийде з ладу). Всього APC-MGE пропонує використовувати по-сім унікальних комбінацій. У тому числі схему, розраховану на два шафи і чотири кондиціонера (представлена на рис.3). Таким чином, можна ізольовано охолоджувати одну або дві стійки з обладнанням.
Що стосується кількості відведеного тепла, то повітряний кондиціонер (серія SC) справляється з 5 -6 кВт (якщо їх два, то показник, відповідно, збільшується до 10 -12 кВт). Більш потужна модель з водяним охолодженням (RC) може відвести до 18,5 кВт (або до 37 кВт, якщо встановити два блоку біля однієї шафи).
Якщо ж і цього виявиться мало, можна використовувати кондиціонер InRow RP, здатний відводити понад 39 кВт тепла (а в ряді випадків до 70 кВт) тепла. Комбінація з одним шафою і двома блоками InRow RP не розглядається виробником, оскільки вважається надмірною.
Важливо відзначити, що вентилятори кондиціонерів розташовані вертикально по всій висоті блоку, що дозволяє рівномірно розподіляти охолоджене повітря між усім обладнанням шафи (Рис.4) . Для порівняння: при подачі повітря з-під фальшпідлоги краще охолоджується обладнання, яке розташоване на нижній частині шафи.
Якщо ж потрібно охолоджувати багато шаф, то на цей випадок у APC- MGE є спеціальне рішення - HACS, повністю ізолює гарячий коридор від зовнішнього простору приміщення (Рис.5).
Для організації такої системи необхідно встановити не менше двох рядів шаф (з розміщенням кондиціонерів в рядах). Гарячий коридор між ними закривається дверима з торців і спеціальними панелями зверху.
Підхід до створення замкнутих систем кондиціонування, пропонований компанією APC-MGE, має ряд характерних особливостей. Одна з основних - гнучке побудова системи кондиціонування ЦОД. На першому етапі можна організувати охолодження за класичною схемою (розміщуючи кондиціонери між шафами з обладнанням), а потім, якщо буде потрібно, вже можна ізолювати окремі стійки або навіть цілі ряди шаф.
Однак слід звернути увагу на те, що глибина окремого кожуха становить 200 мм, і якщо ізолювати шафа з двох сторін, то його глибина збільшиться на 400 мм. До того ж кожухи можуть бути використані тільки разом з шафами APC NetShelter. Правда, як уже було сказано вище, кожух можна одягати тільки з одного боку (наприклад, коли потрібно ізолювати тільки голий ретий віз задушливий потік). Вся конструкція в будь-якому випадку не герметична, проте ступеня ізоляції досить, щоб забезпечити високий рівень охолодження.
Німецька грунтовність Rittal
Німецька компанія Rittal має багаторічний досвід на ринку систем контролю мікроклімату. Більша частина цього досвіду накопичена в ході розробки рішень для великих промислових об'єктів, що, в свою чергу, наклало відбиток і на замкнуті системи кондиціонування.
Для побудови ЦОД компанія пропонує використовувати спеціально розроблений охолоджуючий блок LCP. Він встановлюється поруч з шафами з охолоджуваних обладнанням (Рис.6) .
Блок LCP виконаний у вигляді окремого шафи, в якому розташовані водяний теплообмінник і три відсіки для розміщення блоків кондиціонування (Рис.7) . Бічні стінки LCP мають спеціальні отвори, через які проходять холодні і гарячі потоки повітря, а знімні бічні панелі шаф Rittal дозволяють впритул приєднувати кондиціонуючі блоки до шафи з обладнанням. В результаті може бути створено кілька основних конфігурацій: шафа з активним обладнанням і блоком LCP, два LCP і одна шафа, дві шафи і один LCP, а також їх різні комбінації (Рис.8) .
Принцип циркуляції повітря тут дещо інший, ніж у рішень APC-MGE. Холодне повітря подається (а гарячий забирається) через бічні стінки шафи. При цьому відпадає необхідність у зовнішніх ізолюючих кожухах. Передня і задня стінки серверної шафи при цьому закриваються суцільними дверима (для виключення повітрообміну із зовнішнім середовищем).
Сама система LCP побудована за модульним принципом, т.е.блокі кондиціонування можна додавати в міру необхідності (у разі підвищення тепловиділення обладнання, що розміщується в стійку). При цьому, якщо використовується тільки один або два таких блоку, порожні відсіки шафи з активним обладнанням можна ізолювати від охолоджувальної зони спеціальними панелями з пенопоролонопласта (це дозволяє не витрачати холодне повітря на «порожній» простір). Отвори для теплообміну розташовані по всій висоті кондиціонера, що дозволяє рівномірно охолоджувати обладнання.
Система охолодження LCP має тільки варіант з водяним охолодженням і здатна відводити від ізольованою стійки до 30 кВт тепла (або до 60 кВт, в разі використання двох LCP на один шафа). Вода подається в модуль теплообмінника знизу, що повністю виключає можливість її потрапляння на обладнання (в разі аварії рідина стікає в спеціальний піддон). При цьому охолоджуюча здатність LCP залежить від кількості прокачується води (від п'яти до п'ятдесяти літрів в хвилину) і її температури (яку не рекомендується опускати нижче 6 С °, щоб уникнути випадання конденсату).
Використання в системах Rittal LCP тільки водяного охолодження означає, що установку замкнутої системи кондиціонування необхідно передбачити ще на етапі проектування ЦОД, для чого слід прокласти труби, забезпечити подачу і відведення води і т.д.
Knurr - все в одному
Ще однією німецькою компанією, яка пропонує на нашому ринку замкнуті системи кондиціонування для серверних шаф, є Knurr. Незважаючи на те, що в лютому 2006 року її придбала американська компанія Emerson (яка також пропонує свій підхід до організації ЗСК), рішення в сфері замкнутих систем кондиціонування у них різні.
Відмітна особливість рішення Knurr, яке носить назву CoolTherm, полягає в тому, що модуль кондиціонування розміщується безпосередньо в серверній шафі, а не в окремому зовнішньому блоці. У підсумку, така система більш компактна в порівнянні з ЗСК інших виробників. Правда, при цьому в шафі залишається менше місця для розміщення активного устаткування.
По суті, CoolTherm - це автономний герметичний серверну шафу з вбудованою системою кондиціонування. При цьому тут вже можна говорити про високий ступінь герметизації, оскільки системи CoolTherm, єдині в нашому огляді, відповідають вимогам International Protection (IP) 55 (рівень захисту від шкідливих відкладень пилу, а також від струменя води, що викидається на шафу з будь-якого напрямку).
Принцип роботи системи CoolTherm наступний. Модуль з водяним охолодженням, розташований в нижній частині шафи, видуває до його дверей потік охолодженого повітря, створюючи, таким чином, холодний стовп повітря перед обладнанням. Потім холодне повітря засмоктується вентиляторами активного обладнання, охолоджує його і виходить з протилежного боку. Тут треба звернути увагу на одну конструктивну особливість: роль задньої стінки шафи виконує особлива двері, що є об'ємною порожнистої конструкцією, в якій розташовані вентилятори, які забирають гаряче повітря. Проходячи по її внутрішнім каналам, нагрітий повітряний потік видувається з нижній частині дверей, потрапляючи на теплообмінник (Рис.9) . Незважаючи на те, що теплообмінник розташований знизу, вентилятори задньої стінки шафи забезпечують рівномірний охолодження обладнання, забираючи повітря по всій висоті стійки з однаковою інтенсивністю. При цьому заміна будь-якого вентилятора може проводитися з зовнішньої сторони і не вимагає відкриття дверей серверної шафи.
Система Knurr CoolTherm дозволяє відвести від кожної стійки до 35 кВт тепла, подача води здійснюється знизу. Збільшувати інтенсивність відведення тепла (від 10 до 35 кВт) можна шляхом регулювання температури води і її витрати, а також за рахунок швидкості обертання вентиляторів на задній стінці шафи.
Незважаючи на згадані вище переваги (економія місця, герметичність), у систем CoolTherm є ряд відносних недоліків. Можливо, вони не настільки критичні, проте, їх слід врахувати. Оскільки кондиціонер розташований безпосередньо в серверній шафі і займає частину вільного простору, в якому могло б розміститися обладнання, висоту шафи довелося збільшити. Через те, що блок кондиціонера всього один, немає можливості додавати або прибирати охолоджуючі модулі в міру необхідності. До того ж той факт, що системи Knurr CoolTherm мають тільки водяне охолодження, вимагає, як і в випадку з обладнанням Rittal, щоб їх розміщення в ЦОД було передбачено заздалегідь.
Рішення Emerson Liebert XDFN для невеликих ЦОД
Пристрої, які пропонує на ринку систем замкнутого кондиціонування компанія Emerson, розроблені входить до її складу компанією Liebert. Основним продуктом цього напрямку можна назвати Liebert XDFN.
Ця система охолодження побудована з використанням окремого блоку кондиціонування, який стикується з шафою для обладнання бічними стінками. Принцип охолодження заснований на застосуванні спеціальних серверних шаф, у верхній і нижній частині яких є бічні заслінки, відкриваючи й закриваючи які можна управляти напрямками термічних потоків. Через нижню заслінку в шафу з обладнанням потрапляє холодне повітря, через верхню - забирається гарячий (Рис.10) .
Оскільки заслінки є з обох бічних сторін, можна чергувати шафи з обладнанням і блоки кондиціонування в будь-якій послідовності. У тому числі - одна шафа на два кондиціонери (в цьому випадку один може бути резервним) (Рис.11) .
Крім бічних заслінок в шафах ЗСК Liebert XDFN передбачена також нижня заслінка. Основним її завданням, спільно з вентиляторами резервного охолодження (які розташовані у верхній частині серверного шафи), є підстраховка системи кондиціонування. У разі раптового зникнення електроживлення і відключення основного кондиціонера можна відкрити цю заслінку і вентилятори будуть втягувати повітря з холодного коридору ЦОД. А оскільки вентилятори розташовані у верхній частині шафи з обладнанням, то повітряний потік буде проходити по всій висоті шафи.
Звичайно, така вентиляція, швидше за все, виявиться малоефективною при тривалому відключенні кондиціонера, проте вона і не розрахована на тривалу роботу. За ідеєю розробників, часу повинно вистачити для запуску резервного генератора, а в цей час вентилятори можуть харчуватися від джерела безперебійного електроживлення (таким чином, не потрібна установка потужного ДБЖ для охолоджуючого блоку). Включення і відключення резервної вентиляції відбувається автоматично в залежності від стану кондиціонера. Відзначимо, що в системі Liebert XDFN подача холодного повітря також здійснюється знизу.
У рішенні XDFN можуть застосовуватися кондиціонери як з повітряним, так і з водяним охолодженням. При цьому кожен кондиціонер може відвести до 23,6 кВт або до 25,6 кВт тепла (в разі повітряного і водяного охолодження, з- відповідально).
Про вартість замкнутих систем
Розглянувши системи замкнутого кондиціонування чотирьох виробників, представимо їх основні характеристики в табличному форматі (табл.).
Зауважимо: у всіх вищеописаних системах передбачається наявність внутрішніх датчиків температури, вологості, систем сигналізації та пожежогасіння (опціонально), засобів моніторингу та управління, а також цілого ряду інших важливих доповнень.
Важливо відзначити, що всі розглянуті охолоджуючі системи призначені для стикування тільки з шафами однойменних виробників.
Системи APC-MGE і Emerson мають варіанти як водяного, так і повітряного охолодження. У рішеннях Rittal і Knurr застосовуються тільки водяні блоки кондиціонування.
Що стосується вартості рішень, то вона досить висока, в середньому близько $ 100 тис. Оскільки в ЗСК один кондиціонер виділяється для обслуговування однієї-двох стійок з обладнанням, ціна системи буде складатися з вартості серверної шафи, потужного кондиціонера і засобів герметизації (плюс «націнка за унікальність »рішення).
З огляду на, що за допомогою традиційних схем кондиціонування від кожної шафи ЦОД можна без особливих проблем відвести 4 -5 кВт тепла, то в разі ЗСК цей показник буде в 5 -7 разів вище. Відповідно, якщо середня вартість шафи для обладнання в центрі обробки даних (з урахуванням всієї інфраструктури і комунікацій) становить $ 15 -17 тис., То вартість ЗСК повинна знаходитися в межах $ 75 -120 тис. (Хоча може виявитися куди вище).
Більшість фахівців схиляються до думки: якщо є можливість розподілити обладнання ЦОД за кількома шаф, краще так і зробити. Замкнуту систему кондиціонування варто застосовувати тільки в самому крайньому випадку, наприклад, коли окремі шафи заповнені енергоємним обладнанням і немає вільних стійок для його розподілу (або вільного місця в приміщенні ЦОД для установки нових шаф).
У будь-якому випадку, використання замкнутих систем кондиціонування серверних шаф повинно бути ретельно продумано, але навіть тоді вигоди від їх використання, носять скоріше технічний, а не економічний характер.
Редакція висловлює подяку за надану інформацію і допомогу в підготовці матеріалу Сергію Приневья (ТОВ «Ріттал»), Сергію Селівону (ВАТ «Банкомзв'язок»), Роману Осадчему (представництво APC- MGE в Україні) Віктору Гаврилову, (представництво Emerson Network Power Srl, Москва ).
Ігор КИРИЛЛОВ , 
№6 (37) 2007
