Cel przeprowadzonych badań

Jak pisałem już we wcześniejszym artykule na temat zużycia energii elektrycznej w jednej z największych serwerowni w Polsce, głównym kosztem utrzymania takiego typu budynku są koszty związane ze zużyciem energii elektrycznej. Znacząca większość stanowi energia potrzebna do pracy serwerów oraz energia potrzebna na schłodzenie i odprowadzenie przez urządzenia klimatyzacyjne wydzielanego przez serwery ciepła na zewnątrz budynku. Znikomym kosztem jest zużycie energii dla pozostałych systemów w takim obiekcie. Przypominam, że serwerownia Onet Data Center została zaprojektowana i wybudowana przy całkowitej mocy elektrycznej 5 MW. Tak duże zapotrzebowanie na energię zmusza nas do szukania optymalnego ustawienia różnych systemów w celu optymalizacji kosztów na utrzymanie tak ważnego dla pracy Portalu budynku technicznego. Głównymi aspektami przy optymalizacji kosztów są: poprawna praca urządzeń i systemów w serwerowni przy odpowiednich dla nich warunkach środowiskowych oraz odpowiednie zasilanie gwarantowane z podtrzymaniem UPS.

Przedstawione przeze mnie poniżej wyniki analizy badań sprowadziły się do testów zużycia energii elektrycznej przy zmianach nastaw klimatyzacji precyzyjnej i zagęszczonej oraz trybu pracy UPSów. Głównym celem testów było znalezienie odpowiednich ustawień systemów chłodzących, które zapewnią optymalną temperaturę pracy serwerów, a jednocześnie zapewnią najmniejsze zużycie energii w obiekcie.

Opis komory testowej

Testy zużycia energii elektrycznej były przeprowadzane i liczone dla dwóch komór serwerowych w o powierzchni 200 m2 i kubaturze 1200 m3 każda. W komorze testowej nr 1 było zainstalowanych około 800 serwerów i urządzeń aktywnych o łącznej mocy IT równej 195 kW.
Komora testowa nr 2 charakteryzowała się zainstalowanymi i uruchomionymi serwerami w ilości 1300 sztuk o całkowitej mocy IT równej 305 kW.

Serwery zarówno w komorze testowej nr 1 jak i komorze nr 2 umieszczone były w szafach rackowych w 4 rzędach. Konfiguracja taka dawała dwa korytarze zimnego powietrza oraz trzy korytarze ciepłego powietrza w każdej komorze.

Wilgotność powietrza utrzymywana była na poziomie 45% RH. Temperatura mierzona była za pomocą 12 czujek temperatury umieszczonych na szafach z serwerami (korytarz zimny) oraz 12 czujek temperatury umieszczonych pod podłogą techniczną.

Opis systemu klimatyzacji

Onet Data Center zostało zbudowane z myślą o zapewnieniu odpowiednich warunków urządzeniom aktywnym, które zapewniają pracę portalu. Dlatego też serwerownia została wyposażona w dwa rodzaje klimatyzacji: klimatyzację precyzyjną oraz klimatyzację zagęszczoną. Ideą klimatyzacji precyzyjnej jest zastosowanie korytarzy zimnego i ciepłego powietrza w komorze serwerowni. Klimatyzacja zagęszczona ma za zadanie wsparcie klimatyzacji precyzyjnej poprzez zainstalowane nad szafami rackowymi specjalne wymienniki ciepła, zwiększające wydajność chłodzenia. Przez zastosowanie takich rozwiązań możliwe jest znaczne zagęszczenie mocy obliczeniowej i uzyskanie gęstości energii elektrycznej 10 kW na każdą szafę rackową.

Klimatyzacja precyzyjna wytwarza zimne powietrze, które jest transportowane pod podłogą techniczną do zimnych korytarzy w komorze serwerowej. Powietrze to wydostaje się przez kratki nawiewne na front szafy rackowej. Urządzenia aktywne zainstalowane w naszej serwerowni posiadają taką budowę, która umożliwia zaciągniecie zimnego powietrza z przodu szafy, schłodzenie radiatorów procesorów zainstalowanych w urządzeniu oraz wydmuchanie ciepłego powietrza do korytarza gorącego znajdującego się po przeciwnej stronie szafy. Na każdą komorę serwerową przypada 8 jednostek, o mocy chłodniczej 83 kW każda, co daje łącznie 664 kW mocy chłodniczej. Największa sprawność jednostki te uzyskują przy temperaturze wewnątrz serwerowni 24,0°C.

Klimatyzacja zagęszczona zainstalowana w serwerowni ma za zadanie wspomaganie klimatyzacji precyzyjnej. Chłód jest wytwarzany przez 3 jednostki XDC o mocy chłodniczej 160 kW każda zainstalowana poza komorą serwerową oraz 60 jednostek XDV, które umieszczone są nad szafami rackowymi i odbierają z nich ciepło. Sprawność systemu klimatyzacji zagęszczonej rośnie wraz ze wzrostem temperatury w korytarzach ciepłych. Optymalny punkt pracy dla zaprojektowanego układu to 30 oC.

Wyniki badań

Testy były równolegle prowadzone na dwóch komorach testowych. W tym czasie ilość zainstalowanych serwerów była stała tak, żeby uzyskać jednoznaczne wyniki podczas testów. Podczas badań była zmieniana nastawa temperatury na jednostkach klimatyzacji precyzyjnej oraz zmienna była liczba jednostek włączonych do obiegu chłodniczego. Poza tym dołączane były jednostki klimatyzacji zagęszczonej HD w celu poprawienia cyrkulacji powietrza i zwiększenia całkowitej mocy chłodniczej dla urządzeń zainstalowanych w komorze. Dla uzyskania miarodajnych wyników każdy z testów trwał przez 3 dni (72 godziny). Test taki daje wtedy uśrednione zużycie energii i jest o wiele dokładniejszy niż krótsze testy. Ilość zużytej energii IT zmieniała się w zależności od temperatury (praca wentylatorów w serwerach) oraz od ilości włączonych urządzeń klimatyzacji zagęszczonej (włączone czapki XDV systemu XDC zasilane są z rozdzielni IT). W związku z tym, iż wszystkie urządzenia zainstalowane w serwerowni były podczas testów obciążone produkcyjnym ruchem, nie było możliwości przeprowadzenia niektórych testów z uwagi na bezpieczeństwo działania portalu. Poniżej zamieszczone zostały dokładne dane z poszczególnych prób zużycia energii dla konkretnych nastaw.

W pierwszej kolejności przeprowadzono testy polegające na sprawdzeniu zużycia energii elektrycznej przy takich samych nastawach temperatur ale przy różnej ilości włączonych jednostek klimatyzacyjnych. W tabelach 1, 2, 3 i 4 zostały zestawione wyniki tych pomiarów.

 

Nastawa temperatury Ilość klim. HD Ilość klim. XDC Zużycie energii KLIM Zużycie energii IT Całkowite zużycie energii
[°C] [szt.] [szt.] [kWh] [kWh] [kWh]
24,0 6 1 12 257 13 941 26 198
24,0 7 1 13 085 8 285 21 370
24,0 8 1 13 432 15 918 29 350
24,0 6 0 11 843 14 153 25 996
24,0 8 0 13 251 9 755 23 006

Tab.1. Wyniki zużycia energii elektrycznej dla testu nr 1 dla komory testowej nr 1 przy temperaturze 24,0°C.

Ze względu na ograniczenia dla komory testowej nr 1, test został przeprowadzony tylko dla jednej temperatury zadanej ustawionej na 24,0°C.

 

Nastawa temperatury Ilość klim. HD Ilość klim. XDC Zużycie energii KLIM Zużycie energii IT Całkowite zużycie energii
[°C] [szt.] [szt.] [kWh] [kWh] [kWh]
23,5 6 1 11 306 22 175 33 481
23,5 7 1 11 702 22 135 33 837
23,5 8 0 11 833 21 949 33 782

Tab.2. Wyniki zużycia energii elektrycznej dla testu nr 1 (komora testowa nr 2) przy temperaturze 23,5°C.

 

Nastawa temperatury Ilość klim. HD Ilość klim. XDC Zużycie energii KLIM Zużycie energii IT Całkowite zużycie energii
[°C] [szt.] [szt.] [kWh] [kWh] [kWh]
24,5 6 1 11 327 22 414 33 741
24,5 7 1 11 658 22 146 33 804
24,5 8 0 11 762 21 911 33 673

Tab.3. Wyniki zużycia energii elektrycznej dla testu nr 1 (komora testowa nr 2) przy temperaturze 24,5°C.

 

Nastawa temperatury Ilość klim. HD Ilość klim. XDC Zużycie energii KLIM Zużycie energii IT Całkowite zużycie energii
[°C] [szt.] [szt.] [kWh] [kWh] [kWh]
25,5 6 1 10 899 22 107 33 006
25,5 7 1 11 483 22 285 33 768
25,5 8 0 11 403 22 202 33 605

Tab.4. Wyniki zużycia energii elektrycznej dla testu nr 1 (komory testowa nr 2) przy temperaturze 25,5°C.

 

Tabele 2, 3 i 4 obrazują zużycie energii elektrycznej podczas testu nr 1 dla komory testowej nr 2 przy trzech różnych nastawach temperatur (23,5°C, 24,5°C, 25,5°C).

Jak widać najniższe zużycie energii KLIM mamy w przypadku, gdy włączonych jest do systemu klimatyzacji 6 jednostek klimatyzacji precyzyjnej oraz 1 jednostka klimatyzacji zagęszczonej. W dwóch na trzy przypadki również całkowite zużycie energii dla całej komory było najmniejsze przy powyższej konfiguracji.

Porównując zużycie energii elektrycznej dla 2 przypadków:
a). włączonych 8 urządzeń klimatyzacji precyzyjnej
b). włączonych 6 urządzeń klimatyzacji precyzyjnej i 1 urządzenie klimatyzacji zagęszczonej
możemy dojść do wniosku, że sprawność układu rośnie wraz ze wzrostem temperatury. Dzieje się to dlatego, że urządzenia klimatyzacji zagęszczonej zostały zaprojektowane przez producenta i wykonane dla pracy przy temperaturze powietrza w komorze serwerowni ok.30°C. Dla temperatury 23,5°C różnica ta wynosi 301 kWh na korzyść drugiego (b) przypadku, zaś dla temperatury 25,5°C różnica ta sięga już 599 kWh, co daje już znaczące oszczędności w skali roku. Podnosząc temperaturę wewnątrz serwerowni do 25,5°C jesteśmy w stanie zapewnić prawidłowe parametry środowiskowe do pracy urządzeń przy zminimalizowaniu zużycia energii elektrycznej. W ciągu roku w ten sposób można zaoszczędzić aż 73 MWh dla jednej komory. Licząc oszczędności dla 3 komór, które znajdują się w Onet Data Center, takie założenie daje 219 MWh oszczędności energii elektrycznej w ciągu roku.

Kolejnym etapem prac prowadzonych nad optymalizacją systemu było przeprowadzenie drugiego testu (nr 2) polegającego na porównaniu zużycia energii elektrycznej dla komory testowej przy takiej samej ilości włączonych klimatyzatorów, ale przy różnych nastawach temperatur.

Nastawa temperatury Ilość klim. HD Ilość klim. XDC Zużycie energii KLIM Zużycie energii IT Całkowite zużycie energii
[°C] [szt.] [szt.] [kWh] [kWh] [kWh]
23,5 8 0 11 833 21 949 33 782
24,5 8 0 11 762 21 911 33 673
25,5 8 0 11 403 22 202 33 605

Tab.5. Wyniki zużycia energii elektrycznej dla testu nr 2 (komora testowa nr 2) przy włączonych 8 klimatyzatorach HD.

 

Nastawa temperatury Ilość klim. HD Ilość klim. XDC Zużycie energii KLIM Zużycie energii IT Całkowite zużycie energii
[°C] [szt.] [szt.] [kWh] [kWh] [kWh]
23,5 6 1 11 306 22 175 33 481
24,5 6 1 11 327 22 414 33 741
25,5 6 1 10 899 22 107 33 006

Tab.6. Wyniki zużycia energii elektrycznej dla testu nr 2 (komora testowa nr 2) przy włączonych 6 klimatyzatorach HD i 1 klimatyzatorze XDC.

 

Nastawa temperatury Ilość klim. HD Ilość klim. XDC Zużycie energii KLIM Zużycie energii IT Całkowite zużycie energii
[°C] [szt.] [szt.] [kWh] [kWh] [kWh]
23,5 7 1 11 702 22 135 33 837
24,5 7 1 11 658 22 146 33 804
25,5 7 1 11 483 22 285 33 768

Tab.7. Wyniki zużycia energii elektrycznej dla testu nr 2 (komora testowa nr 2) przy włączonych 7 klimatyzatorach HD i 1 klimatyzatorze XDC.

 

W tabeli 5 możemy zauważyć, jak ze wzrostem temperatury spada zużycie energii pobieranej przez klimatyzację, ale rośnie za to zużycie energii zużywanej przez urządzenia serwerowe. Spowodowane jest to tym, że wentylatory urządzeń pracują na większych obrotach, żeby schłodzić procesory zainstalowane w serwerach.

Trzecim testem było porównanie zużycia energii elektrycznej dla komór testowych przy przełączeniu UPSów zasilających jednostki klimatyzacyjne z trybu podstawowego „online” na tryb DIM „digital interactive mode”. W takim przypadku urządzenia podłączone do takich UPSów pobierają zasilanie bezpośrednio z sieci, w przypadku braku zasilania bypass elektroniczny, na którym są podłączone urządzenia przełącza je na pracę z baterii przez falownik UPS. Przełączenie to jest bardzo szybkie i trwa od 5 do 20 ms, dla urządzeń klimatyzacyjnych takie przełączenie nie jest widoczne z zewnątrz i pracują one prawidłowo bez jakichkolwiek zakłóceń.

Tryb pracy UPS-KLIM Nastawa temperAtury Ilość klim. HD Ilość klim. XDC Zużycie energii KLIM Zużycie energii IT Całkowite zużycie energii
[-] [°C] [szt.] [szt.] [kWh] [kWh] [kWh]
online 24,0 6 1 12 257 13 941 26 198
digital interactive mode 24,0 6 1 11 971 16 170 28 141

Tab.7. Wyniki zużycia energii elektrycznej dla testu nr 3 (komora testowa nr 1) przy zmianie trybu pracy UPSów.

 

Tryb pracy UPS-KLIM Nastawa temperAtury Ilość klim. HD Ilość klim. XDC Zużycie energii KLIM Zużycie energii IT Całkowite zużycie energii
[-] [°C] [szt.] [szt.] [kWh] [kWh] [kWh]
online 23,5 7 1 11 483 22 285 33 768
digital interactive mode 23,5 7 1 11 861 22 226 34 087

Tab.8. Wyniki zużycia energii elektrycznej dla testu nr 3 (komora testowa nr 2) przy zmianie trybu pracy UPSów.

 

Niestety z podanych danych nie można jasno określić przy jakim ustawieniu zużycie energii jest mniejsze. Z tego co podaje producent urządzeń UPS, przejście w tryb pracy DIM „digital interactive mode” powinno przynosić oszczędności energii zużywanej przez same urządzenie UPS, co przekłada się na całkowite zużycie energii przez klimatyzację.

Wnioski

W chwili obecnej dążymy w naszej serwerowni Onet Data Center do zmniejszania zużycia energii elektrycznej przez różnego rodzaju zmiany w systemach klimatyzacji oraz zasilania awaryjnego UPS. Zmniejsza się tym samym koszty utrzymania serwerowni oraz Portalu, a przy okazji zmniejsza zanieczyszczenie środowiska naturalnego. Zabiegi tego typu są w tej chwili bardzo modne wśród firm i personelu odpowiedzialnego za utrzymanie tak ważnych obiektów jakimi są w tej chwili serwerownie. Firma Onet.pl inwestuje ogromne nakłady finansowe również w upgrade sprzętu pracującego na potrzeby portalu, w tej chwili montowane są w nowoczesnych serwerach wydajne procesory o zmniejszonym zapotrzebowaniu w energię elektryczną oraz instaluje się serwery o zwiększonej gęstości (serwery typu Blade Center).

Po drugiej stronie dążenia do minimalizowania zużycia energii elektrycznej stoi stabilność pracy urządzeń zainstalowanych w komorach serwerowych. Jeśli temperatura będzie zbyt wysoka, serwery zaczną się samoczynnie wyłączać i praca portalu będzie zagrożona. Dlatego też podczas optymalizacji zużycia energii elektrycznej należy się kierować przede wszystkim rozwagą i zachowaniem bezpieczeństwa. Prawidłowym rozwiązaniem jest włączenie zawsze (w celu zapewnienia redundancji) 1 lub 2 urządzeń klimatyzacyjnych więcej, niż wynika to z obliczeń w celu zapobiegnięcia nagłego wzrostu temperatury w przypadku awarii któregoś z tych klimatyzatorów. W komorze testowej nr 1 klimatyzacja została skonfigurowana na 24,0°C i 45% RH przy włączonych 7 urządzeniach klimatyzacji precyzyjnej i 1 urządzeniu klimatyzacji zagęszczonej. W komorze nr 2 pracuje w tej chwili 6 jednostek klimatyzacji precyzyjnej i 1 jednostka klimatyzacji zagęszczonej przy parametrach 25,5 °C i 40 % RH. Jest to bezpieczny poziom z punktu widzenia chłodzenia i zapewnienia odpowiedniej jednorodności temperatury w pomieszczeniu komory serwerowej.

Na chwilę obecną w serwerowni Onet.pl zapotrzebowanie na energię elektryczną potrzebną do odprowadzenia energii cieplnej wytworzonej przez sprzęt IT wynosi około 37% całkowitego zużycia energii elektrycznej.

Pierwszą iterację testu opisywaliśmy w artykule Testy zużycia energii elektrycznej w Onet Data Center.

 

Konrad Sutuła
Specjalista ds. rozwoju i utrzymania serwerowni