Sprzęt, to podstawowy element każdego systemu IT. Na nim opierają się wszystkie aplikacje, a głównym celem jego działania jest zapewnienie wszelkich parametrów potrzebnych do funkcjonowania dowolnego systemu IT.

Z punktu widzenia „zielonej” serwerowni, czy innych nowoczesnych systemów, bardzo ważnym aspektem jest energooszczędność poszczególnych komponentów sprzętowych oraz optymalizacja aplikacji dla lepszej utylizacji zasobów. Pomagają w tym technologie klastrowe, konsolidacja aplikacji, czy wirtualizacja zasobów.

W Onecie od dłuższego czasu prowadzone są prace nad wyszukiwaniem miejsc, gdzie możliwa jest optymalizacja zasobów w kierunku energooszczędności. W ramach różnych projektów prowadzone są prace takie jak: testy sprzętu i aplikacji dla zagwarantowania globalnej oszczędności energii. W przypadku sprzętu możemy skupić się na 2 elementach, jakimi są systemy serwerowe i systemy dyskowe.

Jaki Hardware?

Jest to trudne pytanie i niestety odpowiedź na nie nie jest prosta – zależy od szczegółowej analizy poszczególnych komponentów. Chyba najważniejszą regułą, jakiej należy trzymać się w przypadku wyboru sprzętu „zielonego”, jest: „budować system dopasowany dokładnie do potrzeb – nie ma rozwiązań uniwersalnych”.

Uniwersalizm w konwencjonalnych rozwiązaniach to haczyk, na jaki łapie się wiele osób. Początkowo pozwala on obcinać koszty i zmniejszyć nakłady na research, development i utrzymanie, jednak później okazuje się, że tak dobrany sprzęt nie przystaje do wszystkich systemów, a to powoduje marnowanie zasobów.

Najlepszym sposobem zapewnienia sobie energooszczędności sprzętu, jest wykorzystanie takich komponentów, które same z siebie zapewniają taki tryb pracy. Od strony systemu operacyjnego zapewnianie oszczędności energetycznej jest dodatkowym aspektem branym pod uwagę, jednak jest ono mało efektywne jeżeli sam sprzęt nie oferuje takich opcji.
Najlepszym zestawem jest hardware, który out-of-the-box zapewnia nam wszelkie opcje i są one niezależne od systemu operacyjnego.

Procesory wspierające rozwiązania z notebooków i o niższym TPD (Thermal Power Dissipation)

Od pewnego okresu producenci, pod naporem modnego hasła „Green”, oraz naturalnego procesu, który rozwijał się w systemach mobilnych, wprowadzili jednostki centralne bardziej energooszczędne, podlegające sprawniejszej kontroli zużycia energii. Bardzo ważne jest, aby wybierać jednostki, które spełnią nasze oczekiwania, nie tylko w kwestii wydajności, ale również takie, które oferują niższy wskaźnik TPD.

Niskonapięciowe pamięci RAM

W wielu nowych serwerach, stosuje się już pamięci low-voltage, które, podobnie jak procesory mają za zadanie obniżyć ogólne zużycie energii całego systemu. Jest to ważne z punktu widzenia coraz bardziej pojemnych jednostek, wyposażonych w bardzo dużą ilości banków na kości pamięci, co sprzyja instalacji dużej ilości modułów o dużej pojemności. To wszystko powoduje, że mała oszczędność na każdej kości pamięci, może spowodować realnie widoczny zysk.

Dyski SDD, czy nisko-energetyczne dyski magnetyczne

Dyski SSD w ogólnej opinii przedstawiane są jako energooszczędna opcja. Nie jest to jednak do końca prawda: realnie dyski SSD są minimalnie bardziej energooszczędne od konwencjonalnego dysku SAS 2.5″. W ostatnich latach systemy dyskowe, wychodzą z 3.5″ dysków w kierunku dysków 2.5″ z jednej strony, a z drugiej pojawia się przeciwwaga, jaką jest technologia pamięci Flash. Mniejsze, pojemne dyski magnetyczne 2.5″, to więcej głowic i jednostek operujących jednocześnie na powierzchni, którą wcześniej zajmowały dyski 3.5″. Pozwala to poprawić ilość operacji I/O na sekundę, czasy dostępu do danych, czy pojemność.

Tam jednak, gdzie pojemność nie jest czynnikiem kluczowym, dysk SSD będzie lepszym wyborem, ponieważ jeden dysk oferuje wydajność paru dysków magnetycznych, a to realnie zwiększa jego atrakcyjność. Dlatego właśnie porównanie jednego dysku SSD z jednym dyskiem magnetycznym nie pokazuje realnej korzyści, lecz w dużym setupie zysk energetyczny jest bardzo widoczny. W przypadku pojemności wciąż prym wiodą tańsze rozwiązania magnetyczne z interfejsem SATA, najczęściej w 3.5″ obudowie.

Chipsety, komponenty w płytach głównych, czy karty I/O, które zapewniają lepsze współczynniki TPD

Nowe układy, tak jak jednostki centralne, posiadają większą integrację komponentów, co poprawia ich skuteczność energetyczną. Technologie, w jakich wytwarzane są układy, również mocno przyczyniają się do spadku zużycia energii. Tutaj widać naturalny proces rozwoju technologii, która przekłada się na poprawę wszystkich parametrów systemu.

Mniejsza liczba wysokoobrotowych wentylatorów chłodzących i/lub o mniejszej prędkości obrotowej, tym samym większej średnicy. Ten temat jest bardzo ważny, i często niedoceniany. Pojedyncze serwery samodzielne posiadają dość spore zestawy wentylatorów chłodzących. Popatrzmy na problem z perspektywy typowych maszyn 1U, 2U. Używa się tam tych samych wentylatorów o małej średnicy i dużej prędkości obrotowej, które konsumują spore ilości energii. Przy dużej ilości takich jednostek w szafie, strata na „przedmuchiwanie” powietrza, staje się realnie widoczna. Jaką mamy alternatywę?

Alternatywą są systemy typu kasetowego (Blade), czy jednostki klastrowe o zmniejszonej redundancji komponentów, często używane w klastrach obliczeniowych HPC. Systemy typu kasetowego posiadają jednostkę centralną, która oferuje wydajne chłodzenie dużej liczby maszyn, a w tym wypadku centralizacja poprawia energooszczędność i efektywność rozwiązania. Systemy klastrowe o mniejszej redundancji, oferują mniejszą ilość wentylatorów o większej średnicy, a co za tym idzie: mniejszą prędkość obrotową i zużycie energii. Wentylatory te obsługują często jednocześnie dwie jednostki, co mocno poprawia skuteczność takiego rozwiązania.

Zasilacze o wysokiej sprawności, przy niskich obciążeniach

Problem jest podobny jak wyżej: często niewidoczny na pierwszy rzut oka, jednak zauważany w ostatnich latach przez producentów. Zasilacze spełniające normy 80+, w wersjach Gold i Platinum, pozwalają uzyskać wysoką sprawność energetyczną, co realnie przekłada się na spadek wydzielanego ciepła, więc również na oszczędność takiego systemu.

Wszystkie te parametry sumarycznie powodują, że konkurencyjność nowych jednostek jest znaczna, a mniej wydzielanego ciepła przez jednostki powoduje również realne oszczędności systemu chłodzenia w obiekcie.

 

Wykres obrazuje zestaw wielu maszyn testowanych przez nas, lub będących w ruchu produkcyjnym. Widać na nim trzy części:

  • lewa część to serwery typu samodzielnego do montażu w racku,
  • w środku serwery typu Blade (wartości biorą pod uwagę zasilanie całego Chassis z Blade’ami),
  • po prawej – maszyny o większej gęstości energetycznej i mniejszej redundancji, do rozwiązań klastrowych.

Systemy pamięci masowych

Drugim, jakże ważnym elementem, jest storage, czyli infrastruktura i systemy pamięci masowych. Aby zapewnić sobie elastyczny, łatwy z zarządzaniu, wydajny oraz energooszczędny system, należy skupić się na różnych modelach i aspektach budowy systemów dyskowych. W pierwszej kolejności należy poznać swój system i określić jego wymagania od strony zasobów dyskowych. Należy uwzględnić następujące parametry:

  • ile nasz system generuje operacji I/O na sekundę (IOPS)?
  • jaką przepustowość transmisji danych utylizuje?
  • jakiej pojemności wymagamy?

Te podstawowe parametry należy przełożyć na dalszy rozwój projektu i oszacować jak będą się one zmieniać. Na tej podstawie należy wybrać odpowiednie rozwiązanie systemu dyskowego:

  • Czy będzie to system generujący duże ilości IOPS, ale wymagający relatywnie małej przestrzeni – wybór może paść na lokalne dyski SSD i energooszczędną platformę np. typu Blade.
  • Czy będzie to system generujący średnie ilości IOPS, wymagający średniej wielkości pojemności – wybór może paść na serwer Rackowy z dużą ilością dysków lokalnych SAS/FC (typ dysku, interfejsu), może to być także Blade z macierzą dyskową SAS/FC lub z JBOD’em dyskowym SAS.
  • Czy będzie to magazyn danych, archiwum z małą ilością IOPS, ale dużą pojemnością – wybór może paść na maszynę z dużą ilością dysków lokalnych typu SATA, JBOD’em SATA lub macierzą dyskową SATA.

Z przeprowadzonych testów i doświadczeń wynika, że duże systemy dyskowe, skupione w jednym miejscu – tak jak np. macierz dyskowa, czy duży JBOD, to relatywnie najbardziej energooszczędne rozwiązanie, posiadające najlepszy współczynnik ilości Wattów na 1 TB przestrzeni dyskowej. Z takiego systemu dyskowego może korzystać wiele systemów oddalonych od samej macierzy. Jest to również elastyczne rozwiązanie, pozwalające łatwo zarządzać zasobami dyskowymi.

Najważniejsze jest jednak to, że pozwala uwolnić się od decyzji jaką maszynę musimy użyć, aby zapewnić odpowiednią pojemność i wydajność dla naszego serwera. Dzięki temu możliwy jest wybór jak najbardziej efektywnego energetycznie rozwiązania po stronie serwera, oraz udostępnienie zasobów dyskowych z centralnego systemu dyskowego, który jest również rozwiązaniem efektywnym energetycznie.

Poniższa tabela obrazuje różne kombinacje testowanych setupów.

 

Opis kolumn:

  • W / 10 Rack – ile wattów użyje cały setup, maszyna, lub maszyna + macierz w przestrzeni 10 szaf 42U – wartości wyskalowane od 0-100% punktacji.
  • Core CPU / maszyne – ile każda z maszyn posiada core’ów CPU, wyskalowane od 0-100% punktacji.
  • Pojemnosc TB / Rack – współczynnik pojemności w powierzchni 42U wyskalowany od 0-100% punktacji.
  • IOPS / Rack – ilość operacji I/O, jaka jest możliwa na powierzchni 42U, wyskalowane od 0-100% punktacji.

Aby przeprowadzić testy, których wyniki znajdują się w powyższej tabeli, wykorzystaliśmy naszą instalacje w nowym Data Center, oraz specjalnie stworzony Green-LAB, przystosowany do dokładnych pomiarów używanej energii, przez poszczególne testowane setupy, przy różnych parametrach środowiskowych.

Jak widać wyżej wybór nie jest zawsze jasny i należy dobierać rozwiązanie do danego projektu. Istnieją rozwiązania zapewniające ekstremalne ilości IOPS, jednak przy relatywnie niewielkiej pojemności i odwrotnie, mała ilość IOPS, ale bardzo duża pojemność. Każdy musi wybrać rozwiązanie do własnych potrzeb.

Podsumowując

Należy pamiętać o tym, że bycie „Green”, to przeświadczenie o działaniu optymalnym, wypracowanie standardów oraz ciągły proces, w każdym elemencie infrastruktury. Wybór platformy sprzętowej nigdy nie powinien być priorytetem ponad architekturę software’ową i ten sam mechanizm powinien działać w drugą stronę. Równowaga musi istnieć, inaczej pojawiają się problemy.

Cała platforma sprzętowa powinna tworzyć uzupełniające się środowisko, które powinno być skalowalne i powinno pozwalać zbudować setup do danego rozwiązania. Oprogramowanie zarządzające powinno być scentralizowane, dla sprawniejszego rozwiązywania problemów hardware’owych oraz rozwoju platformy.

Ważne jest również to, abyśmy nie budowali rozwiązań, które tylko „załatają” nasze aktualne problemy, ale wyszli naprzeciw przyszłości: analizowali trendy na rynku oraz to, w jakim kierunku powinniśmy rozwijać naszą architekturę, aby sprostać temu, co nadejdzie.

 

Sławomir Skowron
Inżynier Systemów Unix