Macierz IBM serii 5000, to system klasy midrange.

Macierz DS5000, to 2 kontrolery – dolny i górny, realizujące cala logikę. Wszystko jest redundantne, włącznie z połączeniami do sieci SAN.

Każdy kontroler podłączony jest jednocześnie do każdego z fabrików. Fabrik, to całkowicie odrębna i niezależna sieć SAN. Siec SAN, składa się u nas w danej lokalizacji z dwóch fabrików, które są lustrzanymi odbiciami konfiguracji połączonych urządzeń, co gwarantuje pełną redundancję. Każdy host podłączony jest jednym portem do jednego fabrika, a drugim do drugiego. Dyski z macierzy widzi jednocześnie na dwóch portach, dzięki podłączeniu macierzy w taki sam sposób.
Kontrolery, są również redundantne od strony połączeń wewnętrznych. Oznacza, to, że każda półka posiada dwa moduły ESM, odpowiadające za komunikację z kontrolerem i transmisję danych. Kontroler podłączony jest poprzez pętle z n-ilością półek, z każdej strony osobnym ESM, gwarantując również pełną redundancję z tej strony.

Każdy z kontrolerów posiada u nas po 8 GB cache na kontroler, który mirrouje się miedzy kontrolerami. Cały backend do półek i hostów działa po 4Gb/s. Wewnątrz działa protokół FC, który niesie SCSI. Do sieci SAN i do półek z każdego kontrolera wychodzi 8 portów 4Gb/s.

Nasz setup to DS5300, który jest najmocniejszą wersją tego kontrolera, a która między innymi pozwala podłączyć pełną ilość półek exp5060 w ilości 8 półek. Raidy zakładane są w „pionie”, to znaczy, że poszczególne dyski w ramach zakładanego arraya obejmują wszystkie półki, przy założeniu, że w jednej półce jest tylko jeden dysk należący do danej Raid grupy. Dzieki takiemu ułożeniu zapewniamy sobie odporność na uszkodzenie całej półki, a w przypadku nowych półek exp5060, również poszczególnych szuflad. To wszystko w Raid6 daje mozliwość uszkodzenia do 2 półek, lub 2 szuflad.

Dodatkowo gwarantujemy sobie składajac po stronie aplikacji, czy innego Hardware to, że dyski są rownomiernie obciążane i w danym momencie działają wszystkie głowice. To jest klucz do sukcesu wykorzystania dyskow SATA. W dużej ilości są wystarczajaco silne, aby radzić sobie nawet z wysoką iloscią IOPS, gwarantując tym samym sporą pojemność użytkową.

Kontrolery obsługują RAID 0,1,3,4,5,6 wraz z podtrzymaniem bateryjnym cache, co gwarantuje zabezpieczenie bloków nie zapisanych na dyskach w przypadku nieoczekiwanego wyłączenia zasilania macierzy. Dodatkowo przed rozładowaniem baterii dane zapisywane są w pamięci flash, co gwarantuje nam bardzo długi czas wyłączenia macierzy.

Półka exp5060, w swojej konstrukcji również jest redundantna. Każda półka posiada dwa zasilacze i dwa moduły wentylujące, gdzie jeden wystarczy do działania całego setupu. W każdej półce znajduje się 5 szuflad, a w każdej po 12 dysków. W maksymalnym setupie daje to 480 dysków 3.5″ SATA. Przy 1TB dyskach daje to 480TB RAW space, czyli pojemności bez RAID, w przypadku 2TB dysków to 960TB RAW.

Pojemność w RAID jest rożna, zależy od ilości przydzielonych hot-spare (dyski oczekujące na awarię sprawnego dysku, gdzie hot-spare wpada na miejsce uszkodzonego, przywracając RAID do stanu stabilnego).

Wewnątrz półka exp5060 wygląda tak:

  • Pomarańczowe z przodu, to dyski 3.5″ SATA
  • Niebieskie to moduły wentylujące
  • Zielone to zasilacze
  • Pomarańczowe z tyłu to moduły ESM

Ile oszczędzamy przechodząc z półek exp810 – 16 dysków SATA 3.5″? Poprzednie modele DS4000 i DS5000 (po lewej), względem nowych exp5060 (po prawej), pokazuje poniższy obrazek:

Półki exp5060 to w tym momencie najbardziej efektywny pod względem zajmowanej przestrzeni / ilości TB, setup na rynku.

Aby lepiej pokazać jak to wygląda zamieszczam schemat podłączenia takiej macierzy w serwerowni do hostów, w tym wypadku do maszyn kasetowych Blade:

 

Dodatkowo podobna sytuacja w przypadku mniejszego DS3000 i hosta z samodzielną kartą:

Teraz trochę fotek z żywego setupu w serwerowni na ul. Dąbka.

Macierz od frontu 360 dysków w 24U + kontroler 4U powyżej.

Macierz od tyłu. Półki są tak długie. Trzeba było wymontować listwy i powiesić je tak, jak będą wisieć rittale docelowo, całe miejsce jest w nich wykorzystane maksymalnie.

Tutaj jedna z półek od tyłu. Po lewej i prawej moduły wentylujące, w środku u góry i na dole zasilacze, a pomiędzy nimi moduły ESM z podpiętymi światłowodami z pętli od strony kontrolerów macierzy.

Z zaślepkami kontroler u góry i polki niżej, z daleka jak polki IBM Nseries :)

Jedna półka bez zaślepki. 5 szuflad po 12 dysków 3.5″ 1TB SATA 7200RPM. W sumie 60 dysków w półce, a półek możne być 8, co daje 480 dysków.

Wysunięta jedna szuflada z dyskami. Można ją wysunąć online w trakcie pracy macierzy, aby wymienić np. uszkodzony dysk.

Dyski maja jedynie przykręcona dźwignię, poprzez którą można wyciągnąć uszkodzony dysk.

W dolnej części szuflady cała elektronika potrzebna do obsługi dysków na niej, a jednocześnie cześć elementów elektroniki całej półki.

To niestety dość niewyraźne, ale tak wygląda półka z wyciągniętymi z niej szufladami. Z tyłu jedynie płytka do której podłączane są kable transmisyjne z szuflad, a do niej podłączane są ESM, do nich światłowody z kontrolerów i mamy pełną komunikację :) Do niej również podłączane są zasilacze. Reszta to obudowa z blachy na szynach.

Takim kablem podłączana jest półka (płytka) do każdej z szuflad. W tym plastikowym łańcuchu znajduje się taśma transmisyjna. Na końcach szyny wsuwane za zatrzask do slotów w obudowie i szufladzie.

Szuflada po wyciągnięciu. W to białe złącze trafia właśnie wcześniejszy kabel transmisyjny. Każda szuflada ma redundantne połączenie i w każdej półce znajdują się redundantne ESM obsługujące transmisję z szuflad. Jak widać elektronika jest redundantna.

Ostatnie zdjęcie. Cześć dysków wyjęta z szuflad. Widać, że każde miejsce na dysk to jedynie złącze + zaczepy do założenia dźwigni z dyskiem.

Mam nadzieję, że się podoba :). Robi wrażenie.

Macierz w sieci SAN daje możliwości, których nie daje setup z lokalnymi dyskami. Umożliwia zerwanie z tym, co dawniej blokowało SCSI, przy zwiększonej niezawodności i szybkości. Jeżeli posiadasz system, który musi być mobilny, wirtualny to macierz jest świetnym wyborem. Jeżeli posiadasz aplikacje lub system, którego nie możesz użyć z różnych względów na lokalnej maszynie, to macierz w sieci SAN, pozwoli wystawiać spore ilości danych przy zachowaniu dużej ilości IOPS do takiej maszyny, przy jednocześnie zerowej ingerencji w jej hardware.

Sławomir Skowron
Inżynier Systemów Unix