Systemy i sieci pamięci masowej. Rodzaje łączności z pamięcią masową. Przykłady modeli NAS

Prześlij rozwiązanie    Odpowiadamy w dni powszednie
   W godzinę

Andrey Olovyannikov,[chroniony e-mailem]teren

Zgódźmy się….

Celem tego artykułu nie jest szczegółowe badanie różnych systemów pamięci masowej (SHD). Nie będziemy analizować wszelkiego rodzaju interfejsów - oprogramowania i sprzętu - używanych do tworzenia różnych sposobów przechowywania danych. Nie będziemy rozważać wąskich gardeł różnych rodzajów systemów pamięci masowej. Nie zobaczysz tutaj szczegółowej dyskusji na temat protokołów iSCSI i ich implementacji w postaci FC (Fibre Channel), SCSI itp.

Nasze zadanie jest znacznie skromniejsze - wystarczy „uzgodnić terminologię” z naszym potencjalnym nabywcą. Tak więc dwóch fizyków, przed rozpoczęciem dyskusji na temat problemu, dochodzi do porozumienia co do procesu lub zjawiska, które będą oznaczać jednym lub drugim słowem. Jest to konieczne, aby zaoszczędzić czas i komórki nerwowe oraz prowadzić bardziej produktywną rozmowę i czerpać z niej przyjemność.

SHD czy ... SHD?

Zacznijmy, jak mówią, od początku.

Przez systemy pamięci masowej rozumiemy to samo, jako systemy przechowywania danych i oprogramowania, które służą jako niezawodny, szybki i łatwy sposób przechowywania i uzyskiwania dostępu do danych dla organizacji na różnych poziomach zarówno finansowych, jak i strukturalnych. Chcę tylko zwrócić uwagę na fakt, że różne firmy mają różne potrzeby przechowywania informacji w takiej czy innej formie oraz różne możliwości finansowe ich wdrożenia. Ale w każdym razie chcemy zauważyć, że bez względu na to, ile pieniędzy lub specjalistów tego lub innego poziomu pozostaje do dyspozycji kupującego, nalegamy, aby wszystkie ich potrzeby pasowały do \u200b\u200bnaszej definicji systemów pamięci masowej - niezależnie od tego, czy jest to zwykły zestaw dysków o dużej pojemności, czy złożona wielopoziomowa struktura PCS (Parallels Cloud Storage). Ta definicja, naszym zdaniem, obejmuje inny powszechnie używany skrót przetłumaczony na angielski - SHD jako Storage Area Network (SAN). SAN zilustrujemy nieco poniżej, gdy mówimy o typowych sposobach implementacji pamięci.

Najbardziej typowym i zrozumiałym sposobem wykonywania pamięci jest DAS - Direct Attached Storages - dyski, które łączą się bezpośrednio z komputerem, który kontroluje działanie tych dysków.

Najprostszym przykładem DAS jest typowy komputer z zainstalowanym dyskiem twardym lub dyskiem DVD (CD). Bardziej skomplikowanym przykładem (patrz rys.) Jest zewnętrzne urządzenie magazynujące (zewnętrzny dysk twardy, półka dyskowa, napęd taśmowy itp.), Które komunikuje się z komputerem bezpośrednio przez określony protokół i interfejs (SCSI, eSATA, FC itp.). re.). Półki dyskowe lub serwery do przechowywania danych oferujemy jako inne urządzenie pamięci masowej DAS (inny skrót SHD).

Serwer przechowywania danych w tym przypadku implikuje określony komputer z własnym procesorem, systemem operacyjnym i wystarczającą pamięcią do przetworzenia dużych ilości danych przechowywanych na wielu dyskach wewnątrz serwera.

Należy zauważyć, że przy takim wykonaniu systemu pamięci masowej tylko komputer z DAS bezpośrednio widzi dane, wszyscy inni użytkownicy mają dostęp do danych tylko za „pozwoleniem” tego komputera.

Możesz zobaczyć podstawowe konfiguracje pamięci DAS w

Systemy magazynoweNAS

Kolejna dość prosta implementacja pamięci - NAS (Network Attached Storage) - Pamięć sieciowa (ponownie ten sam skrót dla pamięci masowej).

Jak staje się jasne, dostęp do danych odbywa się z reguły za pośrednictwem protokołów sieciowych za pośrednictwem znanej nam komputerowej sieci LAN (chociaż bardziej skomplikowany dostęp do danych przechowywanych w zasobach sieciowych stał się już powszechny). Najbardziej zrozumiałym i najprostszym przykładem pamięci NAS jest domowe repozytorium muzyki i filmów, do którego jednocześnie ma dostęp kilku użytkowników sieci domowej.

NAS przechowuje dane w postaci systemu plików i, odpowiednio, zapewnia dostęp do zasobów poprzez sieciowe protokoły plików (NFS, SMB, AFP ...).

Prosty przykład implementacji pamięci NAS pokazano na ryc. 2)

Chcemy od razu zauważyć, że NAS można zasadniczo uznać za dowolne urządzenie inteligentne, które ma własny procesor, pamięć i wystarczająco szybkie interfejsy sieciowe do przesyłania danych przez sieć do różnych użytkowników. Ponadto należy zwrócić szczególną uwagę na szybkość podsystemu dyskowego. Możesz zobaczyć najbardziej typowe konfiguracje urządzeń NAS w

Storage Area Network - jeden ze sposobów implementacji pamięci masowej jako systemu przechowywania danych - patrz wyżej.

Jest to oprogramowanie, sprzęt i rozwiązanie architektoniczne do łączenia różnych urządzeń pamięci masowej w taki sposób, że system operacyjny „widzi” te urządzenia jako lokalne. Osiąga się to poprzez podłączenie tych urządzeń do odpowiednich serwerów. Same urządzenia mogą być różne - macierze dyskowe, biblioteki taśm, macierze napędów optycznych.

Wraz z rozwojem technologii pamięci masowej rozróżnienie między systemami SAN i NAS stało się dość arbitralne. Konwencjonalnie można je rozróżnić metodą przechowywania danych: SAN - urządzenia blokowe, NAS - system plików danych.

Protokoły wdrażania systemów SAN mogą być różne - Fibre Channel, iSCSI, AoE.

Jedną z architektonicznych metod implementacji SAN pokazano na ryc. 3)

Typowe przykłady przechowywania SAN można znaleźć w

Podsumowując, wyrażamy nadzieję, że byliśmy w stanie „uzgodnić terminologię” z Tobą i pozostaje tylko omówić opcje tworzenia pamięci masowej dla Twojej firmy i wybrać rozwiązania odpowiednie dla Ciebie pod względem niezawodności, prostoty i budżetu.

W najprostszym przypadku sieć SAN składa się z systemów pamięci, przełączników i serwerów połączonych optycznymi kanałami komunikacyjnymi. Oprócz systemów pamięci dyskowej bezpośrednio, sieci SAN mogą również łączyć biblioteki dysków, biblioteki taśm (napędy taśm), urządzenia do przechowywania danych na dyskach optycznych (CD / DVD itp.) Itp.

Przykład wysoce niezawodnej infrastruktury, w której serwery są podłączone jednocześnie do sieci lokalnej (po lewej) i sieci pamięci masowej (po prawej). Taki schemat zapewnia dostęp do danych znajdujących się w systemie pamięci w przypadku awarii dowolnego modułu procesora, przełącznika lub ścieżki dostępu.

Korzystanie z SAN pozwala zapewnić:

• scentralizowane zarządzanie zasobami serwerów i systemów pamięci masowej;
• podłączanie nowych macierzy dyskowych i serwerów bez zatrzymywania działania całego systemu pamięci masowej;
• korzystanie z wcześniej zakupionego sprzętu w połączeniu z nowymi urządzeniami do przechowywania danych;
• szybki i niezawodny dostęp do urządzeń do przechowywania danych znajdujących się w dużej odległości od serwerów * bez znacznych strat wydajności;
• przyspiesz proces tworzenia kopii zapasowej i odzyskiwania - BURA.

  Fabuła

Rozwój technologii sieciowych doprowadził do pojawienia się dwóch rozwiązań sieciowych dla systemów pamięci masowej - Storage Area Networks (SAN) do wymiany danych na poziomie bloków obsługiwanych przez systemy plików klienta oraz serwerów do przechowywania danych na poziomie sieci Network Attached Storage (NAS). Aby odróżnić tradycyjny sposób przechowywania od sieci, zaproponowano inny retronim - Direct Attached Storage (DAS).

Serwery DAS, SAN i NAS, które pojawiły się na rynku, sekwencyjnie odzwierciedlają zmieniające się łańcuchy połączeń między aplikacjami używającymi danych i bajtów na nośniku zawierającym te dane. Dawno, dawno temu same aplikacje czytały i zapisywały bloki, a następnie pojawiły się sterowniki jako część systemu operacyjnego. W nowoczesnych systemach DAS, SAN i NAS łańcuch składa się z trzech łączy: pierwsze łącze to tworzenie macierzy RAID, drugie to przetwarzanie metadanych w celu interpretacji danych binarnych w postaci plików i rekordów, a trzecie to usługi dostarczania danych do aplikacji. Różnią się one miejscem i sposobem realizacji tych łączy. W przypadku DAS pamięć jest „pusta”, zapewnia jedynie możliwość przechowywania i dostępu do danych, a wszystko inne odbywa się po stronie serwera, zaczynając od interfejsów i sterowników. Wraz z nadejściem SAN udostępnianie RAID przenosi się na stronę przechowywania; wszystko inne pozostaje takie samo jak w przypadku DAS. NAS różni się tym, że metadane są również przesyłane do systemu pamięci masowej w celu zapewnienia dostępu do plików, w tym przypadku klient musi jedynie obsługiwać usługi danych.

Pojawienie się SAN było możliwe po opracowaniu protokołu Fibre Channel (FC) w 1988 r. I zatwierdzeniu ANSI jako standardu w 1994 r. Termin Storage Area Network sięga 1999 roku. Z czasem FC ustąpił miejsca sieci Ethernet i stał się powszechnym interfejsem IP-SAN z łącznością iSCSI.

Idea sieciowego serwera pamięci NAS należy do Briana Randalla z University of Newcastle i została wdrożona na komputerach na serwerze UNIX w 1983 roku. Pomysł ten był tak udany, że został przyjęty przez wiele firm, w tym Novell, IBM i Sun, ale ostatecznie zastąpił liderów NetApp i EMC.

W 1995 r. Garth Gibson opracował zasady NAS i stworzył Object Storage Systems (OBS). Zaczął od podzielenia wszystkich operacji dyskowych na dwie grupy; jedna obejmowała częściej wykonywane operacje, takie jak czytanie i zapis, a druga, rzadsze, takie jak operacje z nazwami. Następnie zaproponował, oprócz bloków i plików, inny kontener, który nazwał nim obiekt.

OBS wyróżnia się nowym typem interfejsu, nazywany jest obiektem. Usługi danych klienta współdziałają z metadanymi przy użyciu interfejsu API obiektu. OBS nie tylko przechowuje dane, ale także obsługuje RAID, przechowuje metadane związane z obiektami i obsługuje interfejs obiektowy. DAS, SAN, NAS i OBS współistnieją w czasie, ale każdy z rodzajów dostępu jest bardziej spójny z określonym rodzajem danych i aplikacji.

  Architektura SAN

  Topologia sieci

SAN to szybka sieć danych przeznaczona do łączenia serwerów z urządzeniami pamięci masowej. Różnorodne topologie SAN (punkt-punkt, pętla arbitrażowa i przełączanie) zastępują tradycyjne połączenia magistrali serwer-pamięć i zapewniają większą elastyczność, wydajność i niezawodność. Podstawą koncepcji SAN jest możliwość połączenia dowolnego serwera z dowolnym urządzeniem do przechowywania danych korzystającym z protokołu Fibre Channel. Zasada interakcji węzłów w sieci SAN z topologiami punkt-punkt lub przełączaniem pokazano na rysunkach. W sieci SAN z topologią pętli arbitrażowej dane są przesyłane sekwencyjnie od węzła do węzła. Aby rozpocząć transfer danych, urządzenie nadawcze inicjuje arbitraż dotyczący prawa do korzystania z nośnika transmisji danych (stąd nazwa topologii - Pętla Arbitrażowa).

Transport SAN oparty jest na protokole Fibre Channel, z wykorzystaniem zarówno połączeń miedzianych, jak i światłowodowych.

  Komponenty SAN

Składniki SAN są podzielone na następujące:

• Zasoby do przechowywania danych;
• Urządzenia wdrażające infrastrukturę SAN;

  Adaptery magistrali hosta

  Zasoby do przechowywania danych

Zasoby pamięci obejmują macierze dyskowe, napędy taśm i biblioteki kanałów światłowodowych. Zasoby pamięci realizują wiele ze swoich możliwości tylko wtedy, gdy są uwzględnione w sieci SAN. Najwyższej klasy macierze dyskowe mogą replikować dane między macierzami za pośrednictwem sieci Fibre Channel, a biblioteki taśm mogą przesyłać dane na taśmę bezpośrednio z macierzy dyskowych za pomocą interfejsu Fibre Channel, omijając sieć i serwery (kopia zapasowa bez serwera). Najpopularniejszymi macierzami dyskowymi na rynku były EMC, Hitachi, IBM, Compaq (rodzina Storage Works, odziedziczona przez Compaq od Digital), a wśród producentów bibliotek taśm należy wymienić StorageTek, Quantum / ATL, IBM.

  Urządzenia infrastruktury SAN

Urządzenia SAN obejmują przełączniki Fibre Channel (przełączniki FC), koncentratory (koncentratory Fibre Channel) i routery (routery Fibre Channel-SCSI). Koncentratory są używane do łączenia urządzeń z pętlą arbitrażową Fibre Channel (FC_AL). ) Korzystanie z koncentratorów umożliwia podłączanie i odłączanie urządzeń w pętli bez zatrzymywania systemu, ponieważ koncentrator automatycznie zamyka pętlę, jeśli urządzenie jest wyłączone, i automatycznie otwiera pętlę, jeśli podłączono do niej nowe urządzenie. Każdej zmianie pętli towarzyszy złożony proces jej inicjalizacji. Proces inicjalizacji jest wieloetapowy i do jego zakończenia wymiana danych w pętli jest niemożliwa.

Wszystkie nowoczesne sieci SAN są zbudowane na przełącznikach, które umożliwiają pełne połączenie sieciowe. Przełączniki mogą nie tylko łączyć urządzenia Fibre Channel, ale także ograniczać dostęp między urządzeniami, dla których na przełącznikach tworzone są tak zwane strefy. Urządzenia umieszczone w różnych strefach nie mogą wymieniać między sobą informacji. Liczbę portów w sieci SAN można zwiększyć, łącząc ze sobą przełączniki. Grupa powiązanych przełączników nosi nazwę Fibre Channel Fabric lub po prostu Fabric. Połączenia między przełącznikami nazywane są łączami Interswitch lub w skrócie ISL.

  Oprogramowanie

Oprogramowanie pozwala na nadmiarowe ścieżki dostępu do serwerów do macierzy dyskowych i dynamiczne równoważenie obciążenia między ścieżkami. W przypadku większości macierzy dyskowych można łatwo ustalić, że porty dostępne za pośrednictwem różnych kontrolerów należą do tego samego dysku. Specjalistyczne oprogramowanie utrzymuje tablicę ścieżek dostępu do urządzeń i zapewnia rozłączanie ścieżek w razie wypadku, dynamiczne łączenie nowych ścieżek i równoważenie obciążenia między nimi. Z reguły producenci macierzy dyskowych oferują specjalistyczne oprogramowanie tego typu dla swoich macierzy. VERITAS Software produkuje oprogramowanie VERITAS Volume Manager przeznaczone do organizowania logicznych woluminów dysków z dysków fizycznych i zapewniania ścieżek dostępu do kopii zapasowych na dyskach, a także równoważenia obciążenia między nimi dla najbardziej znanych macierzy dyskowych.

  Użyte protokoły

Sieci pamięci masowej używają protokołów niskiego poziomu:

• Protokół Fibre Channel (FCP), transport SCSI przez Fibre Channel. Aktualnie najczęściej używany protokół. Dostępne są opcje 1 Gbit / s, 2 Gbit / s, 4 Gbit / s, 8 Gbit / s i 10 Gbit / s.
• transport iSCSI, SCSI przez TCP / IP.
• FCoE, transport FCP / SCSI przez czysty Ethernet.
• FCIP i iFCP, enkapsulacja i transmisja FCP / SCSI w pakietach IP.
• HyperSCSI, transport SCSI przez Ethernet.
• Transport FICON przez Fibre Channel (używany tylko przez komputery mainframe).
• ATA przez Ethernet, transport ATA przez Ethernet.
• Transport SCSI i / lub TCP / IP przez InfiniBand (IB).

  Korzyści

• Wysoka niezawodność dostępu do danych znajdujących się w zewnętrznych systemach pamięci masowej. Niezależność topologii SAN od używanych systemów pamięci masowej i serwerów.
• Scentralizowane przechowywanie danych (niezawodność, bezpieczeństwo).
• Wygodne scentralizowane zarządzanie przełączaniem i danymi.
• Przenieś intensywny ruch we / wy do oddzielnej sieci - odciążenie sieci LAN.
• Wysoka prędkość i małe opóźnienia.
• Skalowalność i elastyczność logicznej struktury SAN
• Geograficzne wymiary SAN, w przeciwieństwie do klasycznego DAS, są praktycznie nieograniczone.
• Możliwość szybkiego rozdzielania zasobów między serwerami.
• Możliwość budowania odpornych na uszkodzenia rozwiązań klastrowych bez dodatkowych kosztów w oparciu o istniejącą sieć SAN.
• Prosty schemat tworzenia kopii zapasowych - wszystkie dane są w jednym miejscu.
• Dostępność dodatkowych funkcji i usług (migawki, zdalna replikacja).
• Wysokie bezpieczeństwo SAN.

Współdzielenie systemów pamięci masowej zwykle upraszcza administrację i zapewnia dużą elastyczność, ponieważ kable i macierze dyskowe nie muszą być fizycznie transportowane i przełączane z jednego serwera na drugi.

Kolejną zaletą jest możliwość ładowania serwerów bezpośrednio z sieci pamięci. Dzięki tej konfiguracji możesz szybko i łatwo wymienić uszkodzoną.

Jeśli serwery są urządzeniami uniwersalnymi, które działają w większości przypadków
   - albo funkcja serwera aplikacji (gdy na serwerze są wykonywane specjalne programy i wykonywane są intensywne obliczenia),
   - albo funkcja serwera plików (tj. określone miejsce do scentralizowanego przechowywania plików danych)

następnie SHD (Data Storage Systems) - urządzenia specjalnie zaprojektowane do wykonywania takich funkcji serwera, jak przechowywanie danych.

Konieczność zakupu przestrzeni dyskowej
   zwykle powstaje w wystarczająco dojrzałych przedsiębiorstwach, tj. tych, którzy myślą o tym, jak
   - przechowuj i zarządzaj informacjami, najcenniejszym zasobem firmy
   - zapewnić ciągłość działania i ochronę przed utratą danych
   - zwiększenie możliwości dostosowania infrastruktury IT

Przechowywanie i wirtualizacja
   Konkurencja zmusza MŚP do wydajniejszej pracy, bez przestojów i wysokiej wydajności. Coraz częściej zachodzą zmiany modeli produkcji, planów taryfowych, rodzajów usług. Cały biznes współczesnych firm jest „związany” z technologią informatyczną. Potrzeby biznesowe zmieniają się szybko i natychmiast wpływają na IT - rosną wymagania dotyczące niezawodności i zdolności dostosowywania infrastruktury IT. Wirtualizacja zapewnia te możliwości, ale wymaga tanich, łatwych w utrzymaniu systemów pamięci masowej.

Klasyfikacja pamięci według rodzaju połączenia

Das. Pierwsze macierze dyskowe podłączone do serwerów przez SCSI. Jednocześnie jeden serwer może pracować tylko z jedną macierzą dyskową. Jest to bezpośrednie połączenie z pamięcią masową (DAS - Direct Attached Storage).

NAS. W celu bardziej elastycznej organizacji struktury centrum danych - aby każdy użytkownik mógł korzystać z dowolnego systemu pamięci - konieczne jest podłączenie systemu pamięci do sieci lokalnej. To jest NAS - Network Attached Storage). Ale wymiana danych między serwerem a systemem pamięci masowej jest wielokrotnie intensywniejsza niż między klientem a serwerem, więc w tej wersji wystąpiły obiektywne trudności związane z przepustowością sieci Ethernet. Z punktu widzenia bezpieczeństwa wyświetlanie systemów pamięci masowej we wspólnej sieci nie jest całkowicie poprawne.

San. Ale możesz stworzyć własną, oddzielną, szybką sieć między serwerami i pamięcią masową. Taka sieć nazywała się SAN (Storage Area Network). Wydajność zapewnia fakt, że fizycznym medium transmisyjnym jest optyka. Specjalne adaptery (HBA) i przełączniki optyczne FC zapewniają transmisję danych z prędkością 4 i 8 Gbit / s. Niezawodność takiej sieci została zwiększona dzięki redundancji (duplikacji) kanałów (adapterów, przełączników). Główną wadą jest wysoka cena.

iSCSI. Wraz z pojawieniem się tanich technologii Ethernet 1 Gb / s i 10 Gb / s optyka o prędkości transmisji 4 Gb / s nie wygląda tak atrakcyjnie, szczególnie biorąc pod uwagę cenę. Dlatego protokół iSCSI (Internet Small Computer System Interface) jest coraz częściej wykorzystywany jako środowisko SAN. Sieć SAN iSCSI może być zbudowana na dowolnej wystarczająco szybkiej podstawie fizycznej obsługującej protokół IP.

Klasyfikacja systemów pamięci masowej według zastosowania:

klasa	opis
osobisty	Najczęściej są to zwykłe dyski twarde 3,5 "lub 2,5" lub 1,8 ", umieszczone w specjalnej obudowie i wyposażone w interfejsy USB i / lub FireWire 1394 i / lub Ethernet i / lub eSATA.    Mamy zatem urządzenie przenośne, które może połączyć się z komputerem / serwerem i wykonywać funkcje dysku zewnętrznego. Czasami dla wygody do urządzenia dodawane są porty bezprzewodowe, drukarki i porty USB.
mała grupa robocza	Zwykle jest to urządzenie stacjonarne lub przenośne, w którym można zainstalować kilka (najczęściej od 2 do 5) dysków twardych SATA z możliwością wymiany podczas pracy lub bez, wyposażonych w interfejs Ethernet. Dyski można organizować w macierze RAID na różnych poziomach, aby osiągnąć wysoką niezawodność pamięci i szybkość dostępu. System pamięci ma wyspecjalizowany system operacyjny, zwykle oparty na systemie Linux, i umożliwia różnicowanie poziomu dostępu według nazwy użytkownika i hasła, organizowanie limitów miejsca na dysku itp.    Takie systemy pamięci masowej są odpowiednie dla małych grup roboczych, takich jak wymiana serwerów plików.
grupa robocza	Urządzenie jest zwykle montowane w 19-calowym stojaku (do montażu w szafie), w którym można zainstalować dyski HotSwap 12-24 SATA lub SAS z możliwością wymiany podczas pracy. Ma zewnętrzny interfejs Ethernet i / lub iSCSI. Dyski są zorganizowane w macierze RAID w celu osiągnięcia wysokiej niezawodność pamięci masowej i szybkość dostępu. Pamięć masowa jest dostarczana ze specjalistycznym oprogramowaniem, które pozwala różnicować poziomy dostępu, organizować limity miejsca na dysku, organizować tworzenie kopii zapasowych (informacje o kopii zapasowej) itp.    Takie systemy pamięci masowej są odpowiednie dla średnich i dużych przedsiębiorstw i są używane w połączeniu z jednym lub większą liczbą serwerów.
przedsiębiorstwo	Stacjonarne urządzenie lub urządzenie zamontowane w 19-calowym stojaku (do montażu w szafie), w którym można zainstalować do setek dysków twardych.    Oprócz poprzedniej klasy, systemy pamięci masowej mogą mieć możliwość budowania, aktualizowania i wymiany komponentów bez zatrzymywania systemu monitorowania. Oprogramowanie może obsługiwać migawki i inne zaawansowane funkcje.    Te systemy pamięci masowej są odpowiednie dla dużych przedsiębiorstw i zapewniają większą niezawodność, szybkość i ochronę najważniejszych danych.
wysokiej klasy przedsiębiorstwo	Oprócz poprzedniej klasy pamięć masowa może obsługiwać tysiące dysków twardych.    Takie systemy magazynowe zajmują kilka szaf 19-calowych; całkowita waga sięga kilku ton.    Systemy pamięci masowej są zaprojektowane do nieprzerwanej pracy o najwyższym stopniu niezawodności, przechowując strategicznie ważne dane na poziomie stanu / korporacji.

Historia problemu.

Pierwsze serwery połączyły wszystkie funkcje (takie jak komputery) w jednym pakiecie - zarówno w zakresie przetwarzania danych (serwer aplikacji), jak i przechowywania danych (serwer plików). Ale z uwagi na rosnące zapotrzebowanie na moc obliczeniową z jednej strony i wzrost ilości przetwarzanych danych z drugiej strony, po prostu niewygodne stało się umieszczanie wszystkiego w jednym pakiecie. Okazało się, że skuteczniejsze jest wyjmowanie macierzy dyskowych w oddzielnych przypadkach. Ale tutaj pojawiło się pytanie o podłączenie macierzy dyskowej do serwera. Pierwsze macierze dyskowe podłączone do serwerów przez SCSI. Ale w tym przypadku jeden serwer może działać tylko z jedną macierzą dyskową. Ludzie chcieli bardziej elastycznej organizacji struktury centrum danych - aby każdy serwer mógł korzystać z dowolnego systemu pamięci masowej. Podłączenie wszystkich urządzeń bezpośrednio do sieci lokalnej i organizacja wymiany danych przez Ethernet to oczywiście proste i uniwersalne rozwiązanie. Jednak wymiana danych między serwerami i pamięcią masową jest wielokrotnie intensywniejsza niż między klientami a serwerami, dlatego w tej wersji (NAS - patrz poniżej) wystąpiły obiektywne trudności związane z przepustowością sieci Ethernet. Pomysł polegał na stworzeniu oddzielnej szybkiej sieci między serwerami a pamięcią masową. Taka sieć nazywała się SAN (patrz poniżej). Jest podobny do Ethernetu, tylko fizycznym medium transmisyjnym jest optyka. Istnieją również adaptery (HBA), które są instalowane na serwerach i przełącznikach (optycznych). Standardy prędkości transmisji danych dla optyki - 4 Gbit / s. Wraz z pojawieniem się technologii Ethernet 1 Gbit / si 10 Gbit / s, a także protokołu iSCSI, Ethernet jest coraz częściej wykorzystywany jako środowisko SAN.

Zależność procesów biznesowych przedsiębiorstwa od IT stale rośnie. Dziś kwestię ciągłości usług IT zwraca się nie tylko do dużych firm, ale także przedstawicieli średnich i często małych firm.

Jednym z głównych elementów zapewniających odporność na uszkodzenia jest system przechowywania danych (SHD) - urządzenie, w którym wszystkie informacje są przechowywane centralnie. Pamięć masowa charakteryzuje się wysoką skalowalnością, odpornością na awarie, możliwością wykonywania wszystkich operacji serwisowych bez zatrzymywania pracy urządzenia (w tym wymiany komponentów). Ale koszt nawet modelu podstawowego mierzy się w dziesiątkach tysięcy dolarów. Na przykład, Fujitsu ETERNUS DX100   z 12 dyskami Nearline SAS 1 TB SFF (RAID10 6 TB)   warte zamówienia 21 000 USDże dla małej firmy jest bardzo drogie.

W naszym artykule proponujemy rozważyć opcje przechowywania budżetuktóry nie traci wydajności i niezawodności w stosunku do klasycznych systemów. Do jego realizacji zalecamy użycie Cef.

Co to jest CEPH i jak działa?

Cef   - pamięć masowa oparta na wolnym oprogramowaniu jest kombinacją przestrzeni dyskowych kilku serwerów (liczba serwerów w praktyce mierzona jest w dziesiątkach i setkach). CEPH umożliwia tworzenie wysoce skalowalnej pamięci masowej o wysokiej wydajności i nadmiarowości zasobów. CEPH może być wykorzystywany zarówno jako pamięć obiektowa (służąca do przechowywania plików), jak i jako urządzenie blokujące (powrót wirtualnych dysków twardych).

Odporność na awarie pamięci zapewnia replikacja każdego bloku danych na kilka serwerów. Liczba jednocześnie przechowywanych kopii każdego bloku jest nazywana współczynnikiem replikacji, domyślnie jego wartość wynosi 2. Schemat operacji przechowywania pokazano na rysunku 1, jak widać, informacje są podzielone na bloki, z których każdy jest podzielony na dwa różne węzły.

Rysunek 1 - Rozkład bloków danych

Jeśli serwery nie używają macierzy dyskowych odpornych na uszkodzenia, zaleca się użycie wyższej wartości współczynnika replikacji w celu niezawodnego przechowywania danych. W przypadku awarii jednego z serwerów CEPH naprawia niedostępność bloków danych (Rysunek 2), które się na nim znajdują, czeka przez pewien czas (parametr jest skonfigurowany domyślnie 300 sekund), po czym zaczyna odtwarzać brakujące bloki informacyjne w innym miejscu (Rysunek 3 )

Rysunek 2 - Awaria jednego węzła

Rysunek 3 - Odzyskiwanie nadmiarowości

Podobnie, jeśli do klastra zostanie dodany nowy serwer, pamięć zostanie ponownie zrównoważona, aby równomiernie zapełnić dyski we wszystkich węzłach. Mechanizm kontrolujący dystrybucję bloków informacyjnych w klastrze CEPH nazywa się CRUSH.

Aby uzyskać wysoką wydajność miejsca na dysku w klastrach CEPH, zaleca się użycie funkcji warstwowej pamięci podręcznej (buforowanie wielopoziomowe). Ma to na celu utworzenie oddzielnej wysokowydajnej puli i wykorzystanie jej do buforowania, ale główne informacje zostaną umieszczone na tańszych dyskach (rysunek 4).

Rysunek 4 - Logiczna reprezentacja pul dyskowych

Wielopoziomowe buforowanie będzie działać w następujący sposób: klienci zapisują żądania w najszybszej puli, a następnie przechodzą na poziom pamięci. Podobnie w przypadku żądań odczytu dostęp do informacji wzrośnie do poziomu pamięci podręcznej i zostanie przetworzony. Dane nadal pozostają na poziomie pamięci podręcznej, dopóki nie staną się nieaktywne lub dopóki nie przestaną być istotne (rysunek 5). Warto zauważyć, że buforowanie można skonfigurować tylko do odczytu, w którym to przypadku żądania zapisu zostaną wprowadzone bezpośrednio do puli pamięci.

Rysunek 5 - Zasada spragnienia pamięci podręcznej

Rozważmy rzeczywiste scenariusze wykorzystania CEPH w organizacji do stworzenia hurtowni danych. Organizacje małych i średnich firm, w których ta technologia będzie najbardziej poszukiwana, są uważane za potencjalnych klientów. Obliczyliśmy 3 scenariusze użycia opisanego rozwiązania:

1. Firma produkcyjna lub handlowa z wymogiem 99,98% rocznie, 24/7, na dostęp do wewnętrznego systemu ERP i przechowywania plików.
2. Organizacja, która musi wdrożyć prywatną chmurę lokalną dla swoich zadań biznesowych.
3. Bardzo tanie rozwiązanie do organizowania odpornego na uszkodzenia blokowego przechowywania danych, całkowicie niezależne od sprzętu, z dostępnością 99,98% rocznie i niską skalowalnością.

Scenariusz użycia 1. Hurtownia danych oparta na CEPH

Rozważmy rzeczywisty przykład CEPH w organizacji. Na przykład potrzebujemy pamięci produkcyjnej odpornej na uszkodzenia o pojemności 6 TB, ale koszty nawet dla podstawowego modelu pamięci masowej z dyskami wynoszą około $21 000 .

Zbieramy pamięć na podstawie CEPH. Jako serwery sugerujemy użycie rozwiązania Supermicro twin   (Ryc. 6). Produkt składa się z 4 platform serwerowych w jednej obudowie o wysokości 2 jednostek, wszystkie główne węzły urządzenia są zduplikowane, co zapewnia jego ciągłą pracę. Aby zrealizować nasze zadanie, wystarczy użyć 3 węzłów, czwarty będzie w rezerwie na przyszłość.

Ryc. 6 - Supermicro Twin

Uzupełniamy każdy węzeł w następujący sposób: 32 GB pamięci RAM, 4-rdzeniowy procesor 2,5 GHz, 4 dyski SATA o pojemności 2 TB każdy dla puli pamięci są połączone w 2 macierze RAID1, a 2 dyski SSD dla puli pamięci podręcznej są również połączone w RAID1. Koszt całego projektu pokazano w tabeli 1.

Tabela 1. Akcesoria do przechowywania na podstawie CEPH

Akcesoria	Cena (USD	Ilość	Koszt, USD
	4 999,28	1	4 999,28
	139,28	6	835,68
Procesor Ivy Bridge-EP 4-rdzeniowy 2,5 GHz (LGA2011, 10 MB, 80 W, 22 nm)	366,00	3	1 098,00
	416,00	12	4 992,00
	641,00	6	3 846,00
CAŁKOWITY			15 770,96

Wniosek: W wyniku budowy magazynu otrzymujemy macierz dyskową 6 TB z kosztami zamówienia $16 000 , co 25% mniej   niż zakup minimalnej przestrzeni dyskowej, a przy obecnej pojemności można uruchamiać maszyny wirtualne współpracujące z pamięcią masową, oszczędzając w ten sposób na zakupie dodatkowych serwerów. W rzeczywistości jest to kompletne rozwiązanie.

Serwery, z których zbudowana jest pamięć masowa, mogą służyć nie tylko jako pamięć dyskowa, ale także jako nośnik maszyn wirtualnych lub serwerów aplikacji.

Scenariusz użycia 2. Budowanie prywatnej chmury

Wyzwanie polega na wdrożeniu infrastruktury w celu zbudowania prywatnej chmury po najniższych kosztach.

Konstrukcja nawet małej chmury składającej się na przykład z około 3 nośnych w przybliżeniu $36 000 : 21 000 USD - koszt przechowywania + 5000 USD dla każdego serwera z 50% pokryciem.

Używanie CEPH jako pamięci pozwala łączyć zasoby obliczeniowe i dyskowe na tym samym sprzęcie. Oznacza to, że nie trzeba kupować oddzielnych systemów pamięci masowej - dyski zainstalowane bezpośrednio na serwerach będą używane do hostowania maszyn wirtualnych.

Krótki przegląd:
Klasyczna struktura chmury to klaster maszyn wirtualnych, którego funkcjonowanie zapewniają 2 główne komponenty sprzętowe:

1. Część obliczeniowa - serwery wypełnione pamięcią RAM i procesorami, których zasoby wykorzystywane są przez maszyny wirtualne do obliczeń
2. System pamięci masowej (pamięć masowa) - urządzenie wypełnione dyskami twardymi, które przechowuje wszystkie dane.

Bierzemy te same serwery Supermicro co sprzęt, ale stawiamy mocniejsze procesory - 8-rdzeniowy o częstotliwości 2,6 GHz, a także 96 GB pamięci RAM w każdym węźle, ponieważ system będzie wykorzystywany nie tylko do przechowywania informacji, ale także do obsługi maszyn wirtualnych. Bierzemy zestaw dysków podobnych do pierwszego scenariusza.

Tabela 2. Akcesoria do chmury prywatnej opartej na CEPH

Akcesoria	Cena (USD	Ilość	Koszt, USD
Supermicro Twin 2027PR-HTR: 4 systemy wtykowe (węzły) w obudowie 2U. Podwójne gniazdo R (LGA 2011), do 512 GB ECC RDIMM, zintegrowane IPMI 2.0 z KVM i dedykowana sieć LAN. 6 kieszeni 2,5 "SATA HDD z możliwością wymiany podczas pracy. Nadmiarowe zasilacze 2000 W.	4 999,28	1	4 999,28
Samsung DDR3 16GB ECC 1866 MHz 1,5 V, moduł pamięci Dual rank	139,28	18	2 507,04
Procesor Intel Xeon E5-2650V2 Ivy Bridge-EP 8-rdzeniowy 2,6 GHz (LGA2011, 20 MB, 95 W, 32 nm)	1 416,18	3	4 248,54
SATA 2 TB 2,5-calowy dysk twardy Pojemność korporacyjna SATA 6 Gb / s 7200 obr./min 128 Mb 512E	416	12	4 992,00
SSD 2,5 "" 400 GB DC seria S3710.	641	6	3 846,00
CAŁKOWITY			20 592,86

Zebrana chmura będzie miała następujące zasoby, z uwzględnieniem zachowania stabilności w przypadku awarii pierwszego węzła:

• RAM: 120 GB
• 6000 GB miejsca na dysku
• Rdzenie procesorów fizycznych: 16 szt.

Złożony klaster będzie mógł obsługiwać około 10 średnich maszyn wirtualnych o następujących cechach: 12 GB pamięci RAM / 4 rdzenie procesora / 400 GB miejsca na dysku.

Warto również wziąć pod uwagę, że wszystkie 3 serwery są zapełnione w 50% i, jeśli to konieczne, można je uzupełnić, zwiększając w ten sposób pulę zasobów dla chmury dwukrotnie.

Wniosek:   Jak widać, mamy zarówno pełnoprawny, odporny na awarie klaster maszyn wirtualnych, jak i nadmiarowe przechowywanie danych - awaria któregokolwiek z serwerów nie jest krytyczna - system będzie nadal działał bez zatrzymywania, podczas gdy koszt rozwiązania jest około 1,5 razy niższyniż kupować pamięć masową i poszczególne serwery.

Scenariusz użycia 3. Budowanie super taniej hurtowni danych

Jeśli budżet jest całkowicie ograniczony i nie ma pieniędzy na zakup sprzętu opisanego powyżej, możesz kupić używane serwery, ale nie powinieneś oszczędzać na dyskach - zdecydowanie zalecamy zakup nowych.

Proponujemy rozważenie następującej struktury: zamówione 4 węzły serwera, 1 dysk SSD do buforowania i 3 dyski SATA są umieszczone na każdym serwerze. Serwery Supermicro z 48 GB pamięci RAM i linią procesorów 5600 można teraz kupić za około $800 .

Dyski nie będą gromadzone w tablicach odpornych na uszkodzenia na każdym serwerze, ale będą prezentowane jako osobne urządzenie. W związku z tym użyjemy współczynnika replikacji 3, aby zwiększyć niezawodność pamięci masowej, to znaczy każdy blok będzie miał 3 kopie. W tej architekturze buforowanie dysku SSD dublowania dysku nie jest wymagane, ponieważ następuje automatyczne duplikowanie informacji w innych węzłach.

Tabela 3. Akcesoria do przechowywania

Wniosek:   W razie potrzeby możesz użyć większych dysków w tym rozwiązaniu lub zastąpić je SAS, jeśli chcesz uzyskać maksymalną wydajność DBMS. W tym przykładzie otrzymujemy 8 TB przestrzeni dyskowej przy bardzo niskim koszcie i bardzo wysokiej odporności na uszkodzenia. Cena jednego terabajta to 3,8 razy tańszyniż w przypadku magazynów przemysłowych za 21 000 USD.

Tabela podsumowująca, wnioski

Konfiguracja	Pamięć masowa dla Fujitsu ETERNUS DX100 + 12 Nearline SAS 1 TB SFF (RAID10)	Pamięć masowa dla Fujitsu ETERNUS DX100 + 12 Nearline SAS 1 TB SFF (RAID10) + Supermicro Twin	Nasz scenariusz 1: Pamięć masowa oparta na CEPH	Nasz scenariusz 2: budowanie prywatnej chmury	Nasz scenariusz 3: Budowa super tańszego magazynu
Przydatna objętość, GB	6 000	6 000	6 000	6000	8 000
Cena (USD	21000	36000	15 770	20 592	7 324
Koszt 1 GB, USD	3,5	6	2,63	3,43	0,92
Liczba procesorów IOP * (odczyt 70% / zapis 30%, rozmiar bloku 4K)	760	760	700	700	675
Spotkanie	Przechowywanie	Przechowywanie + Obliczanie	Przechowywanie + Obliczanie	Przechowywanie + Obliczanie	Przechowywanie + Obliczanie

* Obliczenia liczby procesorów IOP przeprowadzono dla utworzonych macierzy z dysków NL SAS w systemie pamięci masowej i dysków SATA w sklepie CEPH, buforowanie zostało wyłączone ze względu na czystość uzyskanych wartości. Używając buforowania, procesory IOP będą znacznie wyższe, dopóki pamięć podręczna nie zostanie zapełniona.

W rezultacie możemy powiedzieć, że na podstawie klastra CEPH można budować niezawodne i tanie hurtownie danych. Jak wykazały obliczenia, używanie węzłów klastra tylko do przechowywania nie jest bardzo skuteczne - rozwiązanie jest tańsze niż zakup pamięci, ale niewiele - w naszym przykładzie koszt przechowywania w CEPH był o około 25% niższy niż w przypadku Fujitsu DX100. Rzeczywiste oszczędności są odczuwalne dzięki połączeniu części komputerowej i pamięci na jednym urządzeniu - w tym przypadku koszt rozwiązania będzie 1,8 razy niższy niż w przypadku budowy klasycznej struktury przy użyciu dedykowanej pamięci i oddzielnych hostów.

EFSOL wdraża to rozwiązanie zgodnie z indywidualnymi wymaganiami. Możemy skorzystać z posiadanego sprzętu, co dodatkowo obniży koszty inwestycyjne wdrożenia systemu. Skontaktuj się z nami, a my zbadamy Twój sprzęt pod kątem jego zastosowania w tworzeniu systemów pamięci masowej.

Jak wiadomo, w ostatnich latach nastąpił intensywny wzrost ilości zgromadzonych informacji i danych. Badanie przeprowadzone przez IDC Digital Universe wykazało, że globalny wolumen informacji cyfrowej może wzrosnąć z 4,4 zettebajtów do 44 zettebajtów do 2020 r. Według ekspertów co dwa lata ilość informacji cyfrowych podwaja się. Dlatego dzisiaj problem nie tylko przetwarzania informacji, ale także ich przechowywania jest niezwykle pilny.

Aby rozwiązać ten problem, obecnie bardzo aktywny jest rozwój takich obszarów, jak rozwój systemów pamięci masowej (sieci / systemów pamięci masowej). Spróbujmy dowiedzieć się, co dokładnie oznacza współczesna branża IT przez pojęcie „systemu przechowywania danych”.

SHD to zintegrowane oprogramowanie i sprzęt, którego celem jest niezawodne i wysokiej jakości przechowywanie różnych zasobów informacyjnych, a także zapewnienie nieprzerwanego dostępu do tych zasobów.

Stworzenie takiego kompleksu powinno pomóc w rozwiązaniu szeregu problemów współczesnego biznesu w procesie budowy kompletnego systemu informatycznego.

Główne składniki przechowywania:

Urządzenia pamięci masowej (biblioteka taśm, wewnętrzna lub zewnętrzna macierz dyskowa);

System monitorowania i kontroli;

Podsystem tworzenia kopii zapasowych / archiwizacji danych;

Oprogramowanie do zarządzania pamięcią masową;

Dostęp do infrastruktury do wszystkich urządzeń pamięci masowej.

Główne cele

Rozważ najczęstsze zadania:

Decentralizacja informacji. Niektóre organizacje mają rozwiniętą strukturę oddziałów. Każda pojedyncza jednostka takiej organizacji powinna mieć bezpłatny dostęp do wszystkich informacji potrzebnych do pracy. Nowoczesne systemy pamięci masowej współpracują z użytkownikami znajdującymi się w dużej odległości od centrum, w którym przetwarzane są dane, dlatego są w stanie rozwiązać ten problem.

Niemożność przewidzenia ostatecznych wymaganych zasobów. Podczas planowania projektu niezwykle trudno jest ustalić, z jaką ilością informacji będziesz musiał pracować podczas pracy systemu. Ponadto masa zgromadzonych danych stale rośnie. Większość nowoczesnych systemów pamięci masowej obsługuje skalowalność (możliwość zwiększenia wydajności po dodaniu zasobów), więc moc systemu można zwiększyć proporcjonalnie do wzrostu obciążeń (aktualizacja).

Bezpieczeństwo wszystkich przechowywanych informacji. Kontrola może być dość trudna, a także ograniczać dostęp do zasobów informacyjnych przedsiębiorstwa. Niewykwalifikowane działania personelu i użytkowników, celowe próby zniszczenia - wszystko to może spowodować znaczną szkodę dla przechowywanych danych. Nowoczesne systemy pamięci masowej wykorzystują różne schematy odporności na uszkodzenia, które mogą wytrzymać zarówno celowy sabotaż, jak i nieudolne działania niewykwalifikowanych pracowników, zachowując w ten sposób wydajność systemu.

Złożoność zarządzania rozproszonymi przepływami informacji - każde działanie mające na celu zmianę danych rozproszonych informacji w jednym z oddziałów nieuchronnie stwarza szereg problemów - od złożoności synchronizacji różnych baz danych i wersji plików programisty do niepotrzebnego powielania informacji. Oprogramowanie do zarządzania dostarczane z systemami pamięci masowej pomoże optymalnie uprościć i skutecznie zoptymalizować pracę z przechowywanymi informacjami.

Wysokie koszty. Jak pokazują wyniki badania przeprowadzonego przez IDC Perspectives, koszty przechowywania danych stanowią około dwadzieścia trzy procent wszystkich kosztów IT. Koszty te obejmują koszt oprogramowania i sprzętu kompleksu, płatności na rzecz personelu serwisowego itp. Korzystanie z systemów pamięci masowej pozwala zaoszczędzić na administrowaniu systemem, a także zmniejsza koszty personelu.

   Główne rodzaje przechowywania

Wszystkie systemy pamięci są podzielone na 2 typy: pamięć taśmową i dyskową. Każdy z dwóch wyżej wymienionych gatunków jest z kolei podzielony na kilka podgatunków.

Miejsce na dysku

Takie systemy przechowywania danych służą do tworzenia kopii pośrednich kopii zapasowych, a także do pracy operacyjnej z różnymi danymi.

Systemy przechowywania na dysku są podzielone na następujące podgatunki:

Urządzenia do tworzenia kopii zapasowych (różne biblioteki dysków);

Urządzenia do danych roboczych (sprzęt charakteryzujący się wysoką wydajnością);

Urządzenia używane do długoterminowej archiwizacji.

Przechowywanie taśm

Służy do tworzenia archiwów oraz kopii zapasowych.

Systemy przechowywania taśm dzielą się na następujące podgatunki:

Biblioteki taśm (dwa lub więcej napędów, duża liczba gniazd na taśmy);

Autoloadery (1 napęd, kilka gniazd przeznaczonych na taśmy);

Oddzielne dyski.

  Podstawowe interfejsy połączeń

Przeanalizowaliśmy główne typy systemów powyżej i teraz przyjrzyjmy się bliżej strukturze samych systemów pamięci masowej. Nowoczesne systemy pamięci masowej są podzielone zgodnie z rodzajem używanych interfejsów połączeń hosta. Rozważ poniżej 2 najpopularniejsze interfejsy połączeń zewnętrznych - SCSI i FibreChannel. Interfejs SCSI przypomina szeroko rozpowszechnione IDE i jest interfejsem równoległym, który może pomieścić do szesnastu urządzeń na tej samej magistrali (dla IDE, jak wiadomo, dwa urządzenia na kanał). Obecnie maksymalna prędkość protokołu SCSI wynosi 320 megabajtów na sekundę (obecnie opracowywana jest wersja zapewniająca szybkość 640 megabajtów na sekundę). Wady SCSI to niewygodne, nie zakleszczające się, zbyt grube kable, których maksymalna długość nie przekracza dwudziestu pięciu metrów. Sam protokół SCSI nakłada również pewne ograniczenia - z reguły jest to 1 inicjator na magistrali plus urządzenia podrzędne (streamery, dyski itp.).

Interfejs FibreChannel jest używany rzadziej niż interfejs SCSI, ponieważ sprzęt używany do tego interfejsu jest droższy. Ponadto FibreChannel służy do wdrażania dużych sieci pamięci masowej SAN, więc jest używany tylko w dużych firmach. Odległości mogą być praktycznie dowolne - od standardowych trzystu metrów na standardowym wyposażeniu do dwóch tysięcy kilometrów dla potężnych przełączników („dyrektorów”). Główną zaletą interfejsu FibreChannel jest możliwość łączenia wielu urządzeń pamięci masowej i hostów (serwerów) we wspólną sieć pamięci masowej SAN. Mniej ważne zalety to: większa niż w przypadku SCSI, odległości, zdolność do agregowania kanałów i redundantnych ścieżek dostępu, zdolność do „podłączania na gorąco” sprzętu, wyższa odporność na zakłócenia. Stosowane są dwużyłowe jedno- i wielomodowe kable optyczne (ze złączami SC lub LC), a także SFP - nadajniki optyczne wykonane na bazie emiterów laserowych lub LED (maksymalna odległość między zastosowanymi urządzeniami a prędkością transmisji zależy od tych elementów).

  Opcje topologii pamięci

Tradycyjnie pamięć służy do łączenia serwerów z DAS - systemem przechowywania danych. Oprócz DAS istnieją również urządzenia pamięci masowej NAS, które łączą się z siecią, a także SAN - komponenty sieci pamięci masowej. Systemy SAN i NAS zostały stworzone jako alternatywa dla architektury DAS. Co więcej, każde z powyższych rozwiązań zostało opracowane w odpowiedzi na stale rosnące wymagania dotyczące nowoczesnych systemów przechowywania danych i opierało się na wykorzystaniu dostępnych wówczas technologii.

Architektury pierwszych sieciowych systemów pamięci masowej opracowano w latach 90. XX wieku, aby zaradzić najbardziej zauważalnym niedociągnięciom systemów DAS. Rozwiązania sieciowe w dziedzinie systemów pamięci masowej zostały zaprojektowane w celu realizacji powyższych zadań: zmniejszenia kosztów i złożoności zarządzania danymi, zmniejszenia lokalnego ruchu sieciowego, zwiększenia ogólnej wydajności i dostępności danych. Jednocześnie architektury SAN i NAS rozwiązują różne aspekty jednego wspólnego problemu. W rezultacie zaczęły istnieć jednocześnie 2 architektury sieciowe. Każdy z nich ma swoją funkcjonalność i zalety.

  Das

(rewyprostowany ZAtached S.zezłościć się) - Jest to rozwiązanie architektoniczne stosowane w przypadkach, gdy urządzenie służące do przechowywania danych cyfrowych jest podłączone za pomocą protokołu SAS poprzez interfejs bezpośrednio do serwera lub stacji roboczej.

   Główne zalety systemów DAS: niski w porównaniu z innymi rozwiązaniami pamięci masowej, koszt, łatwość wdrożenia i administracji, szybka wymiana danych między serwerem a systemem pamięci masowej.

Powyższe zalety sprawiły, że systemy DAS stały się niezwykle popularne w segmencie małych sieci korporacyjnych, dostawców hostingu i małych biur. Ale jednocześnie systemy DAS mają swoje wady, na przykład nieoptymalne wykorzystanie zasobów, ze względu na fakt, że każdy system DAS wymaga dedykowanego serwera, a ponadto każdy taki system pozwala na podłączenie nie więcej niż dwóch serwerów do półki dyskowej w pewnym konfiguracje.

Korzyści:

Niedrogi koszt. SHD jest zasadniczo pojemnikiem na dyski instalowanym poza serwerem, wyposażonym w dyski twarde.

Zapewnia szybką wymianę między serwerem a macierzą dyskową.

   Niedogodności:

Brak niezawodności - w razie wypadku lub problemów z siecią serwer przestaje być dostępny dla wielu użytkowników.

Duże opóźnienie ze względu na fakt, że wszystkie żądania są przetwarzane przez jeden serwer.

Niska łatwość zarządzania - dostępność całej pojemności na jednym serwerze zmniejsza elastyczność dystrybucji danych.

Niskie wykorzystanie zasobów - wymagana ilość danych jest trudna do przewidzenia: niektóre urządzenia DAS w organizacji mogą doświadczyć nadwyżki pojemności, a inne mogą jej brakować, ponieważ realokacja pojemności jest zwykle zbyt czasochłonna lub niemożliwa.

  NAS

(N.etwork ZAtached S.zezłościć się)   - Jest to zintegrowany wolnostojący system dyskowy, który obejmuje serwer NAS z własnym specjalistycznym systemem operacyjnym oraz zestaw przydatnych funkcji dla użytkowników, które zapewniają szybki start systemu, a także dostęp do dowolnych plików. System łączy się ze zwykłą siecią komputerową, umożliwiając użytkownikom tej sieci rozwiązanie problemu braku wolnego miejsca na dysku.

NAS to pamięć, która łączy się z siecią jak zwykłe urządzenie sieciowe, zapewniając dostęp do danych cyfrowych. Każde urządzenie NAS to połączenie systemu pamięci masowej i serwera, z którym ten system jest połączony. Najprostszą wersją urządzenia NAS jest serwer sieciowy, który zapewnia zasoby plików.

Urządzenie NAS składa się z jednostki głównej, która wykonuje przetwarzanie danych, a także łączy łańcuch dysków z jedną siecią. NAS zapewnia wykorzystanie systemów pamięci masowej w sieciach Ethernet. Udostępnianie plików jest w nich zorganizowane przy użyciu protokołu TCP / IP. Takie urządzenia zapewniają udostępnianie plików nawet tym klientom, których systemy działają w różnych systemach operacyjnych. W przeciwieństwie do architektury DAS, w systemach NAS serwer nie może zostać przełączony w tryb offline w celu zwiększenia ogólnej pojemności; Możesz dodać dyski do struktury NAS, po prostu podłączając urządzenie do sieci.

Technologia NAS rozwija się dzisiaj jako alternatywa dla uniwersalnych serwerów, które pełnią wiele różnych funkcji (e-mail, serwer faksu, aplikacje, drukowanie itp.). Urządzenia NAS, w przeciwieństwie do serwerów uniwersalnych, wykonują tylko jedną funkcję - serwer plików, starając się to zrobić tak szybko, jak to możliwe, prosto i wydajnie.

Podłączenie NAS do sieci LAN zapewnia dostęp do informacji cyfrowych nieograniczonej liczbie heterogenicznych klientów (tj. Klientów z różnymi systemami operacyjnymi) lub innym serwerom. Obecnie prawie wszystkie urządzenia NAS są używane w sieciach Ethernet opartych na protokołach TCP / IP. Dostęp do urządzeń NAS odbywa się za pomocą specjalnych protokołów dostępu. Najpopularniejsze protokoły dostępu do plików to DAFS, NFS, CIFS. Wewnątrz tych serwerów zainstalowane są specjalistyczne systemy operacyjne.

Urządzenie NAS może wyglądać jak zwykłe „pudełko” wyposażone w jeden port Ethernet, a także parę dysków twardych lub może być ogromnym systemem wyposażonym w kilka wyspecjalizowanych serwerów, ogromną liczbę dysków, a także zewnętrzne porty Ethernet. Czasami urządzenia NAS są częścią sieci SAN. W takim przypadku nie mają własnych napędów, a jedynie zapewniają dostęp do danych znajdujących się na urządzeniach blokowych. W takim przypadku NAS działa jak potężny wyspecjalizowany serwer, a SAN jako urządzenie pamięci masowej. W takim przypadku pojedyncza topologia DAS jest tworzona z komponentów SAN i NAS.

Korzyści

Niski koszt, dostępność zasobów dla poszczególnych serwerów, a także dla dowolnej organizacji komputerowej.

Wszechstronność (jeden serwer może obsługiwać klientów Unix, Novell, MS, Mac).

Łatwość wdrożenia oraz administracji.

Łatwość udostępniania zasobów.

   niedogodności

Dostęp do informacji za pośrednictwem protokołów sieciowego systemu plików jest często wolniejszy niż dostęp do dysku lokalnego.

Większość niedrogich serwerów NAS nie jest w stanie zapewnić elastycznej, szybkiej metody dostępu, którą zapewniają nowoczesne systemy SAN (na poziomie bloku, a nie pliku).

  San

(S.zezłościć się ZArea N.etwork)   - To rozwiązanie architektoniczne umożliwia podłączenie zewnętrznych urządzeń do przechowywania danych (bibliotek taśm, macierzy dyskowych, napędów optycznych itp.) Do serwerów. Dzięki temu połączeniu system zewnętrzny rozpoznaje urządzenia zewnętrzne jako lokalne. Korzystanie z sieci SAN zmniejsza całkowity koszt utrzymania systemu przechowywania danych i pozwala nowoczesnym organizacjom na zorganizowanie niezawodnego przechowywania ich informacji.

Najprostsza wersja SAN to pamięć, serwery i przełączniki połączone optycznymi kanałami komunikacyjnymi. Oprócz systemów pamięci dyskowej do sieci SAN można podłączyć biblioteki dysków, streamery (biblioteki taśm), urządzenia służące do przechowywania informacji na dyskach optycznych itp.

Korzyści

Niezawodność dostępu do danych znajdujących się w systemach zewnętrznych.

Niezależność topologii SAN od używanych serwerów i systemów pamięci masowej.

Bezpieczeństwo i niezawodność scentralizowanego przechowywania danych.

Wygoda scentralizowanego zarządzania danymi i przełączaniem.

Możliwość przeniesienia ruchu we / wy do oddzielnej sieci, zapewniając odciążenie sieci LAN.

Małe opóźnienia i duża prędkość.

Elastyczność i skalowalność logicznej struktury sieci SAN.

Rzeczywisty nieograniczony rozmiar geograficzny SAN.

Możliwość szybkiego rozdzielania zasobów między serwerami.

Prostotę schematu tworzenia kopii zapasowych zapewnia fakt, że wszystkie dane znajdują się w jednym miejscu.

Możliwość tworzenia odpornych na awarie rozwiązań klastrowych opartych na istniejącej sieci SAN bez dodatkowych kosztów.

Obecność dodatkowych usług i funkcji, takich jak zdalna replikacja, migawki itp.

Wysokie bezpieczeństwo SAN /

   Jedyną wadą takich rozwiązań jest ich wysoki koszt. Ogólnie rzecz biorąc, krajowy rynek systemów do przechowywania danych pozostaje w tyle za rynkiem rozwiniętych krajów zachodnich, który charakteryzuje się powszechnym stosowaniem systemów do przechowywania danych. Wysoki koszt i brak szybkich kanałów komunikacji to główne powody, które hamują rozwój rosyjskiego rynku pamięci masowej.

NALOT

Mówiąc o systemach przechowywania danych, należy wziąć pod uwagę jedną z głównych technologii, które leżą u podstaw działania takich systemów i są szeroko stosowane w nowoczesnej branży IT. Mamy na myśli macierze RAID.

Macierz RAID składa się z kilku dysków kontrolowanych przez kontroler i połączonych ze sobą szybkimi kanałami danych. Przez system zewnętrzny takie dyski (urządzenia pamięci masowej) są postrzegane jako całość. Rodzaj zastosowanej macierzy wpływa bezpośrednio na stopień wydajności i odporność na uszkodzenia. Macierze RAID służą do zwiększenia niezawodności przechowywania danych, a także do zwiększenia prędkości zapisu / odczytu.

Podczas tworzenia sieci pamięci używanych jest kilka poziomów RAID. Najczęściej używane poziomy to:

   1. Jest to macierz dyskowa o zwiększonej wydajności, bez tolerancji na uszkodzenia, z naprzemiennością.
   Informacje są podzielone na osobne bloki danych. Jest nagrywany jednocześnie na dwóch lub więcej płytach.

Plusy:

Ilość pamięci jest sumowana.

Znaczący wzrost wydajności (liczba dysków wpływa bezpośrednio na tempo wzrostu wydajności).

   Wady:

Niezawodność RAID 0 jest niższa niż niezawodność nawet najbardziej zawodnego dysku, ponieważ w przypadku awarii dowolnego dysku cała macierz przestaje działać.

   2. - tablica lustrzanych dysków. Ta tablica składa się z pary dysków, które całkowicie się kopiują.

Plusy:

Zapewniając, przy równoległych zapytaniach, akceptowalną prędkość zapisu, a także wzrost prędkości odczytu.

Zapewnienie wysokiej niezawodności - macierz dyskowa tego typu funkcjonuje do czasu, gdy będzie w niej pracować co najmniej 1 dysk. Prawdopodobieństwo awarii 2 dysków jednocześnie, równe iloczynowi prawdopodobieństwa awarii każdego z nich, jest znacznie niższe niż prawdopodobieństwo awarii jednego dysku. Jeśli jeden dysk ulegnie awarii, w praktyce konieczne jest natychmiastowe podjęcie działań, przywrócenie nadmiarowości. Aby to zrobić, zaleca się, aby RAID na dowolnym poziomie (oprócz zera) korzystał z dysków zapasowych.

   Wady:

Jedyną wadą RAID 1 jest to, że użytkownik otrzymuje jeden dysk twardy w cenie dwóch dysków.

   3 .. Jest to macierz RAID 0 zbudowana z macierzy RAID 1.

4. RAID 2. Używany do tablic korzystających z kodu Hamminga.

Tablice tego typu oparte są na użyciu kodu Hamminga. Dyski są podzielone na 2 grupy: dla danych, a także dla kodów używanych do korekcji błędów. Dane na dyskach używanych do przechowywania informacji są dystrybuowane podobnie jak dystrybucja w RAID 0, to znaczy są one podzielone na małe bloki zgodnie z liczbą dysków. Pozostałe dyski przechowują wszystkie kody korekcji błędów, które pomagają odzyskać informacje w przypadku awarii jednego z dysków twardych. Metoda Hamminga stosowana w pamięci ECC umożliwia korygowanie pojedynczych błędów w locie, a także wykrywanie podwójnych błędów.

RAID 3, RAID 4. Są to naprzemienne macierze dyskowe, a także dedykowany dysk parzystości. W RAID 3 dane z n dysków są dzielone na komponenty mniejsze niż sektor (na bloki lub bajty), a następnie rozdzielane między n-1 dyski. Bloki parzystości są przechowywane na jednym dysku. W macierzy RAID 2 do tego celu wykorzystano dysk n-1, jednak większość informacji na dyskach kontrolnych wykorzystano do poprawienia błędów w locie, podczas gdy dla większości użytkowników, gdy dysk się zepsuje, wystarczy proste odzyskanie informacji (w tym celu wystarczająca ilość informacji jest umieszczona na jednym dysku twardym )

Macierz RAID 4 przypomina RAID 3, jednak dane na niej nie są podzielone na osobne bajty, ale na bloki. To częściowo pozwoliło rozwiązać problem niedostatecznie wysokiej prędkości przesyłu danych, mając niewielką ilość. Jednocześnie nagrywanie odbywa się zbyt wolno, ponieważ podczas nagrywania generowana jest parzystość dla bloku, który jest nagrywany na jednej płycie.
   RAID 3 różni się od RAID 2 brakiem możliwości poprawiania błędów w locie, a także mniejszą nadmiarowością.

Plusy:

Dostawcy usług w chmurze również aktywnie kupują systemy pamięci masowej na swoje potrzeby, na przykład Facebook i Google budują własne serwery z gotowych komponentów na indywidualne zamówienia, ale serwery te nie są uwzględniane w raporcie IDC.

IDC spodziewa się również, że rynki wschodzące wkrótce wyprzedzą rynki rozwinięte pod względem zużycia pamięci masowej, ponieważ charakteryzują się wyższymi stopami wzrostu gospodarczego. Na przykład region Europy Wschodniej i Środkowej, Afryki i Bliskiego Wschodu w 2014 r. Przewyższy Japonię pod względem kosztów przechowywania. Do 2015 r. Region Azji i Pacyfiku, z wyłączeniem Japonii, przewyższy Europę Zachodnią pod względem zużycia systemów pamięci masowej.

Sprzedaż systemów przechowywania danych prowadzona przez naszą firmę „Navigator” umożliwia każdemu uzyskanie niezawodnej i trwałej podstawy do przechowywania danych multimedialnych. Szeroki wybór macierzy RAID, pamięci sieciowych i innych systemów umożliwia indywidualny wybór RAID od drugiej do czwartej dla każdego zamówienia niemożności wykonywania równoległych operacji zapisu, ponieważ do przechowywania informacji o parzystości cyfrowej używany jest oddzielny dysk kontrolny. RAID 5 nie ma powyższej wady. Sumy kontrolne i bloki danych są zapisywane automatycznie na wszystkich dyskach; nie ma asymetrycznej konfiguracji dysków. Przez sumy kontrolne rozumiemy wynik operacji XOR, która umożliwia zastąpienie dowolnego operandu wynikiem i, w wyniku zastosowania algorytmu XOR, w rezultacie uzyskać brakujący operand. Aby zapisać wynik XOR, potrzebujesz tylko jednego dysku (jego rozmiar jest identyczny z rozmiarem dowolnego dysku w rajdu).

Plusy:

Popularność RAID5 wynika przede wszystkim z opłacalności. Dodatkowe zasoby są wydawane na pisanie na woluminie RAID5, co ostatecznie prowadzi do spadku wydajności, ponieważ wymagane są dodatkowe obliczenia, a także operacje zapisu. Ale podczas odczytu (w porównaniu z oddzielnym dyskiem twardym) dochodzi do pewnego wzmocnienia, polegającego na tym, że strumienie danych pochodzące z kilku dysków mogą być przetwarzane równolegle.

   Wady:

RAID 5 charakteryzuje się znacznie niższą wydajnością, szczególnie podczas wykonywania operacji związanych z pisaniem w kolejności losowej (takich jak zapis losowy), w których wydajność spada o 10-25 procent wydajności RAID 10 lub RAID 0. Jest tak, ponieważ proces ten wymaga więcej operacji na dysku (każda operacja zapisu na serwerze na kontrolerze RAID jest zastępowana 3 operacjami - 1 operacją odczytu i 2 operacjami zapisu). Wady macierzy RAID 5 pojawiają się, gdy jeden dysk ulegnie awarii - jednocześnie cały wolumin przechodzi w tryb krytyczny, wszystkie operacje odczytu i zapisu towarzyszą dodatkowym manipulacjom, co prowadzi do gwałtownego spadku wydajności. Poziom niezawodności w tym przypadku spada do poziomu niezawodności RAID 0, wyposażonego w odpowiednią liczbę dysków, stając się n razy mniejszy niż niezawodność pojedynczego dysku. Jeśli co najmniej jeden dysk ulegnie awarii przed przywróceniem macierzy lub wystąpi na niej nieodwracalny błąd, tablica zostanie zniszczona, a danych na niej nie będzie można przywrócić konwencjonalnymi metodami. Należy również pamiętać, że proces odzyskiwania z powodu nadmiarowości danych RAID, zwany RAON Reconstruction, po awarii dysku, spowoduje intensywne ciągłe obciążenie odczytu ze wszystkich dysków, które pozostanie przez wiele godzin. W rezultacie jeden z pozostałych dysków może ulec awarii. Można również wykryć awarie wcześniej wykrytych błędów odczytu danych w blokach tablic danych (dane, które nie są dostępne podczas normalnej pracy macierzy - nieaktywne i zarchiwizowane), co prowadzi do zwiększonego ryzyka awarii podczas odzyskiwania danych.

  6. - Jest to macierz RAID 50 zbudowana z macierzy RAID5;

7. - przemienna macierz dyskowa, która wykorzystuje 2 sumy kontrolne obliczone na 2 niezależne sposoby.

RAID 6 jest w dużej mierze podobny do RAID 5, ale różni się od niego wyższym stopniem niezawodności: w nim pojemność dwóch dysków jest przydzielana na sumy kontrolne, dwie kwoty są obliczane przy użyciu różnych algorytmów. Wymagany jest kontroler RAID o większej mocy. Pomaga chronić przed wieloma awariami, zapewniając funkcjonalność po awarii dwóch dysków jednocześnie. Organizacja macierzy wymaga co najmniej czterech dysków. Korzystanie z RAID-6 zazwyczaj powoduje spadek wydajności grupy dysków o około 10-15 procent. Wyjaśnia to duża ilość informacji, które kontroler musi przetworzyć (konieczne staje się obliczenie drugiej sumy kontrolnej, a także odczyt i zapis większej liczby bloków dysku podczas rejestrowania każdego bloku).

8. to macierz RAID 0 zbudowana z macierzy RAID6.

9. Hybrydowa macierz RAID. To kolejny poziom macierzy RAID, która ostatnio stała się dość popularna. Są to zwykle poziomy RAID używane z dodatkowym oprogramowaniem, a także dyski SSD, które są używane jako pamięci podręczne odczytu. Prowadzi to do wzrostu wydajności systemu, ponieważ dyski SSD, w porównaniu z dyskami HDD, mają znacznie lepszą charakterystykę prędkości. Obecnie istnieje kilka wdrożeń, na przykład Crucial Adrenaline, a także kilka kontrolerów budżetu Adaptec. Hybrydowa macierz RAID nie jest obecnie zalecana ze względu na niski zasób SSD.


   Operacje odczytu w hybrydowej macierzy RAID są wykonywane z szybszego dysku SSD, a operacje zapisu są wykonywane zarówno na dyskach półprzewodnikowych, jak i dyskach twardych (odbywa się to w celu wykonania kopii zapasowych).
   Hybrydowa macierz RAID doskonale nadaje się do aplikacji wykorzystujących dane niższego poziomu (komputer wirtualny, serwer plików lub brama internetowa).

Cechy nowoczesnego rynku pamięci masowej

Latem 2013 r. Firma analityczna IDC opublikowała kolejną prognozę rynku pamięci masowej, obliczoną przez nią do 2017 r. Szacunki analityków wskazują, że w ciągu najbliższych czterech lat globalne przedsiębiorstwa będą kupować systemy pamięci masowej o łącznej pojemności sto trzydziestu ośmiu eksabajtów. Całkowita zrealizowana pojemność systemów pamięci masowej wzrośnie o około trzydzieści procent rocznie.

Niemniej jednak, w porównaniu z poprzednimi latami, kiedy nastąpił gwałtowny wzrost zużycia hurtowni danych, tempo wzrostu nieco zwolni, ponieważ dziś większość firm korzysta z rozwiązań chmurowych, preferując technologie optymalizujące hurtownie danych. Oszczędności przestrzeni dyskowej osiąga się za pomocą narzędzi takich jak wirtualizacja, kompresja danych, deduplikacja danych itp. Wszystkie powyższe narzędzia oszczędzają miejsce, umożliwiając firmom unikanie spontanicznych zakupów i korzystanie z nowych systemów pamięci masowej tylko wtedy, gdy są naprawdę potrzebne.

Spośród 138 eksabajtów, które mają zostać sprzedane w 2017 r., 102 eksabajty będą w zewnętrznych systemach pamięci masowej, a 36 w wewnętrznych. W 2012 r. Wdrożono pamięć dla dwudziestu eksabajtów dla systemów zewnętrznych i ośmiu dla systemów wewnętrznych. Koszty finansowe przemysłowych systemów magazynowania będą rosły rocznie o około 4,1 procent, a do 2017 r. Wyniosą około czterdzieści dwa i pół miliarda dolarów.

Zauważyliśmy już, że światowy rynek pamięci masowej, który ostatnio przeżywał prawdziwy boom, stopniowo maleje. W 2005 r. Wzrost zużycia pamięci masowej wyniósł sześćdziesiąt pięć procent na poziomie przemysłowym, aw 2006 r., Podobnie jak w 2007 r., Po pięćdziesiąt dziewięć procent każdy. W kolejnych latach wzrost zużycia magazynów jeszcze bardziej spadł z powodu negatywnego wpływu światowego kryzysu gospodarczego.

Analitycy przewidują, że zwiększone wykorzystanie pamięci masowej w chmurze zmniejszy zużycie rozwiązań pamięci masowej na poziomie korporacyjnym. Dostawcy usług w chmurze również aktywnie kupują systemy pamięci masowej na swoje potrzeby, na przykład Facebook i Google budują własne serwery z gotowych komponentów na indywidualne zamówienia, ale serwery te nie są brane pod uwagę w raporcie IDC.

IDC spodziewa się również, że rynki wschodzące wkrótce wyprzedzą rynki rozwinięte pod względem zużycia pamięci masowej, ponieważ charakteryzują się wyższymi stopami wzrostu gospodarczego. Na przykład region Europy Wschodniej i Środkowej, Afryki i Bliskiego Wschodu w 2014 r. Przewyższy Japonię pod względem kosztów przechowywania. Do 2015 r. Region Azji i Pacyfiku, z wyłączeniem Japonii, przewyższy Europę Zachodnią pod względem zużycia systemów pamięci masowej.

Szybka sprzedaż systemów pamięci masowej

Sprzedaż systemów przechowywania danych prowadzona przez naszą firmę „Navigator” umożliwia każdemu uzyskanie niezawodnej i trwałej podstawy do przechowywania danych multimedialnych. Szeroki wybór macierzy RAID, magazynów sieciowych i innych systemów pozwala indywidualnie wybrać dla każdego klienta kompleks, który najbardziej mu odpowiada.

Szerokie możliwości techniczne, umiejętności i doświadczenie pracowników firmy gwarantują szybką i kompleksową realizację zadania. Jednocześnie nie ograniczamy się wyłącznie do sprzedaży systemów pamięci masowej, ponieważ przeprowadzamy również ich konfigurację, uruchomienie, a następnie serwis i konserwację.