Punkty bólu wymagają poprawek

Jednak istnieją nadal pewne punkty bólu, które występują w serwerowym systemie zarządzania wideo i wymagają rozwiązania.

1. Odbudowa uszkodzonego dysku w macierzy dyskowej zajmuje zbyt dużo czasu.Ryzyko utraty danych wzrasta wraz z rozmiarem dysku. Bez względu na to, czy serwery VMS korzystają z wewnętrznego systemu przechowywania danych, czy zewnętrznego systemu przechowywania danych, używają kontrolera RAID do ochrony danych przed utratą. Jeśli dysk ulegnie awarii, kontroler macierzy dysków będzie potrzebował bardzo dużo czasu, aby odbudować pliki na zapasowym dysku.Czas odbudowy i możliwość niepowodzenia odbudowy dysku są proporcjonalne do rozmiaru dysku.Dzisiaj największy dysk twardy ma pojemność 16TB, a wkrótce będzie dostępny dysk o pojemności 20TB.Używanie małych dysków zwiększa całkowity koszt serwerów przechowywania danych.
2. Przepustowość magazynowania jest znacznie obniżona podczas trybu odbudowy w stanie degradacji.
3. Tradycyjny serwer ma duże pole awarii. Jeśli serwer ulegnie awarii, wszystkie filmy wewnątrz serwera stają się niedostępne lub nawet tracone.Im więcej dysków jest zainstalowanych w serwerze, tym więcej plików wideo jest traconych jednocześnie, gdy serwer ulega awarii.
4. Brakuje elastycznej architektury sprzętowej dla VMS.

Użyj oprogramowania do zdefiniowanego przez oprogramowanie magazynu danych i mikroserwera Arm z systemem zarządzania wideo Nx Witness firmy Network Optics.

W tym artykule przedstawimy, jak urządzenie do zdefiniowanego przez oprogramowanie magazynu danych firmy Ambedded i mikroserwer oparty na Arm integrują oprogramowanie VMS firmy Network Optics w celu rozwiązania niektórych problemów występujących w obecnych rozwiązaniach.

Urządzenie do zdefiniowanego przez oprogramowanie magazynu danych

Urządzenie Ambedded Mars 400 Ceph Storage to gotowe rozwiązanie do przechowywania danych w chmurze dla przedsiębiorstw.Urządzenie integruje mikroserwer oparty na architekturze ARM z oprogramowaniem do przechowywania danych Ceph oraz interfejsem użytkownika internetowego.Mars 400 zapewnia zintegrowany klastr pamięci masowej, który obsługuje systemy obiektowe, blokowe i plikowe.Został zaprojektowany w celu zapewnienia doskonałej wydajności, niezawodności i skalowalności, bez pojedynczego punktu awarii i minimalnej domeny awarii.

System zarządzania wideo Nx Witness i serwer Nx

Nx Witness VMS to otwarty system zarządzania wideo IP (IPVMS), zaprojektowany do wyszukiwania, przeglądania, nagrywania i zarządzania kamerami wideo IP oraz szybkiego integrowania się z systemami i urządzeniami firm trzecich. Aplikacja serwera Nx to lekki, potężny serwer multimedialny odpowiedzialny za odkrywanie i zarządzanie urządzeniami i danymi systemu Nx Witness. Serwer Nx nagrywa wideo z kamer IP na wewnętrzne lub zewnętrzne nośniki. Posiada architekturę serwerową typu hive, zapewniającą brak pojedynczego punktu awarii.

Architektura mikroserwera Arm

Platformy mikroserwerów pomieszczają 8 modułów serwerów ARM 64-bit Quad-Core w jednostce montażowej o wysokości jednego stojaka (1RU). Dwa wewnętrzne przełączniki zapewniają redundantne łącze 4x10 Gbps do skalowania w poziomie i dostępu klienta. Każdy moduł mikroserwera ARM to niezależny serwer Linux, który posiada dedykowane zasoby CPU, pamięć, pamięć masową i interfejs sieciowy dla oprogramowania aplikacyjnego.

Architektura mikroserwera zapewnia większą dostępność ze względu na brak pojedynczego punktu awarii. Każdy węzeł mikroserwera może być skonfigurowany jako węzeł pamięci masowej klastra pamięci masowej lub węzeł serwera VMS klastra VMS.

Kiedy mikroserwer jest skonfigurowany jako węzeł pamięci masowej, dołącza do klastra pamięci masowej Ceph, aby współpracować z innymi węzłami pamięci masowej. Jeśli skonfigurujemy mikroserwer jako serwer Nx, wykonuje swoje zadanie jako serwer VMS i montuje dysk wirtualny z klastra Storage do przechowywania nagranych plików wideo. Oznacza to, że możesz elastycznie wdrożyć wymaganą liczbę serwerów Nx i serwerów pamięci masowej Ceph na wszystkich mikroserwerach Mars 400. Ze względu na zalety mikroserwera, masz elastyczność skalowania systemu monitoringu z niewielkim przyrostem.

Jak oprogramowanie zdefiniowane przez użytkownika chroni i naprawia dane w przypadku awarii sprzętu

Ceph storage używa replikacji lub algorytmu kodowania błędów do ochrony danych przed utratą zamiast kontrolera RAID. Kodowanie wymazywane jest analogiczne do RAID 5 lub RAID 6 w macierzy dyskowej, ale z większą elastycznością, pozwalającą na obecnie większą liczbę awarii dysków. Może chronić dane nie tylko przed awariami dysku, ale także przed awariami serwera, awariami stelaża i awariami w dowolnej skali. Dane lub pliki wideo są najpierw przekształcane na obiekty, a każdy obiekt jest dzielony na wiele fragmentów danych i obliczane są nadmiarowe fragmenty. Serwer przechowuje dane i nadmiarowe fragmenty rozproszenie na różnych serwerach przechowywania w klastrze przechowywania. Jeśli serwer przechowywania ulegnie awarii, wszystkie dane przechowywane w tym serwerze muszą zostać naprawione. Naprawa danych jest wykonywana przez wszystkie zdrowe serwery i dyski. I tylko utracone fragmenty muszą zostać ponownie zrekonstruowane, zamiast odbudowywać całe dyski.

Istnieją trzy główne zalety rozproszonego systemu przechowywania zdefiniowanego programowo w porównaniu do systemu przechowywania RAID.

1. Dane mogą przetrwać awarię jednego lub więcej węzłów serwera.
2. Odzyskiwanie danych jest znacznie szybsze niż w przypadku RAID, ponieważ wszystkie zdrowe dyski w klastrze pomagają w procesie odzyskiwania danych równolegle, a jedynie utracone dane wymagają odzyskania. Im więcej dysków w klastrze, tym szybsze jest odzyskiwanie. Eksperyment polegający na utracie jednego dysku o pojemności 10TB i wykorzystaniu 60% przestrzeni w klastrze 36 dysków trwał 2,5 dnia. Prędkość odzyskiwania wynosiła 28,5MB/s dla tego eksperymentu. (Profil kodowania Clay Erasure 4+2)
3. Podczas procesu gojenia, gojenie nie przerywa nagrywania wideo
4. Możesz używać dysków o dużej pojemności, takich jak 16TB HDD w klastrze pamięci masowej Ceph, aby uzyskać tę samą pojemność przy mniejszej liczbie serwerów.

Ile kamer można nagrywać na jednym mikroserwerze?

Ustawiliśmy środowisko testowe, aby obciążyć serwer Nx na Ambedded Mars 400 mikroserwer. Eksperyment początkowo wykorzystał serwer do symulacji kamer IP do przesyłania strumieniowego wideo do mikroserwera Arm. Format strumienia wideo to H.264, wysoka jakość 1080p przy 30 klatkach na sekundę. Serwer Arm VMS montuje dysk wirtualny jako swoje miejsce przechowywania. Wynik testu wskazuje, że jeden mikroserwer może rejestrować maksymalnie 30 kamer bez utraty klatek wideo. Testowanie obejmuje również scenariusz, gdy wirtualny dysk jest pełny. Oznacza to, że 1U Mars 400, który pomieści osiem mikroserwerów, może obsługiwać 240 kamer wideo wysokiej rozdzielczości. Oznacza to, że 1U Mars 400, który pomieści osiem mikroserwerów, może obsługiwać do 240 strumieni wideo o wysokiej rozdzielczości. To jest świetne osiągnięcie przy użyciu serwera 1U i zużywa tylko 100 watów mocy.

Test z prawdziwymi kamerami IP

W kolejnym teście używamy pięćdziesięciu kamer IP do przeprowadzenia testu w rzeczywistym środowisku.

Lista wyposażenia:

• Kamery IP: 25x przewodowe i 25x bezprzewodowe
• Serwer Mars 400Nx: 8 węzłów w 1U. 4 rdzenie Arm A72, 4GB RAM i 2x 2.5Gbps LAN
• Serwer Nx: 3 węzły Arm Mars 400Nx,

♦ 3 węzły są aktywne do nagrywania i odtwarzania. Na każdym węźle jest zapasowy zasób dla awaryjnego węzła.

• Przechowywanie:

♦ Ochrona danych: kod wymazywania 4+2, umożliwia jednoczesne awarie 2 dysków twarde.

♦ Serwer Ceph: 21x mikroserwer dla Ceph OSD + 3x mikroserwer dla Ceph monitor

♦ Dyski twarde: 21x 16TB Seagate Exos Enterprise SATA HDD. Użyteczna pojemność wynosi 224TB.

• Sieć:

♦ 4x porty 10Gb dla 4x Mars 400Nx

♦ 1x przełącznik Gb dla kamer

♦ 2x punkty dostępu bezprzewodowego

Podczas nagrywania i odtwarzania wykorzystywane jest tylko 150% zasobów procesora. Maksymalne możliwe do wykorzystania zasoby procesora wynoszą 400%. Proszę zobaczyć rysunek 1.

Rysunek 1: Wykorzystanie procesora w węźle serwera Nx

Każdy węzeł ma dostępne łącznie 4GB pamięci. 1GB pamięci jest zarezerwowane na zapas. Ilość pamięci wykorzystywanej podczas testu wynosiła około 2.8 GB. Węzeł serwera może stabilnie obsługiwać do 30 kamer.

Rysunek 2: Niewykorzystana pamięć w węźle serwera Nx

Ruch sieciowy podczas testu wynosił około 150Mbps dla pobierania i 130Mbps dla wysyłania. Przepustowość sieci 2x 2.5Gb jest znacznie wyższa niż rzeczywisty ruch.

Rysunek 3: Ruch sieciowy węzłów serwera Nx

Awaria węzła serwera VMS

Serwer Network Optics VMS posiada funkcję automatycznego przełączania serwera, która umożliwia zdrowym serwerom VMS połączenie z kamerami z uszkodzonego serwera Nx VMS. W naszym teście skonfigurowaliśmy trzy mikroserwery jako serwer Nx VMS. Mogą one obsłużyć łącznie 90 kamer. W normalnych warunkach 50 testowych kamer jest równomiernie podłączonych do trzech serwerów. Symulujemy wyłączenie serwera poprzez jego wyłączenie. Udowadniamy, że 18 kamer podłączonych do uszkodzonego serwera może automatycznie ponownie połączyć się z pozostałymi dwoma serwerami w około jednej minucie.

Oznacza to, że korzystając z rozwiązania mikroserwerowego dla serwera Nx VMS, potrzebujesz tylko 1/8 1U serwera Mars 400Nx na zapas dla awaryjnego trybu pracy. W porównaniu do dużego serwera węzłowego, architektura mikroserwerowa może zaoszczędzić koszt jednego serwera dla konfiguracji awaryjnej.

Przykład projektu

Wymagania projektu

1. Liczba kamer: 200 kamer
2. Przepływność bitowa na kamerę dla jakości 1080p, wysokiej jakości, 30 FPS: 4,87 Mbps
3. Godziny nagrywania dziennie: 16 godzin
4. Liczba dni do nagrywania: 60 dni

Obliczanie wymagań serwera

1. Całkowita pojemność magazynowa wymagana: 411 TB
2. Całkowita pojemność surowa wymagana przy użyciu kodu błędów 4+2: 678 TB
3. Pojemność dysku twardego: 16 TB
4. Liczba wymaganych dysków twardych: 43 HDD
5. Liczba wymaganych węzłów do przechowywania (Ceph OSD): 43
6. Węzeł monitorujący Ceph: 3
7. Liczba węzłów serwera Nx dla 200 kamer: 200/30 = 7 węzłów.
8. Zapasowy węzeł dla awarii NxServer: 1 węzeł
9. Całkowita liczba wymaganych węzłów mikroserwera: 43 + 3 + 7 + 1 = 54 węzły
10. Całkowita liczba wymaganych Mars 400Nx: 54/8 = 7x 1U Mars 40Nx
11. Zapasowe węzły: (7 x 8) - 54 = 2 węzły
12. Całkowite zużycie energii serwera bez HDD: 7 x 100 Watów = 700 Watów

Podsumowanie

Ambedded Mars 400Nx łączy serwer Nx VMS i pamięć masową zdefiniowaną programowo i ma następujące zalety:

1. Pamięć masowa zdefiniowana programowo Mars 400Nx chroni dane nie tylko przed awariami dysków, ale także przed awariami serwera.
2. W przypadku awarii dysków Mars 400Nx równolegle odtwarza dane na wszystkich zdrowych dyskach. Jest to 4-5 razy szybsze w porównaniu do kontrolera RAID.
3. Mars 400Nx może utrzymywać nagrywanie i odtwarzanie wideo podczas naprawy danych.
4. W klastrze pamięci masowej Mars 400Nx można używać dysków o dużej pojemności, co pozwala obniżyć całkowity koszt systemu pamięci masowej.
5. Serwer VMS Mars 400Nx 1U obsługuje do 240x kamer 1080p. Można zaprojektować system VMS z elastycznym połączeniem pamięci masowej i serwerów VMS.
6. Serwer Arm Mars 400Nx oszczędza 70 procent zużycia energii w porównaniu do serwerów x86.

O Ambedded

Ambedded to firma specjalizująca się w pamięci masowej zdefiniowanej programowo, posiadająca wiedzę na temat systemu operacyjnego Linux, jądra, pamięci masowej zdefiniowanej programowo, systemów wbudowanych i serwerów Arm.

Wizją Ambedded jest ułatwienie korzystania z oprogramowania Ceph w celu umożliwienia przedsiębiorstwom skorzystania z Ceph przy krótszej krzywej uczenia.

Ambedded upraszcza Ceph, oferując łatwy w użyciu interfejs użytkownika, gotowe do użycia urządzenie pamięci masowej, stabilność i optymalizację wydajności, automatyzację wdrożeń oraz profesjonalne wsparcie.

Z dedykowanym urządzeniem Ceph, zespół Ambedded posiada szerokie doświadczenie w pomaganiu klientom w przyjęciu naszego rozwiązania Ceph w różnych branżach, takich jak telekomunikacja, medycyna, wojsko, centra danych na krawędzi sieci oraz przedsiębiorstwa, które wymagają wysokiej dostępności pamięci masowej.

Odwiedź stronę internetową Ambedded w celu uzyskania szczegółowych informacji.

O sieciowych optykach

Network Optix to firma zajmująca się tworzeniem oprogramowania skoncentrowanego na tworzeniu nowatorskich rozwiązań zarządzania wideo. Nasz główny produkt - Nx VMS - to otwarta, lekka, dostosowywalna platforma zarządzania wideo, zdolna do zarządzania mediami offline, strumieniami wideo na żywo oraz zintegrowanymi systemami i urządzeniami firm trzecich. Nx VMS to bezpłatna platforma do transmisji na żywo - z możliwością korzystania z chmury, zdalnego dostępu, skalowalna do dowolnego rozmiaru i licencjonowana tylko w przypadku konieczności nagrywania i wyszukiwania kamer IP. Nx VMS jest również otwarty dla programistów, z kompleksową dokumentacją API i SDK wbudowaną i darmową do użytku, co pozwala organizacjom lub osobom tworzyć własne aplikacje oparte na wideo dla dowolnego rynku lub projektu.

Podziękowania

Chcielibyśmy podziękować Seagate oraz Network Optix za dostarczenie dysków twardych Exos X16 Enterprise oraz kamer IP użytych w tym projekcie.

Odnośnik:

• Dlaczego RAID przestał działać w 2019 roku, autorstwa Robin Harris dla Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Dlaczego najlepszą konfiguracją RAID jest brak konfiguracji RAID przez Gość Blogera → https://blog.shi.com/hardware/najlepsza-konfiguracja-RAID-bez-konfiguracji-RAID/