Punti critici richiedono miglioramenti

Tuttavia, ci sono ancora alcuni punti critici che esistono nei sistemi VMS basati su server che devono essere affrontati.

1. La ricostruzione di un disco fallito nell'array di dischi richiede troppo tempo.Il rischio di perdita dei dati aumenta con la dimensione del disco. Indipendentemente dal fatto che i server VMS utilizzino un sistema di archiviazione interno o esterno, utilizzano il controller RAID per proteggere i dati dalla perdita. Se un disco rigido fallisce, il controller dell'array di dischi impiegherà molto tempo per ricostruire i file sul disco di riserva.Il tempo di ricostruzione e la possibilità di fallimento nella ricostruzione del disco sono proporzionali alla dimensione del disco.Oggi, il disco rigido più grande è di 16TB e presto sarà disponibile un disco da 20TB.L'utilizzo di dischi di piccole dimensioni aumenta il costo totale dei server di archiviazione.
2. La velocità di archiviazione subisce un grande impatto durante la modalità di ricostruzione degradata.
3. Il server tradizionale ha un ampio dominio di guasto. Se un server fallisce, tutti i video all'interno del server diventano inaccessibili o addirittura persi.Più dischi sono installati in un server, più file video vengono persi contemporaneamente quando il server fallisce.
4. I VMS mancano di un'architettura hardware elastica.

Utilizzare lo storage definito dal software e il microserver Arm con il sistema di gestione video Nx Witness di Network Optics

In questo articolo, presenteremo come l'appliance di storage definito dal software di Ambedded e il microserver basato su Arm integrano il software VMS di Network Optics per risolvere alcuni dei problemi presenti nella soluzione attuale.

Appliance di storage definito dal software

L'appliance Ambedded Mars 400 Ceph Storage per lo storage definito dal software è una soluzione di storage definita dal software chiavi in mano per le aziende.L'elettrodomestico integra un microserver basato su ARM con il software di archiviazione Ceph e un'interfaccia utente web.Mars 400 fornisce un cluster di storage unificato che supporta il sistema di archiviazione ad oggetti, a blocchi e a file.È progettato per offrire un'eccellente performance, affidabilità e scalabilità senza punti di guasto singoli e con un dominio di guasto minimo.

Sistema di gestione video Nx Witness e server Nx

Nx Witness VMS è un sistema di gestione video IP aperto (IPVMS) progettato per trovare, visualizzare, registrare e gestire telecamere video IP e integrarsi rapidamente con sistemi e dispositivi di terze parti. L'applicazione Nx Server è un server multimediale leggero e potente responsabile della scoperta e della gestione dei dispositivi e dei dati del sistema Nx Witness. Nx Server registra video dalle telecamere IP su storage interno o esterno. Ha un'architettura a cluster di server che garantisce l'assenza di un singolo punto di errore.

Architettura del microserver ARM

Le piattaforme microserver possono ospitare 8 moduli server ARM a 64 bit Quad-Core in un chassis da un'unità rack (1RU). Due switch ridondanti all'interno del chassis forniscono un uplink da 4x10 Gbps per la scalabilità orizzontale e l'accesso del cliente. Ogni modulo microserver ARM è un server Linux indipendente che dispone di risorse dedicate di CPU, memoria, archiviazione e interfaccia di rete per il software dell'applicazione.

L'architettura del microserver offre una maggiore accessibilità grazie alla mancanza di un singolo punto di guasto. Ogni nodo del microserver può essere configurato come nodo di archiviazione di un cluster di archiviazione o come nodo del server VMS di un cluster VMS.

Quando il microserver è configurato come nodo di archiviazione, si unisce al cluster di archiviazione Ceph per lavorare con altri nodi di archiviazione. Se configuriamo il microserver come un server Nx, svolge il suo lavoro come server VMS e monta un disco virtuale dal cluster di storage per archiviare i file video registrati. Questo significa che puoi distribuire in modo flessibile il numero necessario di server Nx e server di archiviazione Ceph su tutti i microserver Mars 400. Grazie ai vantaggi del microserver, hai la flessibilità di scalare il sistema di sorveglianza con un piccolo incremento.

Come la storage definita dal software protegge e ripristina i dati in caso di guasti hardware

Lo storage Ceph utilizza l'algoritmo di replicazione o di codifica a correzione di errore per proteggere i dati dalla perdita invece del controller RAID. La codifica di cancellazione è analoga al RAID 5 o RAID 6 nell'array di dischi, ma con molta più flessibilità che consente attualmente di gestire più guasti ai dischi. Può proteggere i dati non solo dai guasti del disco rigido, ma anche proteggere i dati dai guasti del server, dai guasti del rack e da qualsiasi scala di dominio di guasto. I file di dati o video vengono prima convertiti in oggetti e ogni oggetto viene diviso in un certo numero di frammenti di dati e calcolati frammenti ridondanti. Il server di archiviazione memorizza in modo distribuito dati e frammenti ridondanti sui diversi server di archiviazione nel cluster di archiviazione. Se un server di archiviazione si rompe, tutti i dati memorizzati all'interno di quel server devono essere ripristinati. La guarigione dei dati è effettuata da tutti i server e dischi sani. E, solo i chunk persi devono essere ripristinati invece di ricostruire tutti i dischi interi.

Ci sono tre vantaggi principali dello storage distribuito definito dal software rispetto al sistema di storage RAID.

1. I dati possono sopravvivere alla rottura di uno o più nodi del server.
2. Il recupero dei dati è molto più veloce rispetto al RAID perché tutti i dischi sani nel cluster contribuiscono al recupero dei dati in parallelo e solo i dati persi necessitano di recupero. Se ci sono più dischi nel cluster, la velocità di recupero è maggiore. Un esperimento di perdita di un disco da 10TB con utilizzo del 60% in un cluster di 36 dischi ha richiesto 2,5 giorni per il recupero. La velocità di recupero è di 28,5MB/s per questa scala di esperimento. (Profilo Clay Erasure code 4+2)
3. Durante la guarigione, la guarigione non interrompe la registrazione video
4. È possibile utilizzare unità disco di grande capacità come HDD da 16TB nel cluster di archiviazione Ceph per ottenere la stessa capacità con meno server.

Quante registrazioni di telecamera può supportare un microserver

Abbiamo creato un ambiente di test per mettere alla prova il server Nx su Ambedded Microserver Mars 400. L'esperimento ha utilizzato inizialmente un server per simulare telecamere IP per lo streaming di video verso un microserver Arm. Il formato dello stream video è H.264, alta qualità 1080p a 30 fotogrammi al secondo. Il server Arm VMS monta un disco virtuale come archivio. Il risultato del test conclude che un microserver può registrare un massimo di 30 telecamere senza perdere il frame video. La fase di test include anche lo scenario in cui il disco virtuale è pieno. Ciò implica che un Mars 400 da 1U che ospita otto microserver può supportare 240 telecamere video ad alta definizione. Ciò implica che un Mars 400 da 1U che ospita otto microserver può supportare fino a 240 flussi video ad alta definizione delle telecamere. Questo è un grande risultato utilizzando un server 1U e consuma solo 100 Watt di potenza.

Test con vere telecamere IP

In un altro esperimento, utilizziamo cinquanta telecamere IP per condurre il test in un ambiente reale.

Lista dell'equipaggiamento:

• Telecamere IP: 25x Cablate e 25x Wireless
• Server Mars 400Nx: 8 nodi in 1U. 4 core Arm A72, 4GB di RAM & 2x LAN da 2.5Gbps
• Server Nx: 3 nodi Mars 400Nx Arm,

♦ 3 nodi sono attivi per la registrazione e la riproduzione. C'è una risorsa di riserva su ogni nodo per il failover di un nodo.

• Memoria:

♦ Protezione dei dati: codice di cancellazione 4+2, permette fino a 2 guasti di hard disk contemporaneamente

♦ Server Ceph: 21x microserver per Ceph OSD + 3x microserver per il monitor Ceph

♦ Dischi rigidi: 21x 16TB Seagate Exos Enterprise SATA HDD. 224TB sono utilizzabili.

• Rete:

♦ 4x porte 10Gb per 4x Mars 400Nx

♦ 1x switch Gb per le telecamere

♦ Punto di accesso wireless x 2

Durante la registrazione e la riproduzione, viene utilizzato solo il 150% delle risorse della CPU. La risorsa massima utilizzabile della CPU è del 400%. Si prega di fare riferimento alla figura 1.

Figura 1: Utilizzo della CPU del nodo server Nx

C'è un totale di 4GB di memoria disponibile in ogni nodo. 1GB di memoria è riservato per l'uso di riserva. La quantità di memoria utilizzata durante il test è di circa 2.8 GB. Il nodo server può supportare stabilmente fino a 30 telecamere.

Figura 2: Memoria inutilizzata del nodo server Nx

Il traffico di rete durante il test è di circa 150Mbps in download e 130Mbps in upload. La larghezza di banda della rete 2x 2.5Gb è molto superiore al traffico reale.

Figura 3: Traffico di rete dei nodi del server Nx

FailOver del nodo del server VMS

Il server Network Optics VMS ha la funzione di failover automatico del server, che consente ai server VMS sani di connettersi alle telecamere di un server Nx VMS guasto. Nel nostro test, abbiamo configurato tre microserver come server Nx VMS. Possono gestire un totale di 90 telecamere. In condizioni normali, 50 telecamere in prova sono collegate equamente ai tre server. Simuliamo un server offline spegnendolo. Dimostriamo che 18 telecamere collegate al server guasto possono riconnettersi automaticamente agli altri due server in circa un minuto.

Ciò implica che utilizzando la soluzione microserver per il server Nx VMS, è necessario solo 1/8 di un server Mars 400Nx 1U riservato per il failover. Rispetto a un server di grandi dimensioni, l'architettura microserver può risparmiare il costo di un server per l'installazione del failover.

Esempio di progettazione

Requisiti del progetto

1. Numero di telecamere: 200 telecamere
2. Bit rate per telecamera per 1080p, alta qualità, 30 FPS: 4,87 Mbps
3. Ore di registrazione al giorno: 16 ore
4. Giorni di registrazione: 60 giorni

Calcolo dei requisiti del server

1. La capacità totale di archiviazione utilizzabile richiesta: 411 TB
2. La capacità totale grezza richiesta se utilizziamo il codice di cancellazione 4+2: 678 TB
3. Capacità del disco rigido: 16 TB
4. Numero di dischi rigidi richiesti: 43 HDD
5. Numero di nodi richiesti per lo storage (Ceph OSD): 43
6. Nodo monitor Ceph: 3
7. Nx server nodi per 200 telecamere: 200/30 = 7 nodi.
8. Nodo di riserva per il failover di NxServer: 1 nodo
9. Totale nodi microserver richiesti: 43 + 3 + 7 + 1 = 54 nodi
10. Totale Mars 400Nx richiesti: 54/8 = 7x 1U Mars 40Nx
11. Nodi di riserva: (7 x 8) - 54 = 2 nodi
12. Consumo totale di energia del server esclusi gli HDD: 7 x 100 Watt = 700 Watt

Conclusione

Ambedded Mars 400Nx combina il server Nx VMS, e lo storage definito dal software presenta i seguenti vantaggi:

1. Lo storage definito dal software di Mars 400Nx può proteggere i dati non solo da guasti del disco, ma anche da guasti del server.
2. In caso di guasti del disco, Mars 400Nx recupera i dati in parallelo utilizzando tutti i dischi funzionanti. È 4 o 5 volte più veloce rispetto al controller RAID.
3. Mars 400Nx può mantenere la registrazione e la riproduzione video durante il recupero dei dati.
4. Puoi utilizzare dischi di grande capacità nel cluster di storage Mars 400Nx per ridurre il costo totale del sistema di archiviazione.
5. Un server VMS Mars 400Nx da 1U può supportare fino a 240 telecamere 1080p. Puoi progettare il sistema VMS con una combinazione flessibile di server di storage e VMS.
6. Il server Arm Mars 400Nx risparmia il 70 percento di consumo energetico rispetto ai server x86.

Riguardo a Ambedded

Ambedded è un'azienda specializzata in storage definito dal software con competenze in sistemi operativi Linux, kernel, storage definito dal software, sistemi embedded e server Arm.

La visione di Ambedded è rendere l'uso dello storage software-defined Ceph facile in modo che le aziende possano beneficiare di Ceph con una curva di apprendimento più breve.

Ambedded rende Ceph semplice offrendo un'interfaccia utente facile da usare, un'apparecchiatura di storage pronta all'uso, ottimizzazione della stabilità e delle prestazioni, distribuzione automatizzata e supporto professionale.

Con l'apparecchio Ceph appositamente progettato, il team di Ambedded possiede una vasta esperienza nell'aiutare i clienti ad adottare la nostra soluzione Ceph in diverse industrie, come telecomunicazioni, medicina, militare, data center periferici e aziende che richiedono uno storage ad alta disponibilità.

Visita il sito web Ambedded per ulteriori dettagli.

Informazioni su Network Optics

Network Optix è una società di sviluppo software focalizzata sulla creazione di soluzioni all'avanguardia per la gestione dei video. Il nostro prodotto principale - Nx VMS - è una piattaforma di gestione video aperta, leggera e personalizzabile in grado di gestire media offline, flussi video in diretta e sistemi e dispositivi di terze parti integrati. Nx VMS è una piattaforma di live streaming gratuita - abilitata su cloud, accessibile in remoto, scalabile a qualsiasi dimensione e con licenza solo quando è necessaria la registrazione e la ricerca delle telecamere video IP. Nx VMS è anche aperto per gli sviluppatori, con una documentazione API e SDK completa integrata e gratuita da utilizzare, consentendo alle organizzazioni o agli individui di creare le proprie applicazioni basate su video per qualsiasi mercato verticale o progetto.

Riconoscimenti

Desideriamo ringraziare Seagate e Network Optix per aver fornito gli hard disk Enterprise Exos X16 e le telecamere IP utilizzate per questo progetto.

Riferimento:

• Perché il RAID smette di funzionare nel 2019, di Robin Harris per Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Perché la migliore configurazione RAID è la mancanza di configurazione RAID di Blogger Ospite → https://blog.shi.com/hardware/migliore-configurazione-raid-niente-configurazione-raid/