Pijnpunten vereisen verbeteringen

Er zijn echter nog steeds enkele pijnpunten die bestaan in servergebaseerde VMS die moeten worden aangepakt.

1. Het opnieuw opbouwen van een mislukte schijf in een schijfarray kost te veel tijd.Het risico op gegevensverlies neemt toe naarmate de schijfgrootte groter wordt. Ongeacht of de VMS-servers gebruikmaken van interne of externe opslagsystemen, gebruiken ze de RAID-controller om gegevens tegen verlies te beschermen. Als een schijfstation uitvalt, zal de schijfarray-controller zeer lang doen over het opnieuw opbouwen van de bestanden op de reserveschijf.De herbouwtijd en de kans op het mislukken van het opnieuw opbouwen van de schijf zijn evenredig met de grootte van de schijf.Vandaag de dag is de grootste harde schijf 16TB en binnenkort zal er een 20TB schijf beschikbaar zijn.Het gebruik van kleine schijven verhoogt de totale kosten van opslagservers.
2. De opslagdoorvoer ondervindt een grote impact tijdens de degradatie herbouwmodus.
3. De traditionele server heeft een groot storingsdomein. Als een server uitvalt, worden alle video's binnen de server ontoegankelijk of zelfs verloren.Hoe meer schijven er in een server zijn geïnstalleerd, hoe meer videobestanden er tegelijkertijd verloren gaan wanneer de server uitvalt.
4. VMS mist een elastische hardware-architectuur.

Gebruik Software-Defined Storage en Arm MicroServer met Network Optics Nx Witness Video Management Systeem

In dit artikel presenteren we hoe Ambedded's software-gedefinieerde opslagapparaat en Arm-gebaseerde microserver Network Optics' VMS-software integreren om enkele van de problemen die in de huidige oplossing bestaan, op te lossen.

Software-Gedefinieerde Opslagapparaat

Ambedded's software-gedefinieerde opslag Mars 400 Ceph Opslag Apparaat is een kant-en-klare software-gedefinieerde opslagoplossing voor ondernemingen.Het apparaat integreert een ARM-gebaseerde microserver met opslagsoftware Ceph en een webgebruikersinterface.Mars 400 biedt een geïntegreerde opslagcluster die ondersteuning biedt voor het object, blok en bestandssysteem.Het is ontworpen om uitstekende prestaties, betrouwbaarheid en schaalbaarheid te bieden zonder enkelvoudig storingspunt en met een minimaal storingsdomein.

Nx Witness Videobeheersysteem & Nx Server

Nx Witness VMS is een open IP video management systeem (IPVMS) ontworpen om IP videocamera's te vinden, te bekijken, op te nemen en te beheren, alsook snel te integreren met systemen en apparaten van derden. De Nx Server applicatie is een lichtgewicht, krachtige mediaserver verantwoordelijk voor het ontdekken en beheren van Nx Witness systeemapparaten en data. Nx Server neemt video op van IP camera's naar interne of extern aangesloten opslag. Het heeft een server hive architectuur die ervoor zorgt dat er geen enkel falingspunt is.

Arm Microserver Architectuur

De microserver-platforms bieden plaats aan 8x Quad-Core ARM 64-bits servermodules in een chassis van één rack-eenheid (1RU). Twee redundante switches in het chassis zorgen voor een 4x10 Gbps uplink voor horizontale schaalvergroting en clienttoegang. Elke ARM microserver-module is een onafhankelijke Linux-server die eigen CPU, geheugen, opslag en netwerkinterfacebronnen heeft voor toepassingssoftware.

De microserver-architectuur biedt een grotere toegankelijkheid vanwege het ontbreken van een enkel punt van storing. Elke microserver-node kan geconfigureerd worden als een opslagnode van een opslagcluster of als een VMS-servernode van het VMS-cluster.

Wanneer de microserver is geconfigureerd als een opslagknooppunt, voegt het zich bij de Ceph-opslagcluster om samen te werken met andere opslagknooppunten. Als we de microserver configureren als een Nx Server, vervult hij zijn taak als een VMS-server en koppelt hij een virtuele schijf van de Storage-cluster voor het opslaan van de opgenomen videobestanden. Dit betekent dat je flexibel het benodigde aantal Nx-servers en Ceph-opslagservers kunt implementeren, allemaal op Mars 400 microservers. Vanwege de voordelen van microserver, heb je de flexibiliteit om het surveillancesysteem te schalen met een kleine toename.

Hoe Software-Defined Storage gegevens beschermt en herstelt tegen hardwarefouten

Ceph-opslag maakt gebruik van replicatie of erasure code-algoritme om gegevens te beschermen tegen verlies in plaats van de RAID-controller. Erasure coding is analoog aan RAID 5 of RAID 6 in de schijfarray, maar met veel flexibiliteit om momenteel meer schijffouten toe te staan. Het kan gegevens niet alleen beschermen tegen schijfdefecten, maar ook tegen serverstoringen, rackstoringen en elke vorm van storingsdomein. Gegevens- of videobestanden worden eerst omgezet naar objecten en elk object wordt opgesplitst in een aantal gegevenschunks en berekent redundante chunks. De opslagserver slaat gegevens en redundante blokken verspreid op naar verschillende opslagservers in de opslagcluster. Als een opslagserver kapot gaat, moeten alle gegevens die in die server zijn opgeslagen worden hersteld. Gegevensherstel wordt uitgevoerd door alle gezonde servers en schijven. En, alleen de verloren stukken hoeven opnieuw te worden hersteld in plaats van een volledige herbouw van alle schijven.

Er zijn drie belangrijke voordelen van gedistribueerde softwaregedefinieerde opslag in vergelijking met het RAID-opslagsysteem.

1. Gegevens kunnen overleven bij het uitvallen van één of meer serverknooppunten.
2. Data reheal is veel sneller dan RAID omdat alle gezonde schijven in de cluster parallel helpen bij het herstellen van gegevens en alleen verloren gegevens moeten worden hersteld. Als er meer schijven in de cluster zijn, is de herstelsnelheid sneller. Een experiment waarbij een 60% gebruikte 10TB-schijf verloren ging in een cluster van 36 schijven duurde 2,5 dagen om te herstellen. De herstelsnelheid is 28,5 MB/s voor dit experimentele schaal. (Clay Erasure code 4+2 profiel)
3. Tijdens het herstelproces onderbreekt genezing de videoregistratie niet
4. U kunt grote capaciteit schijfstations zoals 16TB HDD gebruiken in de Ceph-opslagcluster om dezelfde capaciteit te krijgen met minder servers.

Hoeveel camera-opnames kan één microserver ondersteunen

We hebben een testomgeving opgezet om de Nx Server op Ambedded te belasten Mars 400 microserver. Het experiment maakte in eerste instantie gebruik van een server om IP-camera's te simuleren voor het streamen van video's naar een Arm-microserver. Het video stream formaat is H.264, 1080p hoge kwaliteit met 30 frames per seconde. De Arm VMS-server koppelt een virtuele schijf als opslag. De testresultaten concluderen dat één microserver maximaal 30 camera's kan opnemen zonder verlies van videoframes. De test omvat ook het scenario waarin de virtuele schijf vol is. Dit betekent dat een 1U Mars 400, die acht microservers kan herbergen, 240 camera's met high definition video's kan ondersteunen. Dit betekent dat een 1U Mars 400, die acht microservers kan herbergen, tot 240 camera's met hoge definitie videostreams kan ondersteunen. Dit is een geweldige prestatie door gebruik te maken van een 1U-server en slechts 100 Watt aan vermogen te verbruiken.

Test met echte IP-camera's

In een andere test gebruiken we vijftig IP-camera's om de test in een echte omgeving te maken.

Apparatuurlijst:

• IP-camera's: 25x bedraad en 25x draadloos
• Mars 400Nx server: 8 nodes in 1U. 4 cores Arm A72, 4GB RAM & 2x 2.5Gbps LAN
• Nx Server: 3 Mars 400Nx Arm nodes,

♦ 3 nodes zijn actief voor opname en afspelen. Er is een reservebron op elke node voor het geval één node uitvalt.

• Opslag:

♦ Gegevensbescherming: wiscode 4+2, laat tot 2 harde schijffouten tegelijkertijd toe

♦ Ceph server: 21x microserver voor Ceph OSD + 3x microserver voor Ceph monitor

♦ Harde schijven: 21x 16TB Seagate Exos Enterprise SATA HDD. 224TB is beschikbaar.

• Netwerk:

♦ 4x 10Gb poorten voor 4x Mars 400Nx

♦ 1x Gb switch voor camera's

♦ Draadloos toegangspunt x 2

Tijdens het opnemen en afspelen wordt slechts 150% van de CPU-bronnen gebruikt. De maximale bruikbare CPU-bronnen is 400%. Zie figuur 1.

Figuur 1: CPU-gebruik van Nx Server node

Er is in totaal 4GB geheugen beschikbaar in elke node. 1GB geheugen is gereserveerd voor reservegebruik. De hoeveelheid geheugen die tijdens de test wordt gebruikt, is ongeveer 2,8 GB. De servernode kan stabiel ondersteuning bieden aan maximaal 30 camera's.

Figuur 2: Ongebruikt geheugen van Nx Server node

Het netwerkverkeer tijdens de test was ongeveer 150Mbps voor download en 130Mbps voor upload. De 2x 2,5Gb netwerkbandbreedte is veel hoger dan het daadwerkelijke verkeer.

Figuur 3: Netwerkverkeer van Nx Server knooppunten

VMS Server Knooppunt FailOver

De Network Optics VMS-server heeft de automatische server failover-functie, waarmee gezonde VMS-servers camera's kunnen verbinden vanaf een mislukte Nx VMS-server. In onze test hebben we drie microservers opgezet als de Nx VMS-server. Ze kunnen in totaal 90 camera's verwerken. In normale omstandigheden zijn 50 camera's gelijkmatig verbonden met de drie servers. We simuleren een offline server door deze uit te schakelen. We bewijzen dat 18 camera's die verbonden waren met de mislukte server automatisch opnieuw verbinding kunnen maken met de andere twee servers in ongeveer één minuut.

Dit impliceert dat bij het gebruik van de microserver-oplossing voor de Nx VMS-server; u slechts 1/8 van een 1U Mars 400Nx-server nodig heeft voor de failover. In vergelijking met een grote node-server kan de microserver-architectuur kosten besparen voor de failover-setup.

Ontwerpvoorbeeld

Projectvereisten

1. Aantal camera's: 200 camera's
2. Bitrate per camera voor 1080p, hoge kwaliteit, 30 FPS: 4,87 Mbps
3. Opnametijd per dag: 16 uur
4. Dagen om op te nemen: 60 dagen

Berekening van serververeisten

1. De totale bruikbare opslagcapaciteit die vereist is: 411 TB
2. De totale ruwe capaciteit die vereist is als we gebruik maken van erasure code 4+2: 678 TB
3. Capaciteit harde schijf: 16 TB
4. Aantal vereiste harde schijven: 43 HDD's
5. Aantal benodigde nodes voor opslag (Ceph OSD): 43
6. Ceph Monitor node: 3
7. Nx server nodes voor 200 camera's: 200/30 = 7 nodes.
8. Reserve node voor NxServer uitval: 1 node
9. Totaal benodigde microserver nodes: 43 + 3 + 7 + 1 = 54 nodes
10. Totaal benodigde Mars 400Nx: 54/8 = 7x 1U Mars 40Nx
11. Reserve nodes: (7 x 8) - 54 = 2 nodes
12. Totaal stroomverbruik van server zonder HDD: 7 x 100 Watt = 700 Watt

Conclusie

Ambedded Mars 400Nx combineert Nx VMS-server en softwaregedefinieerde opslag en heeft de volgende voordelen:

1. De softwaregedefinieerde opslag van Mars 400Nx kan gegevens beschermen tegen zowel schijfstoringen als serverstoringen.
2. Bij schijfstoringen herstelt Mars 400Nx de gegevens parallel met behulp van alle gezonde schijven. Dit is 4 tot 5 keer sneller dan de RAID-controller.
3. Mars 400Nx kan de video-opname en weergave behouden tijdens het herstellen van gegevens.
4. U kunt grote capaciteit schijven gebruiken in de Mars 400Nx opslagcluster om de totale kosten van het opslagsysteem te verlagen.
5. Een 1U Mars 400Nx VMS-server kan tot 240x 1080p-camera's ondersteunen. U kunt het VMS-systeem ontwerpen met een flexibele combinatie van opslag en VMS-servers.
6. Mars 400Nx Arm-server bespaart 70 procent energieverbruik in vergelijking met x86-servers.

Over Ambedded

Ambedded is een softwaregedefinieerd opslagbedrijf met expertise in Linux OS, kernel, softwaregedefinieerde opslag, embedded systemen en Arm-servers.

'AMBEDDED's visie is om het gebruik van Ceph software-defined storage eenvoudig te maken, zodat bedrijven kunnen profiteren van Ceph met een kortere leercurve.

'AMBEDDED' maakt Ceph eenvoudig door een gebruiksvriendelijke interface aan te bieden, een kant-en-klare opslagapparaat, stabiliteit en prestatie-optimalisatie, geautomatiseerde implementatie en professionele ondersteuning.

Met de speciaal ontwikkelde Ceph-appliance heeft het Ambedded team ruime ervaring om klanten te helpen bij het implementeren van onze Ceph-oplossing in diverse sectoren, zoals telecom, medisch, militair, edge datacenters en bedrijven die behoefte hebben aan storage met hoge beschikbaarheid.

Bezoek de Ambedded website voor details.

Over Netwerk Optiek

Network Optix is een softwareontwikkelingsbedrijf dat zich richt op het creëren van geavanceerde videobeheeroplossingen. Ons hoofdproduct - Nx VMS - is een open, lichtgewicht, aanpasbaar videobeheerplatform dat in staat is om offline media, live videostreams en geïntegreerde systemen en apparaten van derden te beheren. Nx VMS is een gratis live-streaming platform - ondersteund door de cloud, op afstand toegankelijk, schaalbaar naar elke omvang, en alleen gelicenseerd wanneer opname en zoeken van IP videocamera's nodig zijn. Nx VMS is ook open voor ontwikkelaars, met uitgebreide API- en SDK-documentatie die ingebouwd is en gratis te gebruiken is, waardoor organisaties of individuen hun eigen video-gedreven applicaties kunnen maken voor elke verticale markt of project.

Dankbetuigingen

We willen Seagate en Network Optix bedanken voor het leveren van de Exos X16 Enterprise harde schijven en IP-camera's die voor dit project zijn gebruikt.

Referentie:

• Waarom stopt RAID met werken in 2019, Door Robin Harris voor Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Waarom de beste RAID-configuratie geen RAID-configuratie is door Gastblogger → https://blog.shi.com/hardware/beste-raid-configuratie-geen-raid-configuratie/