Schmerzpunkte erfordern Verbesserungen

Es gibt jedoch immer noch einige Schmerzpunkte, die in serverbasierten VMS behoben werden müssen.

1. Das Wiederherstellen einer fehlerhaften Festplatte im Festplattenverbund dauert zu lange.Das Risiko von Datenverlust steigt mit der Größe der Festplatte. Unabhängig davon, ob die VMS-Server ein internes oder externes Speichersystem verwenden, nutzen sie den RAID-Controller, um Daten vor Verlust zu schützen. Wenn ein Festplattenlaufwerk ausfällt, wird der Festplattenarray-Controller sehr lange brauchen, um die Dateien auf die Ersatzfestplatte zurückzuschreiben.Die Wiederherstellungszeit und die Möglichkeit eines Fehlers bei der Wiederherstellung des Laufwerks sind proportional zur Größe der Festplatte.Heute ist die größte Festplatte 16TB und bald wird eine 20TB-Festplatte verfügbar sein.Die Verwendung von kleinen Festplatten erhöht die Gesamtkosten von Speicherservern.
2. Der Speicherdurchsatz leidet stark während des Degradierungs-Wiederherstellungsmodus.
3. Der traditionelle Server hat eine große Ausfallzone. Wenn ein Server ausfällt, werden alle Videos innerhalb des Servers unzugänglich oder sogar verloren.Je mehr Festplatten in einem Server installiert sind, desto mehr Videodateien gehen verloren, wenn der Server ausfällt.
4. VMS mangelt es an einer elastischen Hardware-Architektur.

Nutzen Sie Software-Defined Storage und Arm MicroServer mit dem Network Optics Nx Witness Video Management System

In diesem Artikel präsentieren wir, wie Ambedded's Software-definiertes Speichergerät und der auf Arm basierende Microserver die VMS-Software von Network Optics integrieren, um einige der Probleme zu lösen, die in der aktuellen Lösung existieren.

Software-definiertes Speichergerät

Ambedded's software-definierte Speicherung Mars 400 Ceph-Speicherung Appliance ist eine schlüsselfertige software-definierte Speicherlösung für Unternehmen.Das Gerät integriert einen ARM-basierten Microserver mit der Speichersoftware Ceph und einer webbasierten Benutzeroberfläche.Mars 400 bietet einen vereinheitlichten Speichercluster, der das Objekt-, Block- und Dateisystem unterstützt.Es ist darauf ausgelegt, eine hervorragende Leistung, Zuverlässigkeit und Skalierbarkeit ohne einzelnen Fehlerpunkt und mit minimalem Fehlerbereich zu bieten.

Nx Witness Videoverwaltungssystem & Nx Server

Nx Witness VMS ist ein offenes IP-Video-Management-System (IPVMS), das entwickelt wurde, um IP-Videokameras zu finden, anzuzeigen, aufzuzeichnen und zu verwalten sowie schnell mit Systemen und Geräten von Drittanbietern zu integrieren. Die Nx Server-Anwendung ist ein leichtgewichtiger, leistungsstarker Medienserver, der für die Entdeckung und Verwaltung von Nx Witness-Systemgeräten und -daten verantwortlich ist. Der Nx Server zeichnet Video von IP-Kameras auf internen oder extern angeschlossenen Speichermedien auf. Er verfügt über eine Server-Hive-Architektur, die sicherstellt, dass es keinen einzelnen Fehlerpunkt gibt.

Arm Microserver-Architektur

Die Microserver-Plattformen bieten Platz für 8x Quad-Core ARM 64-Bit-Servermodule in einem Ein-Rack-Unit (1RU)-Chassis. Zwei redundante Switches im Chassis bieten eine 4x10 Gbps Uplink-Verbindung für horizontale Skalierung und Client-Zugriff. Jedes ARM-Microserver-Modul ist ein unabhängiger Linux-Server, der dedizierte CPU-, Speicher-, Speicher- und Netzwerkschnittstellenressourcen für Anwendungssoftware besitzt.

Die Microserver-Architektur bietet eine höhere Zugänglichkeit aufgrund des Fehlens eines einzelnen Fehlerpunkts. Jeder Microserver-Knoten kann als Speicherknoten eines Speicherclusters oder als VMS-Serverknoten eines VMS-Clusters konfiguriert werden.

Wenn der Microserver als Speicherknoten konfiguriert ist, tritt er dem Ceph-Speichercluster bei, um mit anderen Speicherknoten zusammenzuarbeiten. Wenn wir den Microserver als Nx Server konfigurieren, erfüllt er seine Aufgabe als VMS-Server und bindet eine virtuelle Festplatte aus dem Storage-Cluster ein, um die aufgezeichneten Videodateien zu speichern. Das bedeutet, dass Sie flexibel die erforderliche Anzahl von Nx-Servern und Ceph-Speicherservern alle auf Mars 400-Mikroservern bereitstellen können. Aufgrund der Vorteile des Microservers haben Sie die Flexibilität, das Überwachungssystem mit einer geringen Erhöhung zu skalieren.

Wie Software-Defined Storage Daten vor Hardwarefehlern schützt und wiederherstellt

Ceph-Speicher verwendet zur Absicherung der Daten vor Verlust anstelle des RAID-Controllers eine Replikations- oder Fehlerkorrekturcode-Algorithmen. Erasure-Codierung ist analog zu RAID 5 oder RAID 6 in der Festplatten-Array, jedoch mit viel Flexibilität, um derzeit mehr Festplattenausfälle zuzulassen. Es kann Daten nicht nur vor Festplattenausfällen schützen, sondern auch vor Serverausfällen, Rackausfällen und jedem Ausfallbereich schützen. Daten- oder Videodateien werden zuerst in Objekte umgewandelt und jedes Objekt wird in eine Reihe von Datenchunks aufgeteilt und redundante Chunks berechnet. Der Speicherserver speichert Daten und redundante Chunks verteilt auf verschiedenen Speicherservern im Speichercluster. Wenn ein Speicherserver ausfällt, müssen alle in diesem Server gespeicherten Daten wiederhergestellt werden. Die Datenheilung wird von allen gesunden Servern und Festplatten durchgeführt. Und nur die verlorenen Chunks müssen wiederhergestellt werden, anstatt alle ganzen Festplatten neu aufzubauen.

Es gibt drei wesentliche Vorteile von verteiltem softwaredefiniertem Speicher im Vergleich zum RAID-Speichersystem.

1. Daten können den Ausfall eines oder mehrerer Serverknoten überleben.
2. Die Datenwiederherstellung ist viel schneller als bei RAID, da alle gesunden Festplatten im Cluster parallel zur Datenheilung beitragen und nur verlorene Daten wiederhergestellt werden müssen. Wenn es mehr Festplatten im Cluster gibt, ist die Heilungsgeschwindigkeit schneller. Ein Experiment, bei dem eine 60% genutzte 10TB-Festplatte in einem 36-Festplatten-Cluster verloren ging, dauerte 2,5 Tage für die Wiederherstellung. Die Wiederherstellungsgeschwindigkeit beträgt für dieses Experiment 28,5 MB/s. (Clay Erasure Code 4+2 Profil)
3. Während der Heilung unterbricht die Heilung nicht die Videoaufzeichnung
4. Sie können große Festplattenlaufwerke wie 16TB HDD im Ceph-Speichercluster verwenden, um die gleiche Kapazität mit weniger Servern zu erhalten.

Wie viele Kameraaufnahmen kann ein Microserver unterstützen

Wir haben eine Testumgebung eingerichtet, um den Nx Server auf Ambedded zu belasten Mars 400 Mikroserver. Das Experiment verwendete zunächst einen Server, um IP-Kameras zur Simulation von Videostreams an einen Arm-Mikroserver zu senden. Das Video-Stream-Format ist H.264, 1080p in hoher Qualität mit 30 Bildern pro Sekunde. Der Arm VMS-Server bindet eine virtuelle Festplatte als Speicher ein. Das Testergebnis ergibt, dass ein Mikroserver maximal 30 Kameras aufzeichnen kann, ohne dass dabei Videoframes verloren gehen. Die Tests umfassen auch das Szenario, wenn die virtuelle Festplatte voll ist. Dies bedeutet, dass ein 1U Mars 400, der acht Mikroserver aufnehmen kann, 240 Kameras mit hochauflösenden Videos unterstützen kann. Dies bedeutet, dass ein 1U Mars 400, der acht Mikroserver aufnehmen kann, bis zu 240 Kamera-HD-Videostreams unterstützen kann. Dies ist eine großartige Leistung, die mit einem 1U-Server erreicht wird und nur 100 Watt Strom verbraucht.

Test mit echten IP-Kameras

In einem weiteren Test verwenden wir fünfzig IP-Kameras, um den Test in einer realen Umgebung durchzuführen.

Ausrüstungsliste:

• IP-Kameras: 25x verkabelt und 25x kabellos
• Mars 400Nx Server: 8 Knoten in 1U. 4 Kerne Arm A72, 4GB RAM & 2x 2.5Gbps LAN
• Nx Server: 3 Mars 400Nx Arm-Knoten,

♦ 3 Knoten sind aktiv für Aufnahme und Wiedergabe. Auf jedem Knoten steht eine Ersatzressource für den Ausfall eines Knotens zur Verfügung.

• Speicher:

♦ Datenschutz: Löschcode 4+2, ermöglicht das gleichzeitige Ausfallen von 2 Festplatten

♦ Ceph-Server: 21x Mikroserver für Ceph OSD + 3x Mikroserver für Ceph-Monitor

♦ Festplatten: 21x 16TB Seagate Exos Enterprise SATA HDD. 224TB sind nutzbar.

• Netzwerk:

♦ 4x 10Gb Anschlüsse für 4x Mars 400Nx

♦ 1x Gb Switch für Kameras

♦ Drahtloser Zugangspunkt x 2

Während der Aufnahme und Wiedergabe werden nur 150% der CPU-Ressourcen genutzt. Die maximale nutzbare CPU-Ressource beträgt 400%. Bitte beziehen Sie sich auf Abbildung 1.

Abbildung 1: CPU-Auslastung des Nx Server-Knotens

Jeder Knoten verfügt über insgesamt 4GB Speicher. 1GB Speicher ist für den Ersatz reserviert. Der während des Tests verwendete Speicher beträgt etwa 2,8 GB. Der Serverknoten kann stabil bis zu 30 Kameras unterstützen.

Abbildung 2: Unbenutzter Speicher des Nx Server-Knotens

Der Netzwerkverkehr während des Tests beträgt etwa 150Mbps Download und 130Mbps Upload. Die 2x 2,5Gb Netzwerkbandbreite ist deutlich höher als der tatsächliche Datenverkehr.

Abbildung 3: Netzwerkverkehr der Nx Server-Knoten

Ausfallübernahme des VMS Server-Knotens

Der Network Optics VMS-Server verfügt über die automatische Server-Failover-Funktion, die es gesunden VMS-Servern ermöglicht, Kameras von einem ausgefallenen Nx VMS-Server zu übernehmen. In unserem Test haben wir drei Mikroserver als Nx VMS-Server eingerichtet. Sie können insgesamt 90 Kameras verarbeiten. Unter normalen Bedingungen sind 50 Kameras gleichmäßig auf die drei Server verteilt. Wir simulieren einen Serverausfall, indem wir ihn ausschalten. Wir beweisen, dass 18 Kameras, die mit dem ausgefallenen Server verbunden waren, sich automatisch innerhalb von etwa einer Minute mit den anderen beiden Servern wieder verbinden können.

Dies bedeutet, dass bei Verwendung der Microserver-Lösung für den Nx VMS-Server nur 1/8 eines 1U Mars 400Nx-Servers für die Ausfallsicherung benötigt wird. Im Vergleich zu einem großen Node-Server kann die Microserver-Architektur die Kosten für die Ausfallsicherung eines Servers einsparen.

Designbeispiel

Projektanforderungen

1. Anzahl der Kameras: 200 Kameras
2. Bitrate pro Kamera für 1080p, hohe Qualität, 30 FPS: 4,87 Mbps
3. Aufzeichnungsstunden pro Tag: 16 Stunden
4. Aufzeichnungstage: 60 Tage

Berechnung der Serveranforderungen

1. Die insgesamt benötigte nutzbare Speicherkapazität beträgt 411 TB
2. Die insgesamt benötigte Rohkapazität, wenn wir Erasure Code 4+2 verwenden: 678 TB
3. Festplattenkapazität: 16 TB
4. Anzahl der benötigten Festplatten: 43 HDDs
5. Anzahl der für die Speicherung benötigten Knoten (Ceph OSD): 43
6. Ceph Monitor-Knoten: 3
7. Nx-Serverknoten für 200 Kameras: 200/30 = 7 Knoten.
8. Ersatzknoten für NxServer-Ausfallsicherung: 1 Knoten
9. Gesamtzahl der benötigten Mikroserver-Knoten: 43 + 3 + 7 + 1 = 54 Knoten
10. Gesamtzahl der benötigten Mars 400Nx: 54/8 = 7x 1U Mars 40Nx
11. Ersatzknoten: (7 x 8) - 54 = 2 Knoten
12. Gesamtstromverbrauch des Servers ohne HDD: 7 x 100 Watt = 700 Watt

Abschluss

Ambedded Mars 400Nx kombiniert den Nx VMS-Server und softwaredefinierten Speicher und bietet folgende Vorteile:

1. Der softwaredefinierte Speicher von Mars 400Nx schützt Daten nicht nur vor Festplattenausfällen, sondern auch vor Serverausfällen.
2. Bei Festplattenausfällen stellt Mars 400Nx die Daten parallel auf allen gesunden Laufwerken wieder her. Dies ist 4 bis 5 Mal schneller im Vergleich zum RAID-Controller.
3. Mars 400Nx kann die Videoaufzeichnung und Wiedergabe während der Datenwiederherstellung aufrechterhalten.
4. Sie können im Mars 400Nx-Speichercluster Festplatten mit großer Kapazität verwenden, um die Gesamtkosten des Speichersystems zu reduzieren.
5. Ein 1U Mars 400Nx VMS-Server kann bis zu 240x 1080p-Kameras unterstützen. Sie können das VMS-System mit einer flexiblen Kombination aus Speicher- und VMS-Servern entwerfen.
6. Der Mars 400Nx Arm-Server spart im Vergleich zu x86-Servern 70 Prozent des Stromverbrauchs.

Über Ambedded

Ambedded ist ein Unternehmen für softwaredefinierten Speicher mit Fachkenntnissen in den Bereichen Linux-Betriebssystem, Kernel, softwaredefinierter Speicher, Embedded-Systeme und Arm-Server.

'AMBEDDED' hat die Vision, die Nutzung von Ceph-Software-defined Storage einfach zu machen, damit Unternehmen von Ceph mit einer kürzeren Lernkurve profitieren können.

'AMBEDDED' macht Ceph einfach, indem sie eine benutzerfreundliche Benutzeroberfläche, eine einsatzbereite Speicherlösung, Stabilitäts- und Leistungsoptimierung, automatisierte Bereitstellung und professionellen Support anbietet.

Mit der speziell entwickelten Ceph-Appliance verfügt das Ambedded-Team über umfangreiche Erfahrung, um Kunden bei der Einführung unserer Ceph-Lösung in vielfältigen Branchen zu unterstützen, wie z.B. Telekommunikation, Medizin, Militär, Edge-Rechenzentren und Unternehmen, die hochverfügbaren Speicher benötigen.

Besuchen Sie die Ambedded Webseite für Details.

Über Netzwerkoptik

Network Optix ist ein Softwareentwicklungsunternehmen, das sich auf die Entwicklung modernster Videomanagementlösungen spezialisiert hat. Unser Kernprodukt - Nx VMS - ist eine offene, leichte, anpassbare Videoverwaltungsplattform, die in der Lage ist, Offline-Medien, Live-Videostreams sowie integrierte Systeme und Geräte von Drittanbietern zu verwalten. Nx VMS ist eine kostenlose Live-Streaming-Plattform - cloud-fähig, fernzugänglich, skalierbar auf jede Größe und lizenziert nur bei Aufnahme und Suche von IP-Videokameras erforderlich. Nx VMS steht auch Entwicklern offen, mit umfassender API- und SDK-Dokumentation, die integriert und kostenlos nutzbar ist. Dadurch können Organisationen oder Einzelpersonen ihre eigenen videobasierten Anwendungen für jeden vertikalen Markt oder jedes Projekt erstellen.

Danksagungen

Wir möchten Seagate und Network Optix für die Bereitstellung der Exos X16 Enterprise-Festplatten und IP-Kameras, die für dieses Projekt verwendet wurden, danken.

Referenz:

• Warum RAID 2019 aufhört zu funktionieren, von Robin Harris für Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Warum die beste RAID-Konfiguration keine RAID-Konfiguration ist von Gastblogger → https://blog.shi.com/hardware/beste-raid-konfiguration-keine-raid-konfiguration/