Les points de douleur nécessitent des améliorations

Cependant, il existe encore certains points de douleur dans les VMS basés sur serveur qui doivent être résolus.

1. La reconstruction d'un disque défaillant dans un ensemble de disques prend trop de temps.Le risque de perte de données augmente avec la taille du disque. Peu importe si les serveurs VMS utilisent un stockage interne ou un système de stockage externe, ils utilisent le contrôleur RAID pour protéger les données contre la perte. Si un disque dur tombe en panne, le contrôleur de la matrice de disques mettra beaucoup de temps à reconstruire les fichiers sur le disque de secours.Le temps de reconstruction et la possibilité d'échec de la reconstruction du disque sont proportionnels à la taille du disque.Aujourd'hui, le plus grand disque dur est de 16 To et bientôt un disque de 20 To sera disponible.L'utilisation de disques de petite taille augmente le coût total des serveurs de stockage.
2. Le débit de stockage subit un impact important pendant le mode de reconstruction dégradé.
3. Le serveur traditionnel a un grand domaine de défaillance. Si un serveur échoue, toutes les vidéos à l'intérieur du serveur deviennent inaccessibles, voire perdues.Plus de disques sont installés dans un serveur, plus de fichiers vidéo sont perdus en même temps lorsque le serveur tombe en panne.
4. Les VMS manquent d'une architecture matérielle élastique.

Utilisez le stockage défini par logiciel et le microserveur Arm avec le système de gestion vidéo Nx Witness de Network Optics

Dans cet article, nous présenterons comment l'appliance de stockage défini par logiciel d'Ambedded et le microserveur basé sur Arm intègrent le logiciel VMS de Network Optics pour résoudre certains des problèmes existants dans la solution actuelle.

Appliance de stockage défini par logiciel

L'appliance Ambedded de stockage défini par logiciel Mars 400 Ceph Storage est une solution de stockage définie par logiciel clé en main pour les entreprises.L'appareil intègre un microserveur basé sur ARM avec le logiciel de stockage Ceph et une interface utilisateur web.Mars 400 offre un cluster de stockage unifié qui prend en charge les systèmes d'objets, de blocs et de fichiers.Il est conçu pour offrir d'excellentes performances, une fiabilité et une évolutivité optimales, sans point de défaillance unique et avec un domaine de défaillance minimal.

Système de gestion vidéo Nx Witness & Serveur Nx

Nx Witness VMS est un système de gestion vidéo IP ouvert (IPVMS) conçu pour trouver, visualiser, enregistrer et gérer des caméras vidéo IP ainsi que s'intégrer rapidement avec des systèmes et des appareils tiers. L'application Nx Server est un serveur multimédia léger et puissant chargé de découvrir et de gérer les appareils et les données du système Nx Witness. Le serveur Nx enregistre la vidéo des caméras IP sur un stockage interne ou externe. Il dispose d'une architecture de ruche de serveurs garantissant l'absence de point de défaillance unique.

Architecture de microserveur ARM

Les plates-formes de microserveurs peuvent accueillir 8 modules de serveurs ARM 64 bits à quatre cœurs dans un châssis d'une unité de rack (1RU). Deux commutateurs redondants intégrés fournissent une liaison montante de 4x10 Gbps pour une mise à l'échelle horizontale et un accès client. Chaque module de microserveur ARM est un serveur Linux indépendant disposant de ressources dédiées en termes de CPU, de mémoire, de stockage et d'interface réseau pour les logiciels d'application.

L'architecture microserveur offre une plus grande accessibilité en raison de l'absence d'un point de défaillance unique. Chaque nœud microserveur peut être configuré en tant que nœud de stockage d'un cluster de stockage ou en tant que nœud serveur VMS d'un cluster VMS.

Lorsque le microserveur est configuré en tant que nœud de stockage, il rejoint le cluster de stockage Ceph pour travailler avec d'autres nœuds de stockage. Si nous configurons le microserveur en tant que serveur Nx, il remplit sa fonction de serveur VMS et monte un disque virtuel à partir du cluster de stockage pour stocker les fichiers vidéo enregistrés. Cela signifie que vous pouvez déployer de manière flexible le nombre nécessaire de serveurs Nx et de serveurs de stockage Ceph, le tout sur 400 microserveurs Mars. En raison des avantages du microserveur, vous avez la flexibilité de faire évoluer le système de surveillance avec une petite augmentation.

Comment le stockage défini par logiciel protège et répare les données contre les défaillances matérielles

Le stockage Ceph utilise l'algorithme de réplication ou de code d'effacement pour protéger les données contre la perte au lieu du contrôleur RAID. Le codage d'effacement est similaire au RAID 5 ou RAID 6 dans le tableau de disques, mais avec une plus grande flexibilité permettant actuellement plus de défaillances de disques. Il peut protéger les données non seulement contre les défaillances des disques durs, mais aussi contre les défaillances des serveurs, les défaillances des racks et tout type de domaine de défaillance. Les fichiers de données ou vidéo sont d'abord convertis en objets et chaque objet est divisé en plusieurs morceaux de données et des morceaux redondants sont calculés. Le serveur de stockage stocke de manière distribuée des données et des fragments redondants sur les différents serveurs de stockage du cluster de stockage. Si un serveur de stockage tombe en panne, toutes les données stockées à l'intérieur de ce serveur doivent être réparées. La récupération des données est effectuée par tous les serveurs et disques en bon état. Et, seuls les morceaux perdus doivent être réparés au lieu de reconstruire tous les disques entiers.

Il existe trois avantages majeurs du stockage distribué défini par logiciel par rapport au système de stockage RAID.

1. Les données peuvent survivre à la panne d'un ou plusieurs nœuds serveur.
2. La récupération des données est beaucoup plus rapide avec Data reheal qu'avec RAID car tous les disques sains du cluster contribuent à la récupération des données en parallèle et seules les données perdues ont besoin d'être récupérées. Si le cluster compte plus de disques, la vitesse de récupération est plus rapide. Une expérience consistant à perdre un disque de 10 To utilisé à 60% dans un cluster de 36 disques a nécessité 2,5 jours pour la récupération. La vitesse de récupération est de 28,5 Mo/s pour cette échelle d'expérience. (Profil Clay Erasure code 4+2)
3. Pendant la guérison, la guérison n'interrompt pas l'enregistrement vidéo
4. Vous pouvez utiliser des disques durs de grande capacité tels que des HDD de 16 To dans le cluster de stockage Ceph pour obtenir la même capacité avec moins de serveurs.

Combien de caméras peut-on enregistrer avec un microserveur ?

Nous avons mis en place un environnement de test pour mettre à l'épreuve le serveur Nx sur Ambedded Mars 400 microserveur. L'expérience a d'abord utilisé un serveur pour simuler des caméras IP afin de diffuser des vidéos vers un microserveur Arm. Le format du flux vidéo est H.264, de haute qualité 1080p à 30 images par seconde. Le serveur Arm VMS monte un disque virtuel comme stockage. Le résultat du test conclut qu'un microserveur peut enregistrer un maximum de 30 caméras sans perdre la trame vidéo. Les tests incluent également le scénario lorsque le disque virtuel est plein. Cela implique qu'un Mars 400 de 1U qui peut accueillir huit microserveurs peut prendre en charge 240 caméras vidéos haute définition. Cela implique qu'un Mars 400 de 1U qui peut accueillir huit microserveurs peut prendre en charge jusqu'à 240 flux vidéo haute définition de caméra. C'est une grande réalisation en utilisant un serveur 1U et ne consommant que 100 Watts de puissance.

Test avec de vraies caméras IP

Dans un autre test, nous utilisons cinquante caméras IP pour effectuer le test dans un environnement réel.

Liste de l'équipement :

• Caméras IP : 25x filaires et 25x sans fil
• Serveur Mars 400Nx : 8 nœuds dans 1U. 4 cœurs Arm A72, 4 Go de RAM et 2x LAN 2,5 Gbps
• Serveur Nx : 3 nœuds Arm Mars 400Nx,

♦ 3 nœuds sont actifs pour l'enregistrement et la lecture. Il y a une ressource de secours sur chaque nœud en cas de défaillance d'un nœud.

• Stockage :

♦ Protection des données : code d'effacement 4+2, permettant jusqu'à 2 pannes de disque dur simultanées

♦ Serveur Ceph : 21x microserveur pour Ceph OSD + 3x microserveur pour Ceph monitor

♦ Disques durs : 21x Seagate Exos Enterprise SATA HDD de 16TB. 224TB sont utilisables.

• Réseau :

♦ 4x ports de 10Gb pour 4x Mars 400Nx

♦ 1x commutateur Gb pour les caméras

♦ 2x points d'accès sans fil

Pendant l'enregistrement et la relecture, seulement 150% des ressources du CPU sont utilisées. La ressource maximale utilisable du CPU est de 400%. Veuillez vous référer à la figure 1.

Figure 1 : Utilisation du CPU du nœud du serveur Nx

Il y a un total de 4GB de mémoire disponible dans chaque nœud. 1GB de mémoire est réservé pour une utilisation de secours. La quantité de mémoire utilisée pendant le test est d'environ 2.8 GB. Le nœud du serveur peut supporter de manière stable jusqu'à 30 caméras.

Figure 2 : Mémoire non utilisée du nœud du serveur Nx

Le trafic réseau pendant le test est d'environ 150Mbps en téléchargement et 130Mbps en téléversement. La bande passante réseau de 2x 2.5Gb est bien supérieure au trafic réel.

Figure 3: Trafic réseau des nœuds du serveur Nx

Basculement du nœud du serveur VMS

Le serveur Network Optics VMS dispose de la fonctionnalité de basculement automatique du serveur, qui permet aux serveurs VMS en bon état de se connecter aux caméras d'un serveur Nx VMS défaillant. Dans notre test, nous avons configuré trois microserveurs en tant que serveur Nx VMS. Ils peuvent gérer un total de 90 caméras. En conditions normales, 50 caméras de test sont connectées de manière équitable aux trois serveurs. Nous simulons la mise hors ligne d'un serveur en l'éteignant. Nous prouvons que 18 caméras connectées au serveur défaillant peuvent se reconnecter automatiquement aux deux autres serveurs en environ une minute.

Cela implique que l'utilisation de la solution microserveur pour le serveur Nx VMS ; vous avez seulement besoin d'1/8 d'un serveur Mars 400Nx 1U épargné pour la redondance. Comparé à un gros serveur nodal ; l'architecture microserveur peut économiser le coût d'un serveur pour la configuration de redondance.

Exemple de conception

Exigences du projet

1. Nombre de caméras : 200 caméras
2. Débit par caméra pour 1080p, haute qualité, 30 FPS : 4,87 Mbps
3. Heures d'enregistrement par jour : 16 heures
4. Jours d'enregistrement : 60 jours

Calcul des exigences du serveur

1. La capacité de stockage totale utilisable requise : 411 To
2. La capacité brute totale requise si nous utilisons le code d'effacement 4+2 : 678 To
3. Capacité du disque dur : 16 To
4. Nombre de disques durs requis : 43 disques durs
5. Nombre de nœuds requis pour le stockage (Ceph OSD) : 43
6. Nœud de surveillance Ceph : 3
7. Nœuds Nx pour 200 caméras : 200/30 = 7 nœuds.
8. Nœud de secours pour la bascule de NxServer : 1 nœud
9. Nombre total de microserveurs requis : 43 + 3 + 7 + 1 = 54 nœuds
10. Nombre total de Mars 400Nx requis : 54/8 = 7x 1U Mars 40Nx
11. Nœuds de secours : (7 x 8) - 54 = 2 nœuds
12. Consommation totale d'énergie du serveur hors disques durs : 7 x 100 Watts = 700 Watts

Conclusion

Ambedded Mars 400Nx, qui combine un serveur Nx VMS et un stockage défini par logiciel, présente les avantages suivants :

1. Le stockage défini par logiciel de Mars 400Nx peut protéger les données non seulement contre les défaillances de disque, mais aussi contre les défaillances de serveur.
2. En cas de défaillance de disque, Mars 400Nx restaure les données en parallèle sur tous les disques sains. C'est 4 à 5 fois plus rapide comparé au contrôleur RAID.
3. Mars 400Nx peut maintenir son enregistrement vidéo et sa lecture pendant la restauration des données.
4. Vous pouvez utiliser des disques de grande capacité dans le cluster de stockage Mars 400Nx pour réduire le coût total du système de stockage.
5. Un serveur VMS Mars 400Nx 1U peut supporter jusqu'à 240 caméras 1080p. Vous pouvez concevoir le système VMS avec une combinaison flexible de serveurs de stockage et de serveurs VMS.
6. Le serveur Arm Mars 400Nx économise 70% de la consommation d'énergie par rapport aux serveurs x86.

À propos de Ambedded

Ambedded est une entreprise spécialisée dans le stockage défini par logiciel, avec une expertise dans les systèmes d'exploitation Linux, le noyau, le stockage défini par logiciel, les systèmes embarqués et les serveurs Arm.

La vision d'Ambedded est de rendre l'utilisation du stockage défini par logiciel Ceph facile afin que les entreprises puissent bénéficier de Ceph avec une courbe d'apprentissage plus courte.

Ambedded rend Ceph simple en offrant une interface utilisateur facile à utiliser, un appareil de stockage prêt à l'emploi, une stabilité et des performances optimisées, un déploiement automatisé et un support professionnel.

Avec l'appliance Ceph spécialement conçue, l'équipe Ambedded possède une vaste expérience pour aider les clients à adopter notre solution Ceph dans diverses industries, telles que les télécommunications, le secteur médical, militaire, les centres de données périphériques et les entreprises qui ont besoin d'un stockage hautement disponible.

Visitez le site web Ambedded pour obtenir plus de détails.

À propos de l'optique réseau

Network Optix est une entreprise de développement de logiciels axée sur la création de solutions de gestion vidéo de pointe. Notre produit phare - Nx VMS - est une plateforme de gestion vidéo ouverte, légère et personnalisable capable de gérer les médias hors ligne, les flux vidéo en direct, ainsi que les systèmes et appareils tiers intégrés. Nx VMS est une plateforme de diffusion en direct gratuite - activée dans le cloud, accessible à distance, adaptable à toutes les tailles et sous licence uniquement lorsque l'enregistrement et la recherche des caméras vidéo IP sont nécessaires. Nx VMS est également ouvert aux développeurs, avec une documentation complète sur les API et les SDK intégrée et gratuite à utiliser, permettant aux organisations ou aux particuliers de créer leurs propres applications basées sur la vidéo pour n'importe quel marché vertical ou projet.

Remerciements

Nous tenons à remercier Seagate et Network Optix pour avoir fourni les disques durs d'entreprise Exos X16 et les caméras IP utilisés pour ce projet.

Référence:

• Pourquoi le RAID cesse de fonctionner en 2019, par Robin Harris pour Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Pourquoi la meilleure configuration RAID est aucune configuration RAID par Blogueur invité → https://blog.shi.com/materiel/meilleure-configuration-raid-pas-de-configuration-raid/