Puntos de Dolor Requieren Mejoras

Sin embargo, todavía existen algunos puntos de dolor en los sistemas de gestión de video basados en servidores que deben abordarse.

1. La reconstrucción de un disco fallido en una matriz de discos lleva demasiado tiempo.El riesgo de pérdida de datos aumenta con el tamaño del disco. Sin importar si los servidores VMS utilizan un almacenamiento interno o un sistema de almacenamiento externo, utilizan el controlador RAID para proteger los datos contra la pérdida. Si falla un disco, el controlador de la matriz de discos tardará mucho tiempo en reconstruir los archivos en el disco de repuesto.El tiempo de reconstrucción y la posibilidad de fallo al reconstruir la unidad son proporcionales al tamaño del disco.Hoy en día, el disco duro más grande es de 16TB y pronto estará disponible un disco de 20TB.El uso de discos de tamaño pequeño aumenta el costo total de los servidores de almacenamiento.
2. El rendimiento de almacenamiento sufre un gran impacto durante el modo de reconstrucción degradada.
3. El servidor tradicional tiene un gran dominio de fallas. Si un servidor falla, todos los videos dentro del servidor se vuelven inaccesibles o incluso se pierden.Cuanto más discos se instalan en un servidor, más archivos de video se pierden al mismo tiempo cuando el servidor falla.
4. Las VMS carecen de una arquitectura de hardware elástica.

Utilice el almacenamiento definido por software y el microservidor Arm con el sistema de gestión de video Nx Witness de Network Optics.

En este artículo, presentaremos cómo el dispositivo de almacenamiento definido por software de Ambedded y el microservidor basado en Arm integran el software VMS de Network Optics para resolver algunos de los problemas que existen en la solución actual.

Dispositivo de almacenamiento definido por software

El Appliance de Almacenamiento Ceph Ceph Storage Mars 400 de Ambedded, definido por software, es una solución de almacenamiento definida por software llave en mano para empresas.El dispositivo integra un microservidor basado en ARM con software de almacenamiento Ceph y una interfaz de usuario web.Mars 400 proporciona un clúster de almacenamiento unificado que admite el sistema de objetos, bloques y archivos.Está diseñado para ofrecer un rendimiento, confiabilidad y escalabilidad excelentes sin ningún punto único de falla y un dominio de falla mínimo.

Sistema de Gestión de Video Nx Witness y Servidor Nx

Nx Witness VMS es un sistema de gestión de video IP (IPVMS) abierto diseñado para encontrar, ver, grabar y gestionar cámaras de video IP, así como integrarse rápidamente con sistemas y dispositivos de terceros. La aplicación del servidor Nx es un servidor multimedia ligero y potente responsable de descubrir y gestionar dispositivos y datos del sistema Nx Witness. El servidor Nx graba video de cámaras IP en almacenamiento interno o externo. Tiene una arquitectura de enjambre de servidores que garantiza que no haya un único punto de fallo.

Arquitectura de microservidores ARM

Las plataformas de microservidores pueden alojar 8 módulos de servidores ARM de 64 bits de cuatro núcleos en un chasis de una unidad de rack (1RU). Dos switches redundantes en el chasis proporcionan una conexión ascendente de 4x10 Gbps para escalar horizontalmente y acceder a los clientes. Cada módulo de microservidor ARM es un servidor Linux independiente que cuenta con CPU, memoria, almacenamiento y recursos de interfaz de red dedicados para el software de aplicaciones.

La arquitectura de microservidores proporciona una mayor accesibilidad debido a su falta de un único punto de fallo. Cada nodo de microservidor puede configurarse como un nodo de almacenamiento de un clúster de almacenamiento o como un nodo de servidor VMS de un clúster VMS.

Cuando el microservidor está configurado como un nodo de almacenamiento, se une al clúster de almacenamiento de Ceph para trabajar con otros nodos de almacenamiento. Si configuramos el microservidor como un servidor Nx, realiza su trabajo como un servidor VMS y monta un disco virtual desde el clúster de almacenamiento para almacenar los archivos de video grabados. Esto significa que puedes desplegar de manera flexible el número necesario de servidores Nx y servidores de almacenamiento Ceph, todo en los microservidores Mars 400. Debido a las ventajas del microservidor, tienes la flexibilidad de escalar el sistema de vigilancia con un pequeño incremento.

Cómo el almacenamiento definido por software protege y repara los datos contra fallas de hardware

El almacenamiento de Ceph utiliza replicación o algoritmo de código de borrado para proteger los datos contra pérdidas en lugar del controlador RAID. La codificación de borrado es similar a RAID 5 o RAID 6 en la matriz de discos, pero con mucha más flexibilidad que permite más fallos de disco en la actualidad. Puede proteger los datos no solo de fallas en el disco duro, sino también proteger los datos contra fallas del servidor, fallas del rack y cualquier escala de dominio de falla. Los archivos de datos o video se descomponen en objetos y cada objeto se divide en varios fragmentos de datos y se calculan fragmentos redundantes. El servidor de almacenamiento almacena de forma distribuida datos y fragmentos redundantes en los diferentes servidores de almacenamiento del clúster de almacenamiento. Si un servidor de almacenamiento se rompe, todos los datos almacenados dentro de ese servidor deben ser reparados. La recuperación de datos la realizan todos los servidores y discos saludables. Y, solo los fragmentos perdidos deben ser recompuestos en lugar de reconstruir todos los discos completos.

Hay tres ventajas principales del almacenamiento distribuido definido por software en comparación con el sistema de almacenamiento RAID.

1. Los datos pueden sobrevivir a la falla de uno o más nodos del servidor.
2. La recuperación de datos es mucho más rápida que el RAID porque todos los discos sanos en el clúster ayudan a la recuperación de datos en paralelo y solo se necesita recuperar los datos perdidos. Si hay más discos en el clúster, la velocidad de recuperación es más rápida. Un experimento de perder un disco de 10TB con un uso del 60% en un clúster de 36 discos tomó 2.5 días para la recuperación. La velocidad de recuperación es de 28.5MB/s para esta escala de experimento. (Perfil de código de borrado de arcilla 4+2)
3. Durante la curación, la sanación no interrumpe la grabación de video
4. Puede utilizar unidades de disco de gran capacidad como HDD de 16TB en el clúster de almacenamiento Ceph para obtener la misma capacidad con menos servidores.

¿Cuántas cámaras puede grabar un microservidor?

Configuramos un entorno de pruebas para poner a prueba el servidor Nx en Ambedded Servidor micro Mars 400. El experimento utilizó en primer lugar un servidor para simular cámaras IP para transmitir videos a un microservidor Arm. El formato de transmisión de video es H.264, calidad alta de 1080p a 30 cuadros por segundo. El servidor Arm VMS monta un disco virtual como su almacenamiento. El resultado de la prueba concluye que un microservidor puede grabar un máximo de 30 cámaras sin perder el fotograma de video. La prueba también incluye el escenario cuando el disco virtual está lleno. Esto implica que un Mars 400 de 1U que aloja ocho microservidores puede soportar 240 cámaras de videos de alta definición. Esto implica que un Mars 400 de 1U que aloja ocho microservidores puede admitir hasta 240 transmisiones de video de alta definición de cámaras. Este es un gran logro al utilizar un servidor de 1U y consumir solo 100 Watts de energía.

Prueba con cámaras IP reales

En otra prueba, utilizamos cincuenta cámaras IP para realizar el test en un entorno real.

Lista de equipos:

• Cámaras IP: 25x con cable y 25x inalámbricas
• Servidor Mars 400Nx: 8 nodos en 1U. 4 núcleos Arm A72, 4GB de RAM y 2x LAN de 2.5Gbps
• Servidor Nx: 3 nodos Arm Mars 400Nx,

♦ 3 nodos están activos para grabación y reproducción. Hay un recurso de repuesto en cada nodo en caso de fallo de un nodo.

• Almacenamiento:

♦ Protección de datos: código de borrado 4+2, permite hasta 2 fallos de disco duro al mismo tiempo

♦ Servidor Ceph: 21x microservidores para Ceph OSD + 3x microservidores para Ceph monitor

♦ Discos duros: 21x 16TB Seagate Exos Enterprise SATA HDD. Se pueden utilizar 224TB.

• Red:

♦ 4x puertos de 10Gb para 4x Mars 400Nx

♦ 1x interruptor Gb para cámaras

♦ Punto de acceso inalámbrico x 2

Durante la grabación y la reproducción, solo se utiliza el 150% de los recursos de la CPU. El recurso máximo utilizable de la CPU es del 400%. Por favor, consulte la figura 1.

Figura 1: Uso de CPU en el nodo del servidor Nx

Hay un total de 4GB de memoria disponible en cada nodo. Se reserva 1GB de memoria para uso de repuesto. La cantidad de memoria utilizada durante la prueba es de aproximadamente 2.8 GB. El nodo del servidor puede soportar de manera estable hasta 30 cámaras.

Figura 2: Memoria no utilizada en el nodo del servidor Nx

El tráfico de la red durante la prueba es de aproximadamente 150Mbps de descarga y 130Mbps de subida. El ancho de banda de la red de 2x 2.5Gb es mucho mayor que el tráfico real.

Figura 3: Tráfico de red de los nodos del servidor Nx

Conmutación por error del nodo del servidor VMS

El servidor de Network Optics VMS tiene la función de conmutación automática del servidor, que permite a los servidores VMS saludables conectarse a las cámaras de un servidor Nx VMS fallido. En nuestra prueba, configuramos tres microservidores como servidor Nx VMS. Pueden manejar un total de 90 cámaras. En condiciones normales, 50 cámaras de prueba se conectan de manera equitativa a los tres servidores. Simulamos un servidor fuera de línea apagándolo. Demostramos que 18 cámaras conectadas al servidor fallido pueden reconectarse automáticamente a los otros dos servidores en aproximadamente un minuto.

Esto implica que al utilizar la solución de microservidor para el servidor Nx VMS, solo se necesita 1/8 de un servidor Mars 400Nx de 1U reservado para la conmutación por error. En comparación con un servidor de nodo grande, la arquitectura de microservidor puede ahorrar el costo de un servidor para la configuración de conmutación por error.

Ejemplo de diseño

Requisitos del proyecto

1. Número de cámaras: 200 cámaras
2. Velocidad de bits por cámara para 1080p, alta calidad, 30 FPS: 4.87Mbps
3. Horas de grabación por día: 16 horas
4. Días para grabar: 60 días

Cálculo de los requisitos del servidor

1. La capacidad total de almacenamiento utilizable requerida: 411 TB
2. La capacidad total en bruto requerida si utilizamos el código de borrado 4+2: 678 TB
3. Capacidad del disco duro: 16 TB
4. Número de discos duros requeridos: 43 HDDs
5. Número de nodos requeridos para el almacenamiento (Ceph OSD): 43
6. Nodo de monitorización de Ceph: 3
7. Nodos de servidor Nx para 200 cámaras: 200/30 = 7 nodos.
8. Nodo de repuesto para la conmutación por error de NxServer: 1 nodo
9. Total de nodos de microservidor requeridos: 43 + 3 + 7 + 1 = 54 nodos
10. Total de Mars 400Nx requeridos: 54/8 = 7x 1U Mars 40Nx
11. Nodos de repuesto: (7 x 8) - 54 = 2 nodos
12. Consumo total de energía del servidor excluyendo HDD: 7 x 100 Watts = 700 Watts

Conclusión

Ambedded Mars 400Nx combina el servidor Nx VMS y el almacenamiento definido por software, y tiene las siguientes ventajas:

1. El almacenamiento definido por software de Mars 400Nx puede proteger los datos no solo contra fallas de disco, sino también contra fallas del servidor.
2. Cuando hay fallas de disco, Mars 400Nx repara los datos de forma paralela en todos los discos sanos. Es de 4 a 5 veces más rápido en comparación con el controlador RAID.
3. Mars 400Nx puede mantener la grabación y reproducción de video durante la reparación de datos.
4. Puede utilizar discos de gran capacidad en el clúster de almacenamiento Mars 400Nx para reducir el costo total del sistema de almacenamiento.
5. Un servidor VMS Mars 400Nx de 1U puede admitir hasta 240 cámaras 1080p. Puede diseñar el sistema VMS con una combinación flexible de servidores de almacenamiento y VMS.
6. El servidor Arm Mars 400Nx ahorra un 70 por ciento en el consumo de energía en comparación con los servidores x86.

Acerca de Ambedded

Ambedded es una empresa de almacenamiento definido por software con experiencia en sistemas operativos Linux, kernel, almacenamiento definido por software, sistemas integrados y servidores Arm.

La visión de Ambedded es hacer que el uso del almacenamiento definido por software Ceph sea fácil para que las empresas puedan beneficiarse de Ceph con una curva de aprendizaje más corta.

Ambedded simplifica Ceph ofreciendo una interfaz de usuario fácil de usar, un dispositivo de almacenamiento listo para usar, ajuste de estabilidad y rendimiento, implementación automatizada y soporte profesional.

Con el appliance Ceph diseñado específicamente, el equipo de Ambedded cuenta con una amplia experiencia para ayudar a los clientes a adoptar nuestra solución Ceph en diversas industrias, como las de telecomunicaciones, médica, militar, centros de datos periféricos y empresas que requieren almacenamiento de alta disponibilidad.

Visite el sitio web de Ambedded para más detalles.

Sobre Network Optics

Network Optix es una empresa de desarrollo de software enfocada en crear soluciones de gestión de video de vanguardia. Nuestro producto principal - Nx VMS - es una plataforma de gestión de video abierta, liviana y personalizable capaz de gestionar medios sin conexión, transmisiones de video en vivo y sistemas y dispositivos de terceros integrados. Nx VMS es una plataforma de transmisión en vivo gratuita, habilitada en la nube, accesible de forma remota, escalable a cualquier tamaño y con licencia solo cuando se requiere la grabación y búsqueda de cámaras de video IP. Nx VMS también está abierto para desarrolladores, con una documentación completa de API y SDK incorporada y gratuita para usar, lo que permite a las organizaciones o individuos crear sus propias aplicaciones impulsadas por video para cualquier mercado vertical o proyecto.

Agradecimientos

Nos gustaría agradecer a Seagate y a Network Optix por proporcionar los discos duros empresariales Exos X16 y las cámaras IP utilizadas en este proyecto.

Referencia:

• Por qué RAID dejó de funcionar en 2019, Por Robin Harris para Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Por qué la mejor configuración RAID es sin configuración RAID por Colaborador Invitado → https://blog.shi.com/hardware/mejor-configuracion-raid-sin-configuracion-raid/