Проблемные моменты требуют улучшений

Однако все еще существуют некоторые проблемные моменты, которые нужно решить в серверных системах управления видео.

1. Восстановление отказавшего диска в массиве дисков занимает слишком много времени.Риск потери данных возрастает с увеличением размера диска. Независимо от того, используются ли внутренние или внешние системы хранения на серверах VMS, они используют контроллер RAID для защиты данных от потери. Если дисковый накопитель выходит из строя, контроллер дискового массива потребует очень много времени на восстановление файлов на запасной диск.Время восстановления и вероятность сбоя при восстановлении диска пропорциональны его размеру.Сегодня самый большой жесткий диск имеет объем 16 ТБ, а скоро появится диск объемом 20 ТБ.Использование дисков малого размера увеличивает общую стоимость серверов хранения данных.
2. Пропускная способность хранилища сильно страдает во время режима восстановления при деградации.
3. У традиционного сервера большая область отказа. Если сервер выходит из строя, все видео внутри сервера становятся недоступными или даже потерянными.Чем больше дисков установлено на сервере, тем больше видеофайлов теряется одновременно при сбое сервера.
4. VMS не имеют эластичной аппаратной архитектуры.

Используйте программно-определяемое хранилище и микросервер Arm с системой управления видео Nx Witness Network Optics

В этой статье мы расскажем, как программно-определяемое хранилище от Ambedded и микросервер на базе Arm интегрируются с программным обеспечением VMS от Network Optics для решения некоторых проблем, существующих в текущем решении.

Программно-определяемое хранилище

Программно-определяемое хранилище Ambedded Mars 400 Ceph Storage Appliance - это готовое решение для программно-определяемого хранения данных для предприятий.Устройство интегрирует микросервер на базе ARM с программным обеспечением хранения Ceph и веб-интерфейсом пользователя.Mars 400 обеспечивает единый кластер хранения, поддерживающий объекты, блоки и файловую систему.Он разработан для обеспечения отличной производительности, надежности и масштабируемости без единой точки отказа и минимальной области отказа.

Система управления видео Nx Witness и сервер Nx

Nx Witness VMS - это открытая система управления IP-видео (IPVMS), разработанная для поиска, просмотра, записи и управления IP-видеокамерами, а также быстрой интеграции с системами и устройствами сторонних производителей. Приложение Nx Server - это легкий, мощный медиа-сервер, отвечающий за обнаружение и управление устройствами и данными системы Nx Witness. Nx Server записывает видео с IP-камер на внутренние или внешние накопители. Он имеет архитектуру серверного улья, обеспечивающую отсутствие единой точки отказа.

Архитектура микросервера Arm

Платформы микросерверов вмещают 8 модулей серверов с 8-ми ядерными процессорами ARM 64-бит в одноюнитовом (1RU) шасси. Два внутренних резервных коммутатора обеспечивают 4x10 Гбит/сек восходящую связь для горизонтального масштабирования и доступа клиентов. Каждый модуль ARM микросервера является независимым Linux-сервером, который обладает выделенными ресурсами ЦП, памяти, хранения и сетевого интерфейса для прикладного программного обеспечения.

Архитектура микросервера обеспечивает большую доступность благодаря отсутствию единой точки отказа. Каждый узел микросервера может быть настроен как узел хранения хранилищного кластера или узел сервера VMS в VMS-кластере.

Когда микросервер настроен как узел хранения, он присоединяется к кластеру хранения Ceph для работы с другими узлами хранения. Если мы настроим микросервер как сервер Nx, он выполняет свою работу как сервер VMS и монтирует виртуальный диск из кластера хранения для хранения записанных видеофайлов. Это означает, что вы можете гибко развернуть необходимое количество серверов Nx и серверов хранения Ceph на всех 400 микросерверах на Марсе. Благодаря преимуществам микросервера у вас есть гибкость масштабирования системы видеонаблюдения с небольшим приростом.

Как программно-определенное хранилище защищает и восстанавливает данные при сбоях оборудования

Хранилище Ceph использует алгоритм репликации или кодирования с исправлением ошибок для защиты данных от потери вместо контроллера RAID. Кодирование стирания аналогично RAID 5 или RAID 6 в массиве дисков, но с гораздо большей гибкостью, позволяющей обрабатывать больше отказов дисков в настоящее время. Он может защищать данные не только от сбоев жесткого диска, но также защищать данные от сбоев сервера, отказа стойки и любого масштаба области сбоя. Данные или видеофайлы сначала разбиваются на объекты, а каждый объект разделяется на несколько фрагментов данных и вычисляются избыточные фрагменты. Хранилищный сервер распределяет данные и избыточные фрагменты по разным серверам хранения в кластере хранения. Если сервер хранения выходит из строя, все данные, хранящиеся внутри этого сервера, должны быть восстановлены. Восстановление данных выполняется всеми здоровыми серверами и дисками. И, только потерянные фрагменты должны быть восстановлены, вместо полной перестройки всех дисков.

У распределенной системы хранения программно-определенных данных есть три основных преимущества по сравнению с системой хранения RAID.

1. Данные могут сохраняться при отказе одного или нескольких серверных узлов.
2. Восстановление данных происходит намного быстрее, чем в RAID, потому что все здоровые диски в кластере помогают восстановлению данных параллельно, и только потерянные данные нуждаются в восстановлении. Если в кластере больше дисков, скорость восстановления выше. Эксперимент по потере одного диска объемом 10 ТБ, использующегося на 60% в 36-дисковом кластере, занял 2,5 дня для восстановления. Скорость восстановления составляет 28,5 МБ/с для данного масштаба эксперимента. (Профиль Clay Erasure code 4+2)
3. Во время восстановления заживление не прерывает запись видео
4. Вы можете использовать жесткие диски большой емкости, такие как 16TB HDD в кластере хранения Ceph, чтобы получить ту же емкость с меньшим количеством серверов.

Сколько камер может поддерживать один микросервер для записи?

Мы создали тестовую среду для нагрузки сервера Nx на Ambedded Марс 400 микросервер. Сначала в эксперименте использовался сервер для симуляции IP-камер для передачи видео на микросервер Arm. Формат видеопотока - H.264, высокое качество 1080p при 30 кадрах в секунду. Сервер Arm VMS монтирует виртуальный диск в качестве своего хранилища. Результаты теста показывают, что один микросервер может записывать максимум 30 камер без потери видеокадров. Тестирование также включает сценарий, когда виртуальный диск заполнен. Это означает, что 1U Mars 400, вмещающий восемь микросерверов, может поддерживать 240 камер с высоким разрешением видео. Это означает, что 1U Mars 400, вмещающий восемь микросерверов, может поддерживать до 240 потоков видео высокой четкости с камер. Это великое достижение с использованием 1U сервера и потребляет всего 100 Ватт энергии.

Тест с реальными IP-камерами

В другом тесте мы используем пятьдесят IP-камер для проведения теста в реальной среде.

Список оборудования:

• IP-камеры: 25 проводных и 25 беспроводных
• Сервер Mars 400Nx: 8 узлов в 1U. 4 ядра Arm A72, 4 ГБ ОЗУ и 2x 2,5 Гбит/с LAN
• Сервер Nx: 3 узла Mars 400Nx Arm,

♦ 3 узла активны для записи и воспроизведения. На каждом узле есть резервный ресурс для отказа одного узла.

• Хранение:

♦ Защита данных: кодирование с удалением 4+2, допускается одновременный отказ 2 жестких дисков

♦ Сервер Ceph: 21 микросервер для Ceph OSD + 3 микросервера для Ceph монитора

♦ Жесткие диски: 21x 16TB Seagate Exos Enterprise SATA HDD. Доступно 224TB.

• Сеть:

♦ 4x 10Gb порты для 4x Mars 400Nx

♦ 1x Gb переключатель для камер

♦ Беспроводная точка доступа x 2

Во время записи и воспроизведения используется только 150% ресурсов процессора. Максимально доступный ресурс процессора составляет 400%. Пожалуйста, обратитесь к рисунку 1.

Рисунок 1: Использование процессора на узле сервера Nx

В каждом узле доступно 4GB памяти. 1GB памяти зарезервирован для резервного использования. Объем памяти, использованный во время теста, составляет около 2.8 GB. Узел сервера может стабильно поддерживать до 30 камер.

Рисунок 2: Неиспользуемая память на узле сервера Nx

Сетевой трафик во время теста составляет около 150Mbps для загрузки и 130Mbps для выгрузки. Пропускная способность сети 2x 2.5Gb значительно превышает реальный трафик.

Рисунок 3: Сетевой трафик узлов сервера Nx

Серверная нода VMS FailOver

Сервер Network Optics VMS имеет функцию автоматического переключения сервера, которая позволяет здоровым серверам VMS подключаться к камерам с отказавшего сервера Nx VMS. В нашем тесте мы настроили три микросервера в качестве сервера Nx VMS. Они могут обрабатывать в общей сложности 90 камер. В нормальных условиях 50 тестируемых камер равномерно подключены к трем серверам. Мы симулируем отключение сервера, выключив его. Мы доказываем, что 18 камер, подключенных к отказавшему серверу, могут автоматически переподключиться к другим двум серверам примерно за одну минуту.

Это означает, что при использовании микросерверного решения для сервера Nx VMS вам потребуется всего 1/8 1U-сервера Mars 400Nx, выделенного для резервирования. По сравнению с большим узловым сервером, микросерверная архитектура может сэкономить стоимость одного сервера для настройки отказоустойчивости.

Пример дизайна

Требования к проекту

1. Количество камер: 200 камер
2. Битрейт на камеру для 1080p, высокое качество, 30 кадров/с: 4,87 Мбит/с
3. Часы записи в день: 16 часов
4. Дни записи: 60 дней

Расчет требований к серверу

1. Общая требуемая емкость хранилища: 411 ТБ
2. Общая требуемая емкость в необработанном виде при использовании кода исправления ошибок 4+2: 678 ТБ
3. Емкость жесткого диска: 16 ТБ
4. Количество необходимых жестких дисков: 43 HDD
5. Количество узлов, необходимых для хранения (Ceph OSD): 43
6. Узел мониторинга Ceph: 3
7. Узлы Nx сервера для 200 камер: 200/30 = 7 узлов.
8. Резервный узел для отказоустойчивости NxServer: 1 узел
9. Всего необходимо микросерверных узлов: 43 + 3 + 7 + 1 = 54 узла
10. Всего требуется Mars 400Nx: 54/8 = 7x 1U Mars 40Nx
11. Резервные узлы: (7 x 8) - 54 = 2 узла
12. Общее энергопотребление сервера без HDD: 7 x 100 Вт = 700 Вт

Заключение

Ambedded Mars 400Nx объединяет сервер Nx VMS и программно-определяемое хранилище, обладающее следующими преимуществами:

1. Программно-определяемое хранилище Mars 400Nx может защищать данные не только от сбоев дисков, но и от сбоев сервера.
2. Когда происходят сбои дисков, Mars 400Nx параллельно восстанавливает данные с помощью всех исправных дисков. Это происходит в 4-5 раз быстрее по сравнению с контроллером RAID.
3. Mars 400Nx может поддерживать запись и воспроизведение видео во время восстановления данных.
4. Вы можете использовать диски большой емкости в хранилище Mars 400Nx, чтобы снизить общую стоимость системы хранения.
5. 1U сервер VMS Mars 400Nx может поддерживать до 240x 1080p камер. Вы можете разработать систему VMS с гибким сочетанием хранилища и серверов VMS.
6. Сервер Mars 400Nx Arm потребляет на 70 процентов меньше энергии по сравнению с серверами x86.

О Ambedded

Ambedded - это компания по программно-определяемому хранилищу с экспертизой в области операционной системы Linux, ядра, программно-определяемого хранилища, встроенных систем и серверов Arm.

Видение Ambedded заключается в том, чтобы сделать использование программно-определенного хранилища Ceph простым, чтобы предприятия могли получить преимущества от Ceph с более коротким временем обучения.

Ambedded упрощает использование Ceph, предлагая простой пользовательский интерфейс, готовое к использованию хранилищное устройство, настройку стабильности и производительности, автоматизацию развертывания и профессиональную поддержку.

С помощью специально разработанного устройства Ceph, команда Ambedded обладает обширным опытом, чтобы помочь клиентам внедрить наше решение Ceph в различные отрасли, такие как телекоммуникации, медицина, военное дело, периферийные центры обработки данных и предприятия, которым требуется хранилище с высокой доступностью.

Посетите веб-сайт Ambedded для получения деталей.

О сетевой оптике

Network Optix - это компания по разработке программного обеспечения, специализирующаяся на создании передовых решений для управления видео. Наш основной продукт - Nx VMS - это открытая, легкая в использовании, настраиваемая платформа управления видео, способная управлять офлайн-медиа, прямыми видеопотоками и интегрированными системами и устройствами сторонних производителей. Nx VMS - это бесплатная платформа для прямой трансляции - облачная, удаленно доступная, масштабируемая до любого размера и лицензируемая только при необходимости записи и поиска IP-видеокамер. Nx VMS также открыт для разработчиков, с подробной документацией по API и SDK, встроенной и бесплатной для использования, что позволяет организациям или отдельным лицам создавать собственные приложения на основе видео для любого вертикального рынка или проекта.

Благодарности

Мы хотели бы поблагодарить Seagate и Network Optix за предоставление жестких дисков Exos X16 Enterprise и IP-камер, использованных в этом проекте.

Ссылка:

• Почему RAID перестал работать в 2019 году, от Робин Харрис для Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Почему лучшая конфигурация RAID - это конфигурация без RAID от Гостевой блогер → https://blog.shi.com/hardware/лучшая-конфигурация-raid-без-конфигурации-raid/