Titik-titik Masalah Membutuhkan Perbaikan

Namun, masih ada beberapa titik-titik masalah yang ada dalam VMS berbasis server yang perlu ditangani.

1. Mengembalikan disk yang gagal dalam array disk membutuhkan waktu yang terlalu lama.Risiko kehilangan data meningkat seiring dengan ukuran disk. Tidak peduli apakah server VMS menggunakan penyimpanan internal atau sistem penyimpanan eksternal, mereka menggunakan pengontrol RAID untuk melindungi data dari kehilangan. Jika sebuah drive disk gagal, pengontrol array disk akan membutuhkan waktu yang sangat lama untuk membangun ulang file-file ke drive cadangan.Waktu pemulihan dan kemungkinan kegagalan dalam membangun ulang drive sebanding dengan ukuran disk.Saat ini, hard drive terbesar memiliki kapasitas 16TB dan segera akan tersedia hard drive 20TB.Menggunakan disk berukuran kecil meningkatkan biaya total server penyimpanan.
2. Throughput penyimpanan mengalami dampak besar selama mode pemulihan yang menurun.
3. Server tradisional memiliki domain kegagalan yang besar. Jika server mengalami kegagalan, semua video di dalam server menjadi tidak dapat diakses atau bahkan hilang.Semakin banyak disk yang dipasang di server, semakin banyak file video yang hilang pada saat yang sama ketika server mengalami kegagalan.
4. VMS kekurangan arsitektur perangkat keras yang fleksibel.

Gunakan Penyimpanan yang Didefinisikan oleh Perangkat Lunak dan Arm MicroServer dengan Sistem Manajemen Video Network Optics Nx Witness

Dalam artikel ini, kami akan menunjukkan bagaimana perangkat penyimpanan yang didefinisikan oleh perangkat lunak Ambedded dan microserver berbasis Arm mengintegrasikan perangkat lunak VMS dari Network Optics untuk mengatasi beberapa masalah yang ada dalam solusi saat ini.

Perangkat Penyimpanan yang Didefinisikan oleh Perangkat Lunak

Perangkat Ambedded Mars 400 Ceph Storage adalah solusi penyimpanan terdefinisi perangkat lunak siap pakai untuk perusahaan.Perangkat ini mengintegrasikan mikroserver berbasis ARM dengan perangkat lunak penyimpanan Ceph dan antarmuka pengguna web.Mars 400 menyediakan klaster penyimpanan terpadu yang mendukung sistem objek, blok, dan file.Ini dirancang untuk memberikan kinerja, kehandalan, dan skalabilitas yang sangat baik tanpa titik kegagalan tunggal dan domain kegagalan minimum.

Sistem Manajemen Video Nx Witness & Server Nx

Nx Witness VMS adalah sistem manajemen video IP terbuka (IPVMS) yang dirancang untuk mencari, melihat, merekam, dan mengelola kamera video IP serta mengintegrasikan dengan cepat dengan sistem dan perangkat pihak ketiga. Aplikasi Nx Server adalah server media yang ringan dan kuat yang bertanggung jawab untuk menemukan dan mengelola perangkat dan data sistem Nx Witness. Nx Server merekam video dari kamera IP ke penyimpanan internal atau terpasang eksternal. Ini memiliki arsitektur server hive yang memastikan tidak ada titik kegagalan tunggal.

Arsitektur Arm Microserver

Platform mikroserver menampung 8 modul server ARM 64-bit Quad-Core dalam satu rak unit (1RU). Dua switch redundan dalam chassis menyediakan uplink 4x10 Gbps untuk skala horizontal dan akses klien. Setiap modul mikroserver ARM adalah server Linux independen yang memiliki CPU, memori, penyimpanan, dan sumber daya antarmuka jaringan yang didedikasikan untuk perangkat lunak aplikasi.

Arsitektur mikroserver memberikan aksesibilitas yang lebih tinggi karena tidak adanya titik kegagalan tunggal. Setiap node mikroserver dapat dikonfigurasi sebagai node penyimpanan dari kluster penyimpanan atau node server VMS dari kluster VMS.

Ketika mikroserver dikonfigurasi sebagai node penyimpanan, ia bergabung dengan kluster penyimpanan Ceph untuk bekerja dengan node penyimpanan lainnya. Jika kita mengonfigurasi mikroserver sebagai Server Nx, ia akan menjalankan tugasnya sebagai server VMS dan memasang disk virtual dari kluster Penyimpanan untuk menyimpan file video yang direkam. Ini berarti Anda dapat dengan fleksibel mendeploy jumlah server Nx dan server penyimpanan Ceph semua pada 400 mikroserver Mars. Karena keunggulan dari microserver, Anda memiliki fleksibilitas untuk mengatur sistem pengawasan dengan peningkatan kecil.

Bagaimana Penyimpanan Berbasis Perangkat Lunak Melindungi dan Memulihkan Data dari Kegagalan Perangkat Keras

Penyimpanan Ceph menggunakan algoritma replikasi atau kode penghapusan untuk melindungi data dari kehilangan daripada pengontrol RAID. Erasure coding adalah analog dengan RAID 5 atau RAID 6 dalam larik disk tetapi dengan fleksibilitas yang lebih besar untuk mengizinkan kegagalan disk yang lebih banyak saat ini. Ini dapat melindungi data tidak hanya dari kegagalan disk drive tetapi juga melindungi data dari kegagalan server, kegagalan rak, dan segala skala domain kegagalan. Data atau file video pertama-tama dipecah menjadi objek dan setiap objek dibagi menjadi sejumlah potongan data dan dihitung potongan redundan. Server penyimpanan menyimpan data dan potongan redundan secara terdistribusi ke server penyimpanan yang berbeda dalam kluster penyimpanan. Jika server penyimpanan rusak, semua data yang disimpan di dalam server tersebut harus diobati kembali. Pemulihan data dilakukan oleh semua server dan disk yang sehat. Dan, hanya potongan yang hilang yang harus diheal kembali daripada membangun ulang seluruh disk.

Ada tiga keuntungan utama dari penyimpanan terdistribusi yang ditentukan oleh perangkat lunak dibandingkan dengan sistem penyimpanan RAID.

1. Data dapat bertahan dari satu atau lebih node server yang rusak.
2. Data reheal jauh lebih cepat daripada RAID karena semua disk yang sehat dalam kluster membantu penyembuhan data secara paralel dan hanya data yang hilang yang perlu disembuhkan. Jika terdapat lebih banyak disk dalam kluster, kecepatan penyembuhan akan lebih cepat. Sebuah eksperimen kehilangan satu drive 10TB dengan penggunaan 60% dalam kluster 36 drive membutuhkan waktu 2.5 hari untuk penyembuhan. Kecepatan penyembuhan dalam skala eksperimen ini adalah 28.5MB/s. (Profil Clay Erasure code 4+2)
3. Selama proses penyembuhan, penyembuhan tidak mengganggu perekaman video
4. Anda dapat menggunakan disk drive berkapasitas besar seperti HDD 16TB dalam kluster penyimpanan Ceph untuk mendapatkan kapasitas yang sama dengan jumlah server yang lebih sedikit.

Berapa Banyak Perekaman Kamera yang Dapat Didukung oleh Satu Microserver

Kami menyiapkan lingkungan pengujian untuk menguji Nx Server pada Ambedded Mars 400 mikroserver. Percobaan pertama menggunakan server untuk mensimulasikan kamera IP untuk streaming video ke mikroserver Arm. Format video stream adalah H.264, kualitas tinggi 1080p dengan 30 frame per detik. Server Arm VMS memasang disk virtual sebagai penyimpanannya. Hasil uji menyimpulkan bahwa satu mikroserver dapat merekam maksimal 30 kamera tanpa kehilangan frame video. Pengujian juga mencakup skenario ketika disk virtual penuh. Ini berarti bahwa Mars 400 1U yang menampung delapan mikroserver dapat mendukung 240 kamera video definisi tinggi. Ini berarti bahwa Mars 400 dengan 1U yang dapat menampung delapan mikroserver dapat mendukung hingga 240 aliran video definisi tinggi kamera. Ini adalah pencapaian yang luar biasa dengan menggunakan server 1U dan hanya mengonsumsi 100 Watt daya.

Uji dengan Kamera IP Asli

Dalam uji lainnya, kami menggunakan lima puluh kamera IP untuk melakukan uji coba di lingkungan nyata.

Daftar peralatan:

• Kamera IP: 25x Kabel dan 25x Nirkabel
• Server Mars 400Nx: 8 node dalam 1U. 4 inti Arm A72, 4GB RAM & 2x 2.5Gbps LAN
• Server Nx: 3 node Arm Mars 400Nx,

♦ 3 node aktif untuk perekaman dan pemutaran. Terdapat sumber daya cadangan pada setiap node untuk kegagalan satu node.

• Penyimpanan:

♦ Perlindungan data: kode penghapusan 4+2, memungkinkan hingga 2 hard drive gagal secara bersamaan

♦ Server Ceph: 21x mikroserver untuk Ceph OSD + 3x mikroserver untuk Ceph monitor

♦ Hard drive: 21x 16TB Seagate Exos Enterprise SATA HDD. 224TB dapat digunakan.

• Jaringan:

♦ 4x port 10Gb untuk 4x Mars 400Nx

♦ 1x switch Gb untuk kamera

♦ Titik akses nirkabel x 2

Selama proses perekaman dan pemutaran, hanya 150% dari sumber daya CPU yang digunakan. Sumber daya CPU maksimal yang dapat digunakan adalah 400%. Silakan merujuk ke gambar 1.

Gambar 1: Penggunaan CPU pada node Server Nx

Terdapat total 4GB memori yang tersedia di setiap node. 1GB memori disisihkan untuk penggunaan cadangan. Jumlah memori yang digunakan selama pengujian adalah sekitar 2.8 GB. Node server dapat mendukung hingga 30 kamera dengan stabil.

Gambar 2: Memori yang tidak digunakan pada node Server Nx

Lalu lintas jaringan selama pengujian adalah sekitar 150Mbps untuk unduhan dan 130Mbps untuk unggahan. Bandwidth jaringan 2x 2.5Gb jauh lebih besar dari lalu lintas aktual.

Gambar 3: Lalu lintas jaringan node Server Nx

Node Server VMS Gagal Alih

Server Network Optics VMS memiliki fitur failover server otomatis, yang memungkinkan server VMS yang sehat untuk terhubung ke kamera dari server Nx VMS yang gagal. Dalam pengujian kami, kami mengatur tiga mikroserver sebagai server Nx VMS. Mereka dapat menangani total 90 kamera. Dalam kondisi normal, 50 kamera di bawah pengujian terhubung secara merata ke tiga server. Kami mensimulasikan server offline dengan mematikannya. Kami membuktikan bahwa 18 kamera yang terhubung ke server yang gagal dapat secara otomatis terhubung kembali ke dua server lainnya dalam waktu sekitar satu menit.

Ini berarti bahwa dengan menggunakan solusi microserver untuk server Nx VMS; Anda hanya membutuhkan 1/8 dari server Mars 400Nx 1U yang tersedia untuk failover. Dibandingkan dengan server node besar; arsitektur microserver dapat menghemat biaya satu server untuk setup failover.

Contoh desain

Persyaratan proyek

1. Jumlah kamera: 200 kamera
2. Bit Rate per kamera untuk 1080p, kualitas tinggi, 30 FPS: 4.87Mbps
3. Jam perekaman per hari: 16 jam
4. Hari untuk direkam: 60 hari

Perhitungan persyaratan server

1. Total kapasitas penyimpanan yang diperlukan: 411 TB
2. Total kapasitas mentah yang diperlukan jika kita menggunakan erasure code 4+2: 678 TB
3. Kapasitas hard drive: 16 TB
4. Jumlah hard disk yang diperlukan: 43 HDD
5. Jumlah node yang diperlukan untuk penyimpanan (Ceph OSD): 43
6. Node Monitor Ceph: 3
7. Node server Nx untuk 200 kamera: 200/30 = 7 node.
8. Node cadangan untuk failover NxServer: 1 node
9. Total node mikroserver yang diperlukan: 43 + 3 + 7 + 1 = 54 node
10. Total Mars 400Nx yang diperlukan: 54/8 = 7x 1U Mars 40Nx
11. Node cadangan: (7 x 8) - 54 = 2 node
12. Total konsumsi daya server tidak termasuk HDD: 7 x 100 Watt = 700 Watt

Kesimpulan

Ambedded Mars 400Nx menggabungkan server Nx VMS, dan penyimpanan yang didefinisikan oleh perangkat lunak memiliki keunggulan berikut:

1. Penyimpanan yang didefinisikan oleh perangkat lunak Mars 400Nx dapat melindungi data tidak hanya dari kegagalan disk, tetapi juga kegagalan server.
2. Ketika terjadi kegagalan disk, Mars 400Nx memperbaiki data secara paralel oleh semua drive yang sehat. Ini 4 hingga 5 kali lebih cepat dibandingkan dengan kontroler RAID.
3. Mars 400Nx dapat mempertahankan rekaman video dan pemutaran kembali selama pemulihan data.
4. Anda dapat menggunakan drive disk berkapasitas besar seperti dalam kluster penyimpanan Mars 400Nx untuk mengurangi biaya total sistem penyimpanan.
5. Server VMS Mars 400Nx 1U dapat mendukung hingga 240x kamera 1080p. Anda dapat merancang sistem VMS dengan kombinasi penyimpanan dan server VMS yang fleksibel.
6. Server Arm Mars 400Nx menghemat 70 persen konsumsi daya dibandingkan dengan server x86.

Tentang Ambedded

Ambedded adalah perusahaan penyimpanan yang didefinisikan oleh perangkat lunak dengan keahlian dalam sistem operasi Linux, kernel, penyimpanan yang didefinisikan oleh perangkat lunak, sistem terbenam, dan server Arm.

Visi dari Ambedded adalah membuat penggunaan penyimpanan berbasis perangkat lunak Ceph menjadi mudah sehingga perusahaan dapat memanfaatkan Ceph dengan kurva pembelajaran yang lebih pendek.

Ambedded menjadikan Ceph menjadi sederhana dengan menawarkan antarmuka pengguna yang mudah digunakan, perangkat penyimpanan siap pakai, penyetelan stabilitas & performa, penyebaran otomatis, dan dukungan profesional.

Dengan perangkat Ceph yang dirancang khusus, tim Ambedded memiliki pengalaman luas untuk membantu pelanggan mengadopsi solusi ceph kami ke berbagai industri, seperti telekomunikasi, medis, militer, pusat data tepi, dan perusahaan yang membutuhkan penyimpanan ketersediaan tinggi.

Kunjungi situs web Ambedded untuk detailnya.

Mengenai Optik Jaringan

Network Optix adalah perusahaan pengembangan perangkat lunak yang fokus pada menciptakan solusi manajemen video terdepan. Produk inti kami - Nx VMS - adalah platform manajemen video yang terbuka, ringan, dapat disesuaikan, mampu mengelola media offline, aliran video langsung, serta sistem dan perangkat pihak ketiga yang terintegrasi. Nx VMS adalah platform live-streaming gratis - berbasis cloud, dapat diakses secara remote, dapat ditingkatkan sesuai kebutuhan, dan berlisensi hanya saat merekam dan mencari kamera video IP. Nx VMS juga terbuka untuk pengembang, dengan dokumentasi API dan SDK yang komprehensif yang sudah terintegrasi dan dapat digunakan secara gratis, memungkinkan organisasi atau individu untuk membuat aplikasi berbasis video mereka sendiri untuk pasar atau proyek vertikal apa pun.

Penghargaan

Kami ingin mengucapkan terima kasih kepada Seagate dan Network Optix atas penyediaan Hard Drive Enterprise Exos X16 dan kamera IP yang digunakan untuk proyek ini.

Referensi:

• Mengapa RAID berhenti berfungsi pada tahun 2019, Oleh Robin Harris untuk Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Mengapa konfigurasi RAID terbaik adalah tanpa konfigurasi RAID oleh Penulis Tamu → https://blog.shi.com/hardware/konfigurasi-raid-terbaik-tanpa-konfigurasi-raid/