Ağrı Noktaları İyileştirmeler Gerektirir

Ancak, sunucu tabanlı VMS'de hala çözülmesi gereken bazı ağrı noktaları bulunmaktadır.

1. Disk dizisindeki bir arızalı diski yeniden oluşturmak çok fazla zaman alıyor.Veri kaybı riski, disk boyutuyla birlikte artar. VMS sunucuları, dahili veya harici bir depolama sistemini kullansınlar, veri kaybını önlemek için RAID denetleyicisini kullanırlar. Bir disk sürücüsü arızalanırsa, disk dizisi denetleyicisi yedek sürücüye dosyaları yeniden oluşturmak için çok uzun süre alacaktır.Yeniden oluşturma süresi ve sürücünün yeniden oluşturulamama olasılığı, diskin boyutuyla orantılıdır.Bugün, en büyük sabit disk 16TB'dir ve yakında 20TB disk mevcut olacak.Küçük boyutlu disklerin kullanılması depolama sunucularının toplam maliyetini artırır.
2. Depolama verimliliği, bozulma onarım modu sırasında büyük bir etkilenme yaşar.
3. Geleneksel sunucunun büyük bir arıza alanı vardır. Bir sunucu arızalanırsa, sunucunun içindeki tüm videolar erişilemez hale gelir veya hatta kaybolur.Sunucuya daha fazla disk takılırsa, sunucu arızalandığında aynı anda daha fazla video dosyası kaybolur.
4. VMS, esnek bir donanım mimarisine sahip değildir.

Network Optics Nx Witness Video Yönetim Sistemi ile Yazılım-Tanımlı Depolama ve Arm MicroServer kullanın

Bu yazıda, Ambedded'ın yazılım-tanımlı depolama aygıtı ve Arm tabanlı mikro sunucusunun Network Optics' VMS yazılımını entegre ederek mevcut çözümdeki bazı sorunları nasıl çözdüğünü anlatacağız.

Yazılım-Tanımlı Depolama Aygıtı

Ambedded'ın yazılım tanımlı depolama Mars 400 Ceph Depolama Cihazı, işletmeler için bir anahtar teslimi yazılım tanımlı depolama çözümüdür.Cihaz, depolama yazılımı Ceph ve web kullanıcı arayüzü ile ARM tabanlı mikro sunucuyu entegre eder.Mars 400, nesne, blok ve dosya sistemi desteği sağlayan birleşik bir depolama kümesi sunar.Mükemmel performans, güvenilirlik ve ölçeklenebilirlik sağlamak için tasarlanmıştır, tek bir başarısızlık noktası olmadan ve minimum başarısızlık alanıyla.

Nx Witness Video Yönetim Sistemi ve Nx Sunucusu

Nx Witness VMS, IP video yönetim sistemi (IPVMS) olarak tasarlanmış bir açık sistemdir. IP video kameralarını bulma, görüntüleme, kaydetme ve yönetme yanı sıra 3. taraf sistemler ve cihazlarla hızlı entegrasyon sağlar. Nx Server uygulaması, Nx Witness sistem cihazlarını ve verilerini keşfetme ve yönetme sorumluluğuna sahip hafif ve güçlü bir medya sunucusudur. Nx Server, IP kameralardan videoyu dahili veya harici depolamaya kaydeder. Sunucu hive mimarisi, tek bir nokta arızası olmamasını sağlar.

Arm Mikro Sunucu Mimarisi

Mikro sunucu platformları, bir raf birimlik (1RU) bir şaseye 8x Dört Çekirdekli ARM 64-bit sunucu modülüne yerleştirilebilir. İki adet şase içi yedek anahtar, yatay ölçeklendirme ve istemci erişimi için 4x10 Gbps yukarı bağlantı sağlar. Her ARM mikro sunucu modülü, uygulama yazılımı için ayrılmış CPU, bellek, depolama ve ağ arayüzü kaynaklarına sahip bağımsız bir Linux sunucusudur.

Mikro sunucu mimarisi, tek bir arıza noktasının olmaması nedeniyle daha fazla erişilebilirlik sağlar. Her mikro sunucu düğümü, bir depolama kümesinin depolama düğümü veya bir VMS kümesinin VMS sunucu düğümü olarak yapılandırılabilir.

Mikro sunucu depolama düğümü olarak yapılandırıldığında, diğer depolama düğümleriyle çalışmak için Ceph depolama kümesine katılır. Mikro sunucuyu bir Nx Sunucusu olarak yapılandırırsak, VMS sunucusu olarak görevini yerine getirir ve kaydedilen video dosyalarını depolamak için Depolama kümesinden sanal bir disk bağlar. Bu, gerekli sayıda Nx sunucusunu ve Ceph depolama sunucularını tamamen Mars 400 mikro sunucularında esnek bir şekilde dağıtabileceğiniz anlamına gelir. Mikro sunucunun avantajları sayesinde, gözetim sistemi küçük bir artışla ölçeklendirme esnekliğine sahip olursunuz.

Donanım Arızalarına Karşı Yazılım Tanımlı Depolama Nasıl Korur ve Verileri Onarır

Ceph depolama, veri kaybını önlemek için RAID denetleyicisi yerine replikasyon veya silinmez kod algoritması kullanır. Erasure kodlama, disk dizisinde RAID 5 veya RAID 6'ya benzer ancak şu anda daha fazla disk hatasına izin veren daha esnek bir yapıya sahiptir. Verileri sadece disk sürücü arızalarına karşı korumakla kalmaz, aynı zamanda sunucu arızalarına, raf arızalarına ve herhangi bir ölçekteki arıza alanına karşı da korur. Veri veya video dosyaları önce nesnelere ayrılır ve her bir nesne bir dizi veri parçacığına bölünür ve gereksiz parçacıklar hesaplanır. Depolama sunucusu, verileri ve gereksiz parçaları depolama kümesindeki farklı depolama sunucularına dağıtılarak saklar. Bir depolama sunucusu bozulursa, içinde depolanan tüm veriler yeniden düzeltilmelidir. Veri iyileştirme işlemi tüm sağlıklı sunucular ve diskler tarafından gerçekleştirilir. Ve sadece kaybolan parçaların tamir edilmesi gerekiyor, tüm disklerin yeniden inşa edilmesi yerine.

Dağıtılmış yazılım tanımlı depolamanın RAID depolama sistemine göre üç büyük avantajı vardır.

1. Veri, bir veya daha fazla sunucu düğümünün arızalanmasından sağ kalabilir.
2. Veri iyileştirmesi, RAID'den çok daha hızlıdır çünkü kümedeki tüm sağlıklı diskler veri iyileştirmesine paralel olarak yardımcı olur ve sadece kayıp veriler iyileştirilir. Kümede daha fazla disk varsa, iyileştirme hızı daha hızlı olur. 36 diskli bir kümede %60 kullanımlı 10TB bir diskin kaybedilmesi deneyi, iyileştirme için 2.5 gün sürdü. Bu deney ölçeği için iyileştirme hızı 28.5MB/s'dir. (Clay Erasure kodu 4+2 profili)
3. Reheal sırasında, iyileşme video kaydını kesintiye uğratmaz
4. Ceph depolama kümesinde 16TB HDD gibi büyük kapasiteli disk sürücülerini kullanarak aynı kapasiteyi daha az sunucuyla elde edebilirsiniz.

Bir Mikro Sunucu Kaç Kamera Kaydını Destekleyebilir

Ambedded üzerinde Nx Sunucusunu zorlamak için bir test ortamı kurduk Mars 400 mikro sunucusu. Deney, öncelikle bir sunucu kullanarak IP kameraları taklit etmek için bir Arm mikro sunucuya video akışı sağladı. Video akış formatı H.264, 30 kare/saniye hızında 1080p yüksek kalitededir. Arm VMS sunucusu depolama olarak bir sanal diski bağlar. Test sonucu, bir mikro sunucunun video kare kaybı olmadan maksimum 30 kamera kaydedebileceğini sonuçlandırmaktadır. Test ayrıca sanal disk dolu olduğunda senaryoyu da içerir. Bu, sekiz mikro sunucuyu barındıran bir 1U Mars 400'ün 240 kamera yüksek çözünürlüklü videoları destekleyebileceği anlamına gelir. Bu, sekiz mikro sunucuyu barındıran bir 1U Mars 400'ün, 240 kamera yüksek çözünürlüklü video akışını destekleyebileceği anlamına gelir. Bu, yalnızca 1U sunucu kullanarak elde edilen harika bir başarıdır ve yalnızca 100 Watt güç tüketir.

Gerçek IP Kameralarla Test

Başka bir testte, gerçek bir ortamda test yapmak için elli IP kamera kullanıyoruz.

Ekipman listesi:

• IP Kameralar: 25x Kablolu ve 25x Kablosuz
• Mars 400Nx sunucusu: 1U'da 8 düğüm. 4 çekirdekli Arm A72, 4GB RAM ve 2x 2.5Gbps LAN
• Nx Sunucusu: 3 Mars 400Nx Arm düğümü,

♦ 3 düğüm kayıt ve oynatma için aktiftir. Her düğümde bir düğüm arızası için yedek kaynak bulunmaktadır.

• Depolama:

♦ Veri koruması: silme kodu 4+2, aynı anda 2 sabit sürücü arızasına izin verir

♦ Ceph sunucusu: 21x Ceph OSD için mikro sunucu + 3x Ceph izleyici için mikro sunucu

♦ Sabit diskler: 21x 16TB Seagate Exos Enterprise SATA HDD. 224TB kullanılabilir durumda.

• Ağ:

♦ 4x Mars 400Nx için 4x 10Gb port

♦ Kameralar için 1x Gb switch

♦ 2 adet kablosuz erişim noktası

Kayıt ve tekrar sırasında, CPU kaynağının yalnızca %150'si kullanılır. Maksimum kullanılabilir CPU kaynağı %400'dür. Lütfen Şekil 1'e bakınız.

Şekil 1: Nx Sunucu düğümü CPU kullanımı

Her düğümde toplam 4GB bellek bulunmaktadır. 1GB bellek yedek kullanım için ayrılmıştır. Test sırasında kullanılan bellek miktarı yaklaşık 2.8 GB'dir. Sunucu düğümü, 30 kamerayı stabil bir şekilde destekleyebilir.

Şekil 2: Nx Sunucu düğümünde kullanılmayan bellek

Test sırasındaki ağ trafiği, yaklaşık 150Mbps indirme ve 130Mbps yükleme hızındadır. 2x 2.5Gb ağ bant genişliği, gerçek trafiğin çok üzerindedir.

Şekil 3: Nx Sunucu düğümleri ağ trafiği

VMS Sunucu Düğümü Yedekleme

Network Optics VMS sunucusu, başarısız olan bir Nx VMS sunucusundan kameralara bağlanmaya izin veren otomatik sunucu yedekleme özelliğine sahiptir. Testimizde, üç mikro sunucuyu Nx VMS sunucusu olarak kurduk. Toplamda 90 kamera işleyebilirler. Normal durumda, test için kullanılan 50 kamera üç sunucuya eşit olarak bağlanır. Bir sunucuyu çevirerek sunucuyu çevrimdışı duruma getiriyoruz. Başarısız olan sunuca bağlı olan 18 kameranın diğer iki sunucuya otomatik olarak bir dakika içinde yeniden bağlandığını kanıtlıyoruz.

Bu, Nx VMS sunucusu için mikro sunucu çözümünün kullanılması durumunda, yedekleme için ayrılan 1/8 birimlik Mars 400Nx sunucusuna ihtiyaç duyulduğunu ima eder. Büyük bir düğüm sunucusuyla karşılaştırıldığında, mikro sunucu mimarisi yedekleme kurulumu için bir sunucu maliyeti tasarrufu sağlayabilir.

Tasarım örneği

Proje gereksinimleri

1. Kamera sayısı: 200 kamera
2. 1080p, yüksek kalite, 30 FPS için kamera başına bit hızı: 4.87Mbps
3. Günlük kayıt süresi: 16 saat
4. Kaydedilecek gün sayısı: 60 gün

Sunucu gereksinimlerinin hesaplanması

1. Toplam kullanılabilir depolama kapasitesi gereksinimi: 411 TB
2. Erasure code 4+2 kullanırsak gereken toplam ham kapasite: 678 TB
3. Sabit disk kapasitesi: 16 TB
4. Gerekli olan sabit disk sayısı: 43 HDD
5. Depolama için gerekli olan düğüm sayısı (Ceph OSD): 43
6. Ceph Monitor düğümü: 3
7. 200 kamera için Nx sunucu düğümleri: 200/30 = 7 düğüm.
8. NxServer hata durumunda yedek düğüm: 1 düğüm
9. Gerekli olan toplam mikro sunucu düğüm sayısı: 43 + 3 + 7 + 1 = 54 düğüm
10. Gerekli olan toplam Mars 400Nx sayısı: 54/8 = 7x 1U Mars 40Nx
11. Yedek düğümler: (7 x 8) - 54 = 2 düğüm
12. HDD dışındaki sunucunun toplam enerji tüketimi: 7 x 100 Watt = 700 Watt

Sonuç

Ambedded Mars 400Nx, Nx VMS sunucusunu ve yazılım tanımlı depolamayı bir araya getirerek şu avantajlara sahiptir:

1. Mars 400Nx'in yazılım tanımlı depolaması, verileri sadece disk arızalarına karşı değil, aynı zamanda sunucu arızalarına karşı da koruyabilir.
2. Disk arızaları olduğunda, Mars 400Nx tüm sağlıklı sürücülerle paralel olarak verileri yeniden düzenler. Bu, RAID denetleyicisine kıyasla 4 ila 5 kat daha hızlıdır.
3. Mars 400Nx, veri düzenlemesi sırasında video kaydını ve oynatmayı sürdürebilir.
4. Mars 400Nx depolama kümesinde büyük kapasiteli disk sürücülerini kullanarak depolama sisteminin toplam maliyetini azaltabilirsiniz.
5. 1U Mars 400Nx VMS sunucusu, 240x 1080p kamerayı destekleyebilir. Depolama ve VMS sunucularının esnek bir kombinasyonuyla VMS sistemi tasarlayabilirsiniz.
6. Mars 400Nx Arm sunucusu, x86 sunuculara kıyasla enerji tüketiminde %70 tasarruf sağlar.

Ambedded Hakkında

Ambedded, Linux işletim sistemi, çekirdek, yazılım tanımlı depolama, gömülü sistem ve Arm sunucusu konularında uzmanlaşmış bir yazılım tanımlı depolama şirketidir.

Ambedded'nin vizyonu, Ceph yazılım tanımlı depolamanın kullanımını kolaylaştırarak işletmelerin Ceph'ten daha kısa bir öğrenme süreciyle faydalanmasını sağlamaktır.

Ambedded, kullanıcı dostu arayüz, hazır kullanıma uygun depolama cihazı, stabilite ve performans ayarlamaları, otomatik dağıtım ve profesyonel destek sunarak Ceph'i basit hale getirir.

Özel olarak tasarlanmış Ceph cihazı ile Ambedded ekibi, müşterilere telekom, tıp, askeri, kenar veri merkezi ve yüksek kullanılabilirlik depolama gerektiren işletmeler gibi çeşitli endüstrilere Ceph çözümümüzü benimsemelerine yardımcı olmak için geniş bir deneyime sahiptir.

Ayrıntılar için Ambedded web sitesini ziyaret edin.

Network Optics Hakkında

Network Optix, keskin video yönetim çözümleri oluşturmaya odaklanmış bir yazılım geliştirme şirketidir. Çekirdek ürünümüz - Nx VMS - çevrimdışı medyayı, canlı video akışlarını ve entegre 3. taraf sistemleri ve cihazları yönetebilen açık, hafif, özelleştirilebilir bir video yönetim platformudur. Nx VMS, ücretsiz bir canlı yayın platformudur - bulut özellikli, uzaktan erişilebilir, herhangi bir boyuta ölçeklenebilir ve yalnızca IP Video kameralarının kaydedilmesi ve aranması gerektiğinde lisanslanır. Nx VMS aynı zamanda geliştiriciler için açıktır ve kapsamlı API ve SDK belgeleriyle birlikte gelir ve ücretsiz olarak kullanılabilir. Bu, kuruluşların veya bireylerin herhangi bir dikey pazar veya proje için kendi video tabanlı uygulamalarını oluşturmalarına olanak tanır.

Teşekkürler

Bu projede kullanılan Exos X16 Kurumsal Sabit Diskler ve IP kameralar için Seagate ve Network Optix firmalarına teşekkür etmek isteriz.

Referans:

• Neden RAID 2019'da çalışmayı durdurdu, Robin Harris için Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• En iyi RAID yapılandırmasının hiç RAID yapılandırması olmaması nedeni Misafir Yazar → https://blog.shi.com/hardware/en-iyi-raid-yapılandırması-olmadan-raid-yapılandırması/