改善が必要な課題ポイント

ただし、サーバーベースのVMSにはまだ解決すべき課題ポイントが存在しています。

1. ディスクアレイで故障したディスクの再構築には時間がかかりすぎます。ディスクのサイズが大きくなると、データの損失リスクも増加します。 VMSサーバーが内部ストレージまたは外部ストレージシステムを使用しているかどうかに関係なく、データの損失を防ぐためにRAIDコントローラーを使用しています。 ディスクドライブが故障した場合、ディスクアレイコントローラーは予備ドライブにファイルを再構築するのに非常に長い時間がかかります。ディスクのサイズに比例して、再構築時間と再構築ドライブの失敗の可能性が増加します。今日、最大のハードドライブは16TBですが、まもなく20TBのドライブが利用可能になります。小型ディスクを使用すると、ストレージサーバーの総コストが増加します。
2. デグレード再構築モード中は、ストレージのスループットに大きな影響があります。
3. 従来のサーバーは大きな障害ドメインを持っています。 サーバーが故障すると、サーバー内のすべてのビデオがアクセスできなくなるか、失われる可能性があります。サーバーにはより多くのディスクが搭載されているほど、サーバーが故障した際に同時に失われるビデオファイルも増えます。
4. VMSは弾力的なハードウェアアーキテクチャーが不足しています。

ソフトウェア定義ストレージとArm MicroServerを使用して、Network Optics Nx Witnessビデオ管理システムを統合します。

この記事では、Ambeddedのソフトウェア定義ストレージアプライアンスとArmベースのマイクロサーバーが、現在のソリューションに存在するいくつかの問題を解決するためにNetwork OpticsのVMSソフトウェアと統合される方法を紹介します。

ソフトウェア定義ストレージアプライアンス

Ambeddedのソフトウェア定義型ストレージ「Mars 400 Ceph Storageアプライアンス」は、企業向けのターンキーソフトウェア定義型ストレージソリューションです。このアプライアンスは、ARMベースのマイクロサーバーとストレージソフトウェアCeph、ウェブユーザーインターフェースを統合しています。Mars 400は、オブジェクト、ブロック、ファイルシステムをサポートする統合ストレージクラスタを提供します。単一障害点のない優れたパフォーマンス、信頼性、スケーラビリティを提供するよう設計されており、最小の障害ドメインでの障害を最小限に抑えます。

Nx Witnessビデオ管理システム＆Nxサーバー

Nx Witness VMSは、IPビデオカメラを検索、表示、記録、管理するために設計されたオープンなIPビデオ管理システム（IPVMS）です。また、第三者のシステムやデバイスとの迅速な統合も可能です。Nx Serverアプリケーションは、Nx Witnessシステムのデバイスとデータを発見し、管理する軽量でパワフルなメディアサーバーです。Nx ServerはIPカメラからビデオを内部または外部のストレージに記録します。サーバーハイブアーキテクチャを採用しており、単一障害点がないことを保証しています。

アームマイクロサーバーアーキテクチャー

マイクロサーバープラットフォームは、1Uのシャーシに8つのクアッドコアARM 64ビットサーバーモジュールを収容します。2つのシャーシ内冗長スイッチは、水平スケールアウトとクライアントアクセスのための4つの10 Gbpsアップリンクを提供します。各ARMマイクロサーバーモジュールは、アプリケーションソフトウェアのために専用のCPU、メモリ、ストレージ、およびネットワークインターフェースリソースを所有する独立したLinuxサーバーです。

マイクロサーバーアーキテクチャは、単一障害点がないため、より高いアクセシビリティを提供します。各マイクロサーバーノードは、ストレージクラスターのストレージノードまたはVMSクラスターのVMSサーバーノードとして構成できます。

マイクロサーバーがストレージノードとして設定されると、他のストレージノードと連携してCephストレージクラスタに参加します。 マイクロサーバーをNxサーバーとして設定すると、VMSサーバーとしての役割を果たし、記録されたビデオファイルを保存するためにストレージクラスタから仮想ディスクをマウントします。 これは、必要な数のNxサーバーとCephストレージサーバーをすべてMars 400マイクロサーバーに柔軟に展開できることを意味します。 マイクロサーバーの利点により、監視システムを小さな増分で柔軟にスケールすることができます。

ハードウェアの障害に対してソフトウェア定義ストレージがデータを保護し、再構築する方法

Cephストレージは、RAIDコントローラーの代わりに、データの損失を防ぐためにレプリケーションまたはエラーコードアルゴリズムを使用します。 イレイジャーコーディングは、ディスクアレイのRAID 5またはRAID 6に類似していますが、より柔軟性があり、現在はより多くのディスクの故障を許容しています。 データはディスクドライブの障害だけでなく、サーバーの障害、ラックの障害、およびあらゆる障害ドメインからも保護することができます。 データまたはビデオファイルはまずオブジェクトに分割され、各オブジェクトは複数のデータチャンクに分割され、冗長なチャンクが計算されます。 ストレージサーバーは、ストレージクラスター内の異なるストレージサーバーにデータと冗長なチャンクを分散して保存します。 ストレージサーバーが壊れた場合、そのサーバーに保存されているすべてのデータを再構築する必要があります。 データの回復は、すべての健全なサーバーとディスクによって行われます。 そして、失われたチャンクだけが再構築される必要があり、全体のディスクを再構築する必要はありません。

分散ソフトウェア定義ストレージは、RAIDストレージシステムと比較して、3つの主な利点があります。

1. データは、1つまたは複数のサーバーノードの故障から生き残ることができます。
2. データの再構築は、RAIDよりもはるかに高速です。クラスタ内のすべての健全なディスクが並列でデータの再構築を支援し、失われたデータのみが再構築されます。クラスタ内にディスクが多いほど、再構築速度は速くなります。36ドライブのクラスタで60％使用率の10TBドライブを1つ失った実験では、再構築に2.5日かかりました。この実験スケールでは、再構築速度は28.5MB/sです。（Clay Erasure code 4+2プロファイル）
3. リハビリ中は、ヒーリングがビデオ録画を中断しません
4. Cephストレージクラスタでは、16TBのHDDなどの大容量ディスクドライブを使用することで、より少ないサーバーで同じ容量を得ることができます。

1つのマイクロサーバーで何台のカメラ録画がサポートされるか

Ambeddedにおいて、Nxサーバーをストレステストするためのテスト環境を構築しました マーズ400マイクロサーバー。 実験ではまず、サーバーを使用してIPカメラをシミュレートし、ビデオをArmマイクロサーバーにストリーミングしました。 ビデオストリームの形式はH.264で、30フレーム/秒の1080p高品質です。 Arm VMSサーバーは仮想ディスクをストレージとしてマウントします。 テスト結果によると、1つのマイクロサーバーは最大30台のカメラを記録することができ、ビデオフレームを失うことなく記録できます。 仮想ディスクがいっぱいの状態でのシナリオもテストに含まれます。 これは、8つのマイクロサーバーを収容する1UのMars 400が240台の高解像度ビデオカメラをサポートできることを意味します。 これは、8つのマイクロサーバーを収容する1UのMars 400が最大240のカメラの高解像度ビデオストリームをサポートできることを意味します。 1Uサーバーを使用しており、消費電力はわずか100ワットです。これは素晴らしい成果です。

リアルIPカメラを使用したテスト

別のテストでは、実際の環境で50台のIPカメラを使用してテストを行いました。

機器リスト：

• IPカメラ：有線25台、無線25台
• Mars 400Nxサーバー：1Uに8ノード。4コアArm A72、4GB RAM、2x 2.5Gbps LAN
• Nxサーバー：Mars 400Nx Armノード3台

♦ 3つのノードは録画と再生のためにアクティブです。各ノードには、1つのノードのフェイルオーバー用の予備リソースがあります。

• ストレージ：

♦ データ保護：消去符号4+2、同時に2つのハードドライブの故障を許容

♦ Cephサーバー：Ceph OSD用のマイクロサーバー21台+ Cephモニター用のマイクロサーバー3台

♦ ハードドライブ：Seagate Exos Enterprise SATA HDD 16TBを21台。使用可能な容量は224TBです。

• ネットワーク：

♦ Mars 400Nx用の10Gbポートを4つ

♦ カメラ用の1Gbスイッチ

♦ ワイヤレスアクセスポイントを2つ

録画と再生中、CPUリソースの150％のみが使用されます。最大で使用可能なCPUリソースは400％です。詳細は図1をご覧ください。

図1：NxサーバーノードのCPU使用状況

各ノードには合計4GBのメモリが利用可能です。そのうち1GBは予備用として確保されています。テスト中に使用されたメモリ量は約2.8GBです。サーバーノードは最大30台のカメラを安定してサポートできます。

図2：Nxサーバーノードの未使用メモリ

テスト中のネットワークトラフィックは、ダウンロードが約150Mbps、アップロードが約130Mbpsです。2.5Gbのネットワーク帯域幅は実際のトラフィックよりも大幅に高いです。

図3：Nxサーバーノードのネットワークトラフィック

VMSサーバーノードのフェイルオーバー

Network Optics VMSサーバーには、自動サーバーフェイルオーバー機能があり、正常なVMSサーバーが故障したNx VMSサーバーからカメラに接続することができます。私たちはテストで、3つのマイクロサーバーをNx VMSサーバーとして設定しました。それらは合計90台のカメラを処理することができます。通常の状態では、テスト中の50台のカメラが均等に3つのサーバーに接続されています。サーバーをオフラインにすることでサーバーの故障をシミュレートします。故障したサーバーに接続されていた18台のカメラが約1分で自動的に他の2つのサーバーに再接続されることを証明します。

これは、Nx VMSサーバーにマイクロサーバーソリューションを使用することを意味します。フェイルオーバーには、1UのMars 400Nxサーバーの1/8だけが必要です。大規模なノードサーバーと比較して、マイクロサーバーアーキテクチャはフェイルオーバーセットアップのための1つのサーバーコストを節約できます。

デザイン例

プロジェクト要件

1. カメラの数：200台
2. 1080p、高品質、30FPSのカメラごとのビットレート：4.87Mbps
3. 1日あたりの録画時間：16時間
4. 録画日数：60日

サーバー要件の計算

1. 必要な総使用可能ストレージ容量：411TB
2. エラーコード4+2を使用した場合の必要な総容量：678TB
3. ハードドライブ容量：16 TB
4. 必要なハードディスクの数：43台のHDD
5. ストレージに必要なノード数（Ceph OSD）：43台
6. Cephモニターノード：3台
7. 200台のカメラに対するNxサーバーノード：200/30 = 7台
8. NxServerフェイルオーバー用のスペアノード：1台
9. 必要なマイクロサーバーノードの合計：43 + 3 + 7 + 1 = 54台
10. 必要なMars 400Nxの合計：54/8 = 7x 1U Mars 40Nx
11. スペアノード：（7 x 8）- 54 = 2台
12. HDDを除いたサーバーの総消費電力：7 x 100ワット = 700ワット

結論

Ambedded Mars 400Nxは、Nx VMSサーバーとソフトウェア定義ストレージを組み合わせた製品で、以下の利点があります:

1. Mars 400Nxのソフトウェア定義ストレージは、ディスクの故障だけでなく、サーバーの故障に対してもデータを保護することができます。
2. ディスクの故障が発生した場合、Mars 400Nxはすべての正常なドライブでデータを並列に再構築します。これにより、RAIDコントローラーと比較して4〜5倍高速です。
3. Mars 400Nxは、データの再構築中でもビデオの録画と再生を維持することができます。
4. Mars 400Nxストレージクラスターでは、大容量のディスクドライブを使用することで、ストレージシステムの総コストを削減することができます。
5. 1UのMars 400Nx VMSサーバーは、最大240台の1080pカメラをサポートすることができます。ストレージとVMSサーバーの柔軟な組み合わせでVMSシステムを設計することができます。
6. Mars 400Nx Armサーバーは、x86サーバーと比較して70％の電力消費を削減することができます。

Ambeddedについて

Ambeddedは、Linux OS、カーネル、ソフトウェア定義ストレージ、組み込みシステム、Armサーバーに関する専門知識を持つソフトウェア定義ストレージ企業です。

Ambeddedのビジョンは、Cephソフトウェア定義ストレージの利用を容易にし、企業がCephの恩恵をより短い学習曲線で受けることです。

Ambeddedは、使いやすいユーザーインターフェース、即時利用可能なストレージアプライアンス、安定性とパフォーマンスのチューニング、自動化された展開、そしてプロフェッショナルなサポートを提供することで、Cephを簡単にします。

目的に特化したCephアプライアンスを使用することで、Ambeddedチームは幅広い経験を持ち、テレコム、医療、軍事、エッジデータセンター、高可用性ストレージを必要とする企業など、さまざまな産業において当社のCephソリューションの導入を支援します。

詳細については、Ambeddedのウェブサイトを訪問してください。

ネットワークオプティクスについて

Network Optixは、最先端のビデオ管理ソリューションを作成するソフトウェア開発会社です。 当社のコア製品であるNx VMSは、オープンで軽量、カスタマイズ可能なビデオ管理プラットフォームであり、オフラインメディア、ライブビデオストリーム、統合された第三者システムやデバイスの管理が可能です。 Nx VMSは、クラウド対応の無料ライブストリーミングプラットフォームであり、リモートアクセス可能であり、任意のサイズにスケーラブルであり、IPビデオカメラの録画と検索が必要な場合にのみライセンスが必要です。 Nx VMSは開発者向けにもオープンであり、包括的なAPIおよびSDKのドキュメントが組み込まれており、無料で使用することができます。これにより、組織や個人は、任意の垂直市場やプロジェクト向けに独自のビデオ駆動型アプリケーションを作成することができます。

謝辞

このプロジェクトに使用されたExos X16エンタープライズハードドライブとIPカメラを提供していただいたSeagateとNetwork Optixに感謝いたします。

参考:

• なぜRAIDが2019年に動作停止するのか、Robin Harris による Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• 最適なRAID構成は、RAID構成をしないことです ゲストブロガー → https://blog.shi.com/hardware/best-raid-configuration-no-raid-configuration/