نقاط الألم تتطلب تحسينات

ومع ذلك، لا تزال هناك بعض نقاط الألم التي توجد في نظام إدارة الفيديو القائم على الخادم والتي يجب معالجتها.

1. إعادة بناء قرص فاشل في مجموعة الأقراص يستغرق وقتًا طويلاً.يزداد خطر فقدان البيانات مع زيادة حجم القرص. بغض النظر عما إذا كانت خوادم VMS تستخدم نظام تخزين داخلي أو نظام تخزين خارجي ، فإنها تستخدم وحدة تحكم RAID لحماية البيانات من الفقدان. إذا فشلت وحدة تخزين الأقراص، فإن وحدة تحكم مصفوفة الأقراص ستستغرق وقتًا طويلاً لإعادة بناء الملفات على القرص الاحتياطي.وقت إعادة البناء واحتمالية فشل إعادة بناء القرص متناسبة مع حجم القرص.اليوم، أكبر قرص صلب يبلغ 16 تيرابايت وفي المستقبل القريب ستتوفر قرص بسعة 20 تيرابايت.استخدام أقراص صغيرة الحجم يزيد من التكلفة الإجمالية لخوادم التخزين.
2. تتأثر سرعة نقل البيانات في التخزين بشكل كبير أثناء وضع إعادة البناء المتدهور.
3. الخادم التقليدي له مجال فشل كبير. إذا فشل الخادم، فإن جميع الفيديوهات داخل الخادم تصبح غير قابلة للوصول أو حتى مفقودة.كلما تم تثبيت مزيد من الأقراص في الخادم، يتم فقدان المزيد من ملفات الفيديو في نفس الوقت عند فشل الخادم.
4. تفتقر أنظمة إدارة الفيديو إلى هندسة معمارية مرونة للأجهزة.

استخدم تخزين البرمجيات المحددة بالبرمجيات وميكروسيرفر Arm مع نظام إدارة الفيديو Nx Witness للبصريات الشبكية

في هذه المقالة، سنقدم كيفية دمج جهاز تخزين البرمجيات المحددة بالبرمجيات وميكروسيرفر مبني على Arm مع برنامج VMS لشبكة البصريات لحل بعض المشاكل الموجودة في الحل الحالي.

جهاز تخزين البرمجيات المحددة بالبرمجيات

جهاز Ambedded للتخزين المعرّف برمجيًا Mars 400 Ceph Storage هو حل تخزين معرّف برمجيًا جاهز للاستخدام للشركات.الجهاز يدمج خادم مايكرو ARM مع برنامج تخزين Ceph وواجهة مستخدم ويب.يوفر Mars 400 مجموعة تخزين موحدة تدعم الكائنات والكتل ونظام الملفات.تم تصميمه لتوفير أداء ممتاز وموثوقية وقابلية للتوسع مع عدم وجود نقطة فشل واحدة ومجال فشل أدنى.

نظام إدارة الفيديو Nx Witness وخادم Nx

نظام إدارة الفيديو عبر بروتوكول الإنترنت (IPVMS) هو نظام إدارة فيديو مفتوح يهدف إلى العثور على الكاميرات وعرضها وتسجيلها وإدارتها بالإضافة إلى التكامل السريع مع أنظمة وأجهزة الطرف الثالث. تطبيق خادم Nx هو خادم وسائط قوي وخفيف الوزن مسؤول عن اكتشاف وإدارة أجهزة وبيانات نظام Nx Witness. يقوم خادم Nx بتسجيل الفيديو من الكاميرات عبر بروتوكول الإنترنت إلى تخزين داخلي أو مرفق خارجي. يتميز بتصميم هايف للخوادم لضمان عدم وجود نقطة فشل واحدة.

هندسة ميكروسيرفر الذراع

تستوعب منصات المايكروسيرفر 8 وحدات خادم ARM بت 64 بت رباعية النواة في هيكل وحدة رف واحدة (1RU). يوفر مفتاحان متكرران في الهيكل 4x10 جيجابت في الثانية للربط الأفقي والوصول للعميل. كل وحدة مايكروسيرفر ARM هي خادم لينكس مستقل يمتلك موارد معالج مخصصة وذاكرة وتخزين وواجهة شبكة لبرامج التطبيق.

توفر هندسة المايكروسيرفر إمكانية الوصول الأكبر بسبب عدم وجود نقطة فشل واحدة. يمكن تكوين كل عقدة مايكروسيرفر كعقدة تخزين في مجموعة تخزين أو عقدة خادم VMS في مجموعة VMS.

عندما يتم تكوين المايكروسيرفر كعقدة تخزين، فإنه ينضم إلى مجموعة تخزين Ceph للعمل مع باقي عقد التخزين. إذا قمنا بتكوين المايكروسيرفر كخادم Nx، فإنه يقوم بوظيفته كخادم VMS ويقوم بتركيب قرص افتراضي من مجموعة التخزين لتخزين ملفات الفيديو المسجلة. هذا يعني أنه يمكنك نشر عدد مرن من خوادم Nx اللازمة وخوادم تخزين Ceph على جميع خوادم Mars 400 الصغيرة. بفضل مزايا المايكروسيرفر، لديك مرونة في توسيع نظام المراقبة بزيادة صغيرة.

كيف يحمي التخزين المعرف بالبرامج ويعيد تجديد البيانات بعد فشل الأجهزة

يستخدم تخزين Ceph تكرار أو خوارزمية رمز المحو لحماية البيانات من الفقدان بدلاً من تحكم RAID. تشفير المحو يشبه RAID 5 أو RAID 6 في مجموعة الأقراص ولكن مع مرونة أكبر تسمح بفشل المزيد من الأقراص حاليًا. يمكنها حماية البيانات ليس فقط من فشل محرك الأقراص ولكن أيضًا حماية البيانات ضد فشل الخادم وفشل الرف وأي مجال فشل. يتم تجزئة ملفات البيانات أو الفيديو أولاً إلى كائنات ويتم تجزئة كل كائن إلى عدد من شظايا البيانات وحساب الشظايا الزائدة. يقوم خادم التخزين بتخزين البيانات والأجزاء المتكررة بشكل موزع على خوادم التخزين المختلفة في مجموعة التخزين. إذا تعطل خادم التخزين، يجب إصلاح جميع البيانات المخزنة داخل ذلك الخادم. يتم إجراء عملية إصلاح البيانات بواسطة جميع الخوادم والأقراص الصحية. و، يجب إعادة تعافي الشظايا المفقودة فقط بدلاً من إعادة بناء جميع الأقراص بالكامل.

هناك ثلاثة مزايا رئيسية لتخزين البرمجيات الموزعة المعرفة بنظام تخزين RAID.

1. يمكن للبيانات البقاء على قيد الحياة في حالة تعطل أحد أو أكثر من خوادم الخادم.
2. إن استعادة البيانات أسرع بكثير من نظام RAID لأن جميع الأقراص الصحية في العنقود يساعدون في استعادة البيانات بشكل متوازي ويتم استعادة البيانات المفقودة فقط. إذا كان هناك مزيد من الأقراص في العنقود، فإن سرعة الاستعادة تكون أسرع. استغرقت تجربة فقدان قرص بسعة 10 تيرابايت واستخدام 60٪ في عنقود يحتوي على 36 قرصًا 2.5 يومًا للاستعادة. سرعة الاستعادة هي 28.5 ميجابايت/ثانية لهذا الحجم من التجربة. (ملف ترميز Clay 4+2)
3. أثناء الشفاء، لا يتوقف التسجيل الفيديوي
4. يمكنك استخدام أقراص تخزين ذات سعة كبيرة مثل أقراص HDD سعة 16 تيرابايت في مجموعة تخزين Ceph للحصول على نفس السعة بأقل عدد من الخوادم.

كم عدد كاميرات التسجيل يمكن لمايكروسيرفر واحد دعمها؟

قمنا بإعداد بيئة اختبار لتحميل خادم Nx على Ambedded مارس 400 مايكروسيرفر. تم استخدام التجربة في البداية لاستخدام خادم لمحاكاة كاميرات IP لبث الفيديو إلى خادم مايكرو آرم. تنسيق تدفق الفيديو هو H.264 ، جودة عالية 1080 بكسل بمعدل 30 إطارًا في الثانية. يقوم خادم Arm VMS بتركيب قرص افتراضي كتخزين له. توصلت نتيجة الاختبار إلى أنه يمكن لخادم واحد صغير تسجيل ما يصل إلى 30 كاميرا دون فقدان إطار الفيديو. تتضمن الاختبارات أيضًا السيناريو عندما يكون القرص الافتراضي ممتلئًا. هذا يعني أن Mars 400 بحجم 1U الذي يتسع لثمانية مايكروسيرفرات يمكنه دعم 240 كاميرا لتسجيل فيديو عالي الدقة. هذا يعني أن Mars 400 بحجم 1U الذي يتسع لثمانية مايكروسيرفرات يمكنه دعم ما يصل إلى 240 تيار فيديو عالي الدقة للكاميرات. هذا إنجاز رائع باستخدام خادم 1U ويستهلك فقط 100 واط من الطاقة.

اختبار مع كاميرات IP حقيقية

في اختبار آخر، استخدمنا خمسين كاميرا IP لإجراء الاختبار في بيئة حقيقية.

قائمة المعدات:

• كاميرات IP: 25 سلكية و 25 لاسلكية
• ملقم Mars 400Nx: 8 وحدات في 1U. 4 نوى Arm A72، 4 جيجابايت رام و 2x 2.5 جيجابت في الثانية LAN
• ملقم Nx: 3 وحدات Mars 400Nx Arm،

♦ 3 وحدات نشطة للتسجيل والتشغيل. هناك موارد احتياطية على كل وحدة لفشل وحدة واحدة.

• التخزين:

♦ حماية البيانات: رمز المحو 4+2، يسمح بفشل ما يصل إلى 2 قرص صلب في نفس الوقت

♦ ملقم Ceph: 21 مايكروسيرفر لـ Ceph OSD + 3 مايكروسيرفر لـ Ceph monitor

♦ الأقراص الصلبة: 21x 16TB Seagate Exos Enterprise SATA HDD. 224TB قابلة للاستخدام.

• الشبكة:

♦ 4x منافذ 10Gb لـ 4x Mars 400Nx

♦ مفتاح Gb واحد للكاميرات

♦ نقطة وصول لاسلكية x 2

أثناء التسجيل والإعادة، يتم استخدام 150% فقط من موارد المعالج. الحد الأقصى للموارد المستخدمة للمعالج هو 400%. يرجى الرجوع إلى الشكل 1.

الشكل 1: استخدام المعالج في عقدة الخادم Nx

هناك مجموع 4GB من الذاكرة المتاحة في كل عقدة. 1GB من الذاكرة محجوزة للاستخدام الاحتياطي. الذاكرة المستخدمة خلال الاختبار حوالي 2.8 GB. يمكن لعقدة الخادم أن تدعم بثبات ما يصل إلى 30 كاميرا.

الشكل 2: الذاكرة غير المستخدمة في عقدة الخادم Nx

كانت حركة المرور في الشبكة خلال الاختبار حوالي 150Mbps للتنزيل و130Mbps للتحميل. عرض النطاق الترددي للشبكة 2x 2.5Gb أعلى بكثير من حركة المرور الفعلية.

الشكل 3: حركة مرور شبكة خوادم Nx

فشل تبديل خادم VMS

يحتوي خادم Network Optics VMS على ميزة فشل الخادم التلقائي، مما يتيح للخوادم الصحية للاتصال بالكاميرات من خادم Nx VMS الفاشل. في اختبارنا، قمنا بإعداد ثلاثة خوادم صغيرة كخادم Nx VMS. يمكنهم التعامل مع مجموعة من 90 كاميرا. في الحالة الطبيعية، يتم توصيل 50 كاميرا تحت الاختبار بالتساوي إلى الثلاثة خوادم. نحاكي حالة خادم غير متصل عن طريق إيقاف تشغيله. نثبت أن 18 كاميرا متصلة بالخادم الفاشل يمكنها إعادة الاتصال تلقائيًا بالخادمين الآخرين في حوالي دقيقة واحدة.

هذا يعني أن استخدام حل المايكروسيرفر لخادم Nx VMS؛ تحتاج فقط إلى 1/8 من خادم Mars 400Nx بحجم 1U محجوز للفشل التلقائي. قارن ذلك بخادم العقدة الكبيرة؛ يمكن لهندسة المايكروسيرفر توفير تكلفة خادم واحد لإعداد الفشل التلقائي.

مثال تصميم

متطلبات المشروع

1. عدد الكاميرات: 200 كاميرا
2. معدل البت لكل كاميرا لدقة 1080 بكسل، جودة عالية، 30 إطار في الثانية: 4.87 ميجابت في الثانية
3. ساعات التسجيل في اليوم: 16 ساعة
4. أيام التسجيل: 60 يومًا

حساب متطلبات الخادم

1. السعة التخزينية الإجمالية المطلوبة: 411 تيرابايت
2. السعة الإجمالية الخام المطلوبة إذا استخدمنا رمز الاستيفاء 4+2: 678 تيرابايت
3. سعة القرص الثابت: 16 تيرابايت
4. عدد الأقراص الصلبة المطلوبة: 43 قرصًا صلبًا
5. عدد العقد المطلوبة للتخزين (Ceph OSD): 43 عقدة
6. عقدة مراقبة Ceph: 3
7. عقد خادم Nx لـ 200 كاميرا: 200/30 = 7 عقد.
8. عقدة احتياطية لتجاوز فشل NxServer: 1 عقدة
9. إجمالي عدد عقدات الميكروسيرفر المطلوبة: 43 + 3 + 7 + 1 = 54 عقدة
10. إجمالي Mars 400Nx المطلوب: 54/8 = 7x 1U Mars 40Nx
11. عقدات احتياطية: (7 x 8) - 54 = 2 عقدات
12. إجمالي استهلاك الطاقة للخادم بدون الأقراص الصلبة: 7 x 100 واط = 700 واط

الاستنتاج

يجمع Mars 400Nx بين خادم Nx VMS وتخزين برمجي محدد يتمتع بالمزايا التالية:

1. يمكن لتخزين برمجي Mars 400Nx حماية البيانات ليس فقط من فشل الأقراص، ولكن أيضًا من فشل الخادم.
2. عند حدوث فشل في الأقراص، يقوم Mars 400Nx بإعادة تجديد البيانات بشكل متوازي من خلال جميع الأقراص الصحية. إنه أسرع بمعدل 4 إلى 5 مرات مقارنة بوحدة تحكم RAID.
3. يمكن لـ Mars 400Nx الاحتفاظ بتسجيل الفيديو وإعادة التشغيل أثناء إعادة تجديد البيانات.
4. يمكنك استخدام أقراص القرص ذات السعة الكبيرة مثل تلك الموجودة في مجموعة تخزين Mars 400Nx لتقليل التكلفة الإجمالية لنظام التخزين.
5. يمكن لخادم VMS Mars 400Nx بحجم 1U دعم ما يصل إلى 240x كاميرا 1080p. يمكنك تصميم نظام VMS بتركيبة مرنة من وحدات التخزين وخوادم VMS.
6. يوفر خادم Mars 400Nx Arm 70 في المائة من استهلاك الطاقة مقارنة بخوادم x86.

حول Ambedded

Ambedded هي شركة تخزين برمجي محدد تتمتع بخبرة في نظام التشغيل Linux والنواة وتخزين برمجي محدد والنظام المضمن وخادم Arm.

تتطلع Ambedded إلى تسهيل استخدام تخزين Ceph المعرف بالبرمجيات للشركات حتى يمكن للشركات الاستفادة من Ceph بفترة تعلم أقصر.

تجعل Ambedded Ceph بسيطة من خلال تقديم واجهة مستخدم سهلة الاستخدام ، وجاهزة للاستخدام ، وضبط الاستقرار والأداء ، ونشر التلقائي ، والدعم المهني.

مع جهاز سيف الذي تم تصميمه خصيصًا ، فإن فريق Ambedded يمتلك خبرة واسعة لمساعدة العملاء في اعتماد حلنا سيف في صناعات متنوعة مثل الاتصالات والطب والعسكرية ومراكز البيانات الحافة والشركات التي تحتاج إلى تخزين عالي التوفرية.

قم بزيارة موقع الويب Ambedded للحصول على التفاصيل.

حول شبكة البصريات

شركة نتوورك أوبتيكس هي شركة تطوير برمجيات متخصصة في إنشاء حلول إدارة الفيديو الحديثة. منتجنا الأساسي - Nx VMS - هو منصة إدارة فيديو مفتوحة وخفيفة الوزن وقابلة للتخصيص قادرة على إدارة الوسائط غير المتصلة بالشبكة وتيارات الفيديو المباشرة وأنظمة الطرف الثالث المتكاملة والأجهزة. نكس في إم إس هو منصة بث مباشر مجانية - ممكنة عبر السحابة، يمكن الوصول إليها عن بُعد، قابلة للتوسعة لأي حجم، ومرخصة فقط عند الحاجة إلى تسجيل والبحث عن كاميرات الفيديو عبر بروتوكول الإنترنت. يتم فتح Nx VMS أيضًا للمطورين، مع وثائق API و SDK شاملة مدمجة ومجانية للاستخدام، مما يتيح للمؤسسات أو الأفراد إنشاء تطبيقاتهم الخاصة المدفوعة بالفيديو لأي سوق عمودي أو مشروع.

الشكر والتقدير

نود أن نشكر سيجيت و نتوورك أوبتيكس على توفير أقراص الصلابة للشركات وكاميرات الـ IP المستخدمة في هذا المشروع.

المرجع:

• لماذا توقفت تقنية RAID عن العمل في عام 2019، بواسطة روبن هاريس لصالح تخزين البيانات
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• لماذا أفضل تكوين RAID هو عدم وجود تكوين RAID بواسطة كاتب ضيف → https://blog.shi.com/hardware/أفضل-تكوين-للمصفوفة-المتكررة-بدون-تكوين-للمصفوفة-المتكررة/