Những vấn đề đau đầu đòi hỏi cải thiện

Tuy nhiên, vẫn còn một số vấn đề đau đầu tồn tại trong hệ thống VMS dựa trên máy chủ cần được giải quyết.

1. Việc xây dựng lại ổ đĩa bị hỏng trong mảng ổ đĩa mất quá nhiều thời gian.Nguy cơ mất dữ liệu tăng lên theo kích thước của ổ đĩa. Dù máy chủ VMS sử dụng hệ thống lưu trữ nội bộ hay hệ thống lưu trữ bên ngoài, chúng sử dụng bộ điều khiển RAID để bảo vệ dữ liệu khỏi mất mát. Nếu một ổ đĩa bị hỏng, bộ điều khiển mảng đĩa sẽ mất rất nhiều thời gian để xây dựng lại các tệp tin vào ổ dự phòng.Thời gian tái tạo và khả năng thất bại trong việc tái tạo ổ đĩa tỉ lệ thuận với kích thước của đĩa.Hiện nay, ổ cứng lớn nhất là 16TB và sớm hơn nữa, ổ cứng 20TB sẽ có sẵn.Sử dụng ổ đĩa kích thước nhỏ tăng tổng chi phí của máy chủ lưu trữ.
2. Hiệu suất lưu trữ bị ảnh hưởng lớn trong quá trình tái tạo khi đang giảm chất lượng.
3. Máy chủ truyền thống có một miền lỗi lớn. Nếu một máy chủ gặp sự cố, tất cả các video bên trong máy chủ trở nên không thể truy cập hoặc thậm chí bị mất đi.Càng nhiều ổ đĩa được cài đặt trên máy chủ, càng nhiều tệp video bị mất cùng một lúc khi máy chủ gặp sự cố.
4. VMS thiếu kiến trúc phần cứng linh hoạt.

Sử dụng Lưu trữ Được Định nghĩa Bằng Phần mềm và Arm MicroServer với Hệ thống Quản lý Video Nx Witness của Network Optics

Trong bài viết này, chúng tôi sẽ trình bày cách thiết bị lưu trữ được định nghĩa bằng phần mềm của Ambedded và máy chủ nhỏ dựa trên Arm tích hợp phần mềm VMS của Network Optics để giải quyết một số vấn đề tồn tại trong giải pháp hiện tại.

Thiết bị Lưu trữ Được Định nghĩa Bằng Phần mềm

Thiết bị lưu trữ được định nghĩa bằng phần mềm Mars 400 Ambedded Ceph Storage là một giải pháp lưu trữ được định nghĩa bằng phần mềm sẵn sàng sử dụng cho doanh nghiệp.Thiết bị tích hợp máy chủ nhỏ dựa trên ARM với phần mềm lưu trữ Ceph và giao diện người dùng web.Mars 400 cung cấp một cụm lưu trữ thống nhất hỗ trợ hệ thống đối tượng, khối và tệp.Nó được thiết kế để cung cấp hiệu suất, đáng tin cậy và khả năng mở rộng tuyệt vời mà không có điểm thất bại duy nhất và miền thất bại tối thiểu.

Hệ thống quản lý video Nx Witness & Máy chủ Nx

Nx Witness VMS là một hệ thống quản lý video IP mở (IPVMS) được thiết kế để tìm kiếm, xem, ghi và quản lý các camera video IP cũng như tích hợp nhanh chóng với các hệ thống và thiết bị của bên thứ ba. Ứng dụng Nx Server là một máy chủ phương tiện nhẹ, mạnh mẽ chịu trách nhiệm khám phá và quản lý các thiết bị và dữ liệu hệ thống Nx Witness. Nx Server ghi lại video từ các camera IP vào bộ nhớ trong hoặc bộ nhớ ngoại kết nối. Nó có kiến trúc máy chủ hive đảm bảo không có điểm hỏng duy nhất.

Kiến trúc Arm Microserver

Các nền tảng máy chủ nhỏ phù hợp với 8 mô-đun máy chủ ARM 64-bit Quad-Core trong một khung máy chủ một rack unit (1RU). Hai công tắc dự phòng trong khung cung cấp 4x10 Gbps uplink cho việc mở rộng theo chiều ngang và truy cập của khách hàng. Mỗi mô-đun máy chủ ARM là một máy chủ Linux độc lập sở hữu tài nguyên CPU, bộ nhớ, lưu trữ và giao diện mạng riêng biệt cho phần mềm ứng dụng.

Kiến trúc máy chủ nhỏ gọn cung cấp tính khả dụng cao hơn do thiếu điểm hỏng duy nhất. Mỗi nút máy chủ nhỏ gọn có thể được cấu hình như một nút lưu trữ của một cụm lưu trữ hoặc một nút máy chủ VMS của cụm VMS.

Khi máy chủ nhỏ được cấu hình như một nút lưu trữ, nó sẽ tham gia vào cụm lưu trữ Ceph để làm việc cùng với các nút lưu trữ khác. Nếu chúng ta cấu hình microserver như một máy chủ Nx, nó sẽ hoạt động như một máy chủ VMS và gắn một ổ đĩa ảo từ cụm Lưu trữ để lưu trữ các tệp video đã ghi. Điều này có nghĩa là bạn có thể triển khai linh hoạt số lượng máy chủ Nx và máy chủ lưu trữ Ceph cần thiết trên tất cả các máy chủ Mars 400. Với những lợi ích của máy chủ nhỏ, bạn có tính linh hoạt để mở rộng hệ thống giám sát với một bước nhỏ.

Cách lưu trữ được xác định bằng phần mềm bảo vệ và khôi phục dữ liệu khi xảy ra lỗi phần cứng

Lưu trữ Ceph sử dụng thuật toán sao chép hoặc mã hóa để bảo vệ dữ liệu khỏi mất mát thay vì sử dụng bộ điều khiển RAID. Erasure coding tương đương với RAID 5 hoặc RAID 6 trong mảng đĩa nhưng linh hoạt hơn, cho phép nhiều ổ đĩa hỏng hiện tại. Nó có thể bảo vệ dữ liệu không chỉ khỏi sự cố ổ đĩa mà còn bảo vệ dữ liệu khỏi sự cố máy chủ, sự cố rack và bất kỳ lỗi nào trong quy mô. Dữ liệu hoặc tệp video được tách thành các đối tượng và mỗi đối tượng được chia thành một số phần dữ liệu và tính toán các phần dư thừa. Máy chủ lưu trữ phân tán lưu trữ dữ liệu và các phần dư thừa đến các máy chủ lưu trữ khác nhau trong cụm lưu trữ. Nếu một máy chủ lưu trữ bị hỏng, tất cả dữ liệu được lưu trữ trong máy chủ đó phải được phục hồi. Việc phục hồi dữ liệu được thực hiện bởi tất cả các máy chủ và ổ đĩa khỏe mạnh. Và, chỉ những phần mất mát cần được khôi phục lại thay vì xây dựng lại toàn bộ ổ đĩa.

Có ba lợi ích chính của hệ thống lưu trữ phần mềm phân tán so với hệ thống lưu trữ RAID.

1. Dữ liệu có thể tồn tại sau khi một hoặc nhiều nút máy chủ bị hỏng.
2. Quá trình phục hồi dữ liệu nhanh hơn nhiều so với RAID vì tất cả các ổ đĩa khỏe mạnh trong cụm đều giúp phục hồi dữ liệu song song và chỉ cần phục hồi dữ liệu bị mất. Nếu có nhiều ổ đĩa hơn trong cụm, tốc độ phục hồi càng nhanh. Một thí nghiệm mất một ổ đĩa 10TB sử dụng 60% trong một cụm 36 ổ đĩa mất 2.5 ngày để phục hồi. Tốc độ phục hồi là 28.5MB/s cho quy mô thí nghiệm này. (Profil Clay Erasure code 4+2)
3. Trong quá trình hồi phục, việc chữa lành không làm gián đoạn quá trình ghi video
4. Bạn có thể sử dụng ổ đĩa dung lượng lớn như ổ cứng 16TB trong cụm lưu trữ Ceph để có cùng dung lượng với ít máy chủ hơn.

Một Microserver có thể hỗ trợ bao nhiêu máy ghi hình?

Chúng tôi đã thiết lập một môi trường kiểm thử để thử nghiệm Nx Server trên Ambedded Máy chủ nhỏ Mars 400. Thí nghiệm ban đầu sử dụng một máy chủ để mô phỏng các camera IP để truyền video đến một máy chủ nhỏ Arm. Định dạng luồng video là H.264, chất lượng cao 1080p với 30 khung hình mỗi giây. Máy chủ Arm VMS gắn một ổ đĩa ảo làm bộ nhớ lưu trữ của nó. Kết quả kiểm tra kết luận rằng một microserver có thể ghi lại tối đa 30 camera mà không mất khung hình video. Kiểm tra cũng bao gồm kịch bản khi ổ đĩa ảo đầy. Điều này ngụ ý rằng một Mars 400 1U có thể chứa tám microserver có thể hỗ trợ 240 camera video độ phân giải cao. Điều này ngụ ý rằng một Mars 400 1U có thể chứa tám microserver và hỗ trợ đến 240 luồng video độ phân giải cao của camera. Đây là một thành tựu tuyệt vời khi sử dụng một máy chủ 1U và chỉ tiêu thụ 100 Watts điện năng.

Thử nghiệm với Camera IP thật

Trong một thử nghiệm khác, chúng tôi sử dụng năm mươi camera IP để thực hiện thử nghiệm trong một môi trường thực tế.

Danh sách trang thiết bị:

• Camera IP: 25x Có dây và 25x Không dây
• Máy chủ Mars 400Nx: 8 nút trong 1U. 4 lõi Arm A72, 4GB RAM & 2x 2.5Gbps LAN
• Máy chủ Nx: 3 nút Mars 400Nx Arm,

♦ 3 nút đang hoạt động cho việc ghi và phát lại. Có tài nguyên dự phòng trên mỗi nút cho trường hợp một nút gặp sự cố.

• Bộ nhớ:

♦ Bảo vệ dữ liệu: mã hóa 4+2, cho phép tối đa 2 ổ cứng hỏng cùng một lúc

♦ Máy chủ Ceph: 21x microserver cho Ceph OSD + 3x microserver cho Ceph monitor

♦ Ổ cứng: 21x ổ cứng Seagate Exos Enterprise SATA 16TB. 224TB có thể sử dụng được.

• Mạng:

♦ 4 cổng 10Gb cho 4 Mars 400Nx

♦ 1 switch Gb dành cho camera

♦ 2 điểm truy cập không dây

Trong quá trình ghi và phát lại, chỉ sử dụng 150% tài nguyên CPU. Tài nguyên CPU tối đa có thể sử dụng là 400%. Vui lòng tham khảo hình 1.

Hình 1: Sử dụng CPU của nút máy chủ Nx

Tổng cộng có 4GB bộ nhớ có sẵn trên mỗi nút. 1GB bộ nhớ được dự trữ để sử dụng dự phòng. Lượng bộ nhớ sử dụng trong quá trình thử nghiệm là khoảng 2.8 GB. Nút máy chủ có thể hỗ trợ ổn định tối đa 30 camera.

Hình 2: Bộ nhớ không sử dụng của nút máy chủ Nx

Lưu lượng mạng trong quá trình thử nghiệm là khoảng 150Mbps tải xuống và 130Mbps tải lên. Băng thông mạng 2x 2.5Gb cao hơn nhiều so với lưu lượng thực tế.

Hình 3: Lưu lượng mạng của các nút máy chủ Nx

Sự chuyển đổi máy chủ VMS

Máy chủ Network Optics VMS có tính năng tự động chuyển giao máy chủ, cho phép các máy chủ VMS khỏe mạnh kết nối với các camera từ một máy chủ Nx VMS bị lỗi. Trong bài kiểm tra của chúng tôi, chúng tôi thiết lập ba máy chủ nhỏ làm máy chủ Nx VMS. Chúng có thể xử lý tổng cộng 90 camera. Trong điều kiện bình thường, 50 camera đang được kiểm tra được kết nối đều vào ba máy chủ. Chúng tôi mô phỏng việc một máy chủ bị ngắt kết nối bằng cách tắt nó. Chúng tôi chứng minh rằng 18 camera kết nối với máy chủ bị lỗi có thể tự động kết nối lại với hai máy chủ khác trong khoảng một phút.

Điều này ngụ ý rằng khi sử dụng giải pháp microserver cho máy chủ Nx VMS, bạn chỉ cần 1/8 của một máy chủ Mars 400Nx 1U dành cho việc dự phòng. So sánh với một máy chủ node lớn, kiến trúc microserver có thể tiết kiệm chi phí một máy chủ cho cài đặt dự phòng.

Ví dụ thiết kế

Yêu cầu dự án

1. Số lượng camera: 200 camera
2. Tốc độ bit cho mỗi camera 1080p, chất lượng cao, 30 FPS: 4.87Mbps
3. Số giờ ghi hình mỗi ngày: 16 giờ
4. Số ngày ghi hình: 60 ngày

Tính toán yêu cầu máy chủ

1. Tổng dung lượng lưu trữ cần thiết: 411 TB
2. Tổng dung lượng gốc cần thiết nếu sử dụng mã hóa 4+2: 678 TB
3. Dung lượng ổ đĩa cứng: 16 TB
4. Số lượng ổ đĩa cứng cần thiết: 43 HDDs
5. Số lượng nút cần thiết cho lưu trữ (Ceph OSD): 43
6. Nút giám sát Ceph: 3
7. Số lượng nút máy chủ Nx cho 200 máy ảnh: 200/30 = 7 nút.
8. Nút dự phòng cho NxServer khi gặp sự cố: 1 nút
9. Tổng số nút microserver cần thiết: 43 + 3 + 7 + 1 = 54 nút
10. Tổng số Mars 400Nx cần thiết: 54/8 = 7x 1U Mars 40Nx
11. Nút dự phòng: (7 x 8) - 54 = 2 nút
12. Tổng lượng điện tiêu thụ của máy chủ không tính ổ đĩa cứng: 7 x 100 Watts = 700 Watts

Kết luận

Ambedded Mars 400Nx kết hợp máy chủ Nx VMS và lưu trữ được định nghĩa bằng phần mềm có những lợi ích sau:

1. Lưu trữ được định nghĩa bằng phần mềm của Mars 400Nx có thể bảo vệ dữ liệu không chỉ chống lại sự cố ổ đĩa mà còn chống lại sự cố máy chủ.
2. Khi có sự cố ổ đĩa, Mars 400Nx sẽ tự động khôi phục dữ liệu song song trên tất cả các ổ đĩa khỏe mạnh. Tốc độ này nhanh hơn 4-5 lần so với bộ điều khiển RAID.
3. Mars 400Nx có thể duy trì việc ghi và phát lại video trong quá trình khôi phục dữ liệu.
4. Bạn có thể sử dụng ổ đĩa dung lượng lớn trong cụm lưu trữ Mars 400Nx để giảm tổng chi phí của hệ thống lưu trữ.
5. Một máy chủ VMS Mars 400Nx 1U có thể hỗ trợ lên đến 240 camera 1080p. Bạn có thể thiết kế hệ thống VMS với sự kết hợp linh hoạt giữa lưu trữ và máy chủ VMS.
6. Máy chủ Arm Mars 400Nx tiết kiệm 70% năng lượng tiêu thụ so với máy chủ x86.

Về Ambedded

Ambedded là một công ty lưu trữ được định nghĩa bằng phần mềm với chuyên môn về hệ điều hành Linux, kernel, lưu trữ được định nghĩa bằng phần mềm, hệ thống nhúng và máy chủ Arm.

Tầm nhìn của Ambedded là làm cho việc sử dụng lưu trữ phần mềm Ceph trở nên dễ dàng để doanh nghiệp có thể hưởng lợi từ Ceph với một đường cong học tập ngắn hơn.

Ambedded đơn giản hóa Ceph bằng cách cung cấp giao diện người dùng dễ sử dụng, thiết bị lưu trữ sẵn sàng sử dụng, ổn định và tinh chỉnh hiệu suất, triển khai tự động và hỗ trợ chuyên nghiệp.

Với thiết bị Ceph được xây dựng đặc biệt, đội ngũ Ambedded sở hữu kinh nghiệm rộng để giúp khách hàng áp dụng giải pháp ceph của chúng tôi vào các ngành công nghiệp đa dạng như viễn thông, y tế, quân sự, trung tâm dữ liệu cạnh tranh và các doanh nghiệp yêu cầu lưu trữ có sẵn cao.

Hãy truy cập trang web Ambedded để biết thêm chi tiết.

Về Optics Mạng

Network Optix là một công ty phát triển phần mềm tập trung vào việc tạo ra các giải pháp quản lý video tiên tiến. Sản phẩm cốt lõi của chúng tôi - Nx VMS - là một nền tảng quản lý video mở, nhẹ, có thể tùy chỉnh, có khả năng quản lý phương tiện ngoại tuyến, luồng video trực tiếp và các hệ thống và thiết bị của bên thứ 3 được tích hợp. Nx VMS là một nền tảng phát trực tiếp miễn phí - có khả năng kết nối đám mây, truy cập từ xa, mở rộng đến bất kỳ kích thước nào và chỉ được cấp phép khi cần ghi và tìm kiếm các camera IP. Nx VMS cũng mở cho các nhà phát triển, với tài liệu API và SDK toàn diện được tích hợp sẵn và miễn phí sử dụng, cho phép tổ chức hoặc cá nhân tạo ra các ứng dụng dựa trên video riêng cho bất kỳ thị trường hay dự án nào.

Cảm ơn

Chúng tôi xin gửi lời cảm ơn đến Seagate và Network Optix đã cung cấp ổ cứng doanh nghiệp Exos X16 và camera IP được sử dụng cho dự án này.

Tham khảo:

• Tại sao RAID ngừng hoạt động vào năm 2019, Bởi Robin Harris cho Storage Bits
  https://www.zdnet.com/article/why-raid-6-stops-working-in-2019/

• Tại sao cấu hình RAID tốt nhất là không có cấu hình RAID bởi Người viết khách mời → https://blog.shi.com/hardware/cach-cau-hinh-raid-tot-nhat-khong-co-cau-hinh-raid/