雲端儲存應用是視訊監控系統發展的必然需求

近些年來大資料、雲端計算、雲端儲存在IT界可謂炙手可熱，那其在視訊監控行業的需求和應用又怎麼樣呢?不同行業、規模、應用需求的視訊監控系統是否需要建設雲端儲存呢?各行業的決策者們無疑還存在一些疑惑，但是隨著視訊監控系統對視訊影象清晰度的不斷追求、系統規模的不斷擴大、應用需求不斷趨向多樣化，雲端儲存應用是視訊監控系統發展的必然需求。

雲端儲存的需求分析

首先是視訊影象清晰度發展需求。視訊監控對視訊影象的清晰度需求是無止境的。視訊影象的解析度從QCIF、CIF、D1、720P、1080P、4K、8K一路走來，僅僅使用了不到十年的時間，現在已開始步入4K解析度主流年代。隨著視訊影象解析度的不斷增大，相應對視訊影象的儲存要求也越來越高。例如：1路D1影象(1M位元速率)儲存30天需要的儲存容量約為300GB左右，1路1080P影象(4M位元速率)儲存30天需要的儲存容量約為1.2TB左右，1路4K(8M位元速率)儲存30天則達到了2.4TB左右，可見隨著視訊影象清晰度的增加，儲存容量的需求也急劇增大。

其次是安防視訊監控系統向著大規模、海量資料、智慧化和融合應用的方向快速發展需求。近十幾年來國內外的各行各業，安防視訊監控系統攝像機的數量規模急劇增加。在鐵路行業，隨著新增沿線入侵報警與視訊監控需求的明晰，一條鐵路線的建設規模就從幾千到上萬路攝像機不等;而如一箇中等規模城市的平安城市建設規模攝像機數量可能達幾萬路。1000路的1080P(4M 位元速率+24小時+30天)視訊影象儲存容量就可以達到1PB，而1萬路的1080P 視訊儲存容量超過了10個PB，安防視訊監控系統的儲存應用已經進入了儲存PB級年代。宇視推出的全新一代統一雲端儲存(United Cloud Storage)系統，能提供高達數百PB級別的海量儲存空間，且兼具高效能、高可靠、強擴充套件以及易運維等特性，能夠很好地滿足使用者多樣化業務的使用需求。

從效能和容量上看，單臺儲存裝置的效能和擴充套件性基本可以滿足PB級以內的視訊接入和影象儲存需求，但是要接入成千上萬路高清1080P，甚至是4K 視訊，儲存幾十PB、甚至上百PB 的資料，無論是效能還是容量都無法應對，因為單臺儲存裝置無法實現其效能與容量的線性增長;如果採用多臺儲存裝置疊加的方式來實現增加的視訊接入和影象儲存需求，那麼多臺儲存裝置間相互獨立，缺乏有效的資料整合與協同處理能力，也會存在以下問題：

1、儲存裝置統一管理問題。幾十上百臺的儲存裝置的管理必須由儲存裝置廠商提供專業的儲存管理軟體來完成裝置的集中管理和維護，或者由安防視訊監控平臺廠商來提供儲存集中管理服務軟體。但是由於不同儲存廠商的管理介面和協議各不相同，安防視訊監控平臺廠商在應對第三方儲存裝置管理時將變得異常困難;

2、儲存資源按需分配問題。視訊監控影象的儲存時間一般在設計初期必須規劃好，例如15 天、30 天、90 天等甚至更長時間。後期需要對儲存天數進行調整時，單臺儲存裝置的空間資源無論是擴容還是縮容將無法真正做到儲存空間的按需分配;

3、儲存資源融合問題。安防行業涵蓋門禁、報警、對講、出入口控制、視訊監控、電警卡口等子系統，儲存資訊包括視訊影象、圖片、文字、告警資訊等。各子系統建設不同的儲存用來儲存資訊，儲存資源難以有效融合和利用，形成了事實的資訊孤島;

4、裝置效能和儲存空間共享及利用問題。按多臺儲存裝置疊加方式部署的視訊監控系統，一般先期建設的儲存裝置已經滿負荷運載，而後期建設的儲存裝置在考慮系統擴充套件性後有一定的效能和儲存空間冗餘，但這部分效能和儲存空間冗餘就很難共享、也不便故障切換。

雲端儲存解決方案

雲端儲存技術則能夠很好的解決上述問題。雲端儲存是在雲端計算和儲存概念上延伸和發展出來的一個新的理念，是一種新興的網路儲存技術，它通過叢集應用、網路技術、分散式檔案系統等將網路中大量各種不同型別的儲存裝置通過應用軟體集合起來協同工作，共同對外提供資料儲存和業務訪問功能。雲端儲存可對系統內的裝置資源、頻寬資源、儲存空間資源等進行有效整合，可為使用者提供大容量、高效能、高可靠的透明儲存服務。相對於單臺儲存裝置來說，雲端儲存系統具備如下優勢：

1、線性擴充套件的高併發讀寫效能。單臺儲存裝置的併發讀寫效能容易受到控制器的CPU、快取及網路介面的能力限制，讀寫頻寬一般在512MB/S~2GB/S 之間。而云儲存系統可以利用叢集技術將儲存節點間的頻寬和多臺儲存裝置的處理能力進行聚合，隨著儲存節點數量的增加可以實現讀寫頻寬、處理能力的線性增長，從理論上來說讀寫頻寬可以是無限的。在實測中，已經達到整體讀寫頻寬超過200GB/S 的效能指標;

2、海量儲存空間的彈性擴充套件。儲存空間彈性擴展采用的是虛擬化技術，把眾多儲存裝置虛擬化成單一的便於管理的邏輯裝置形態，物理磁碟分割成虛擬磁碟，將虛擬磁碟深化採用細粒度管理和虛擬磁碟操作技術，從而獲得更高更靈活的管理效率、效能和容量空間,通過虛擬化磁碟分配技術，提高磁碟利用率。儲存虛擬化技術可以很好地解決當前各種形態裝置的儲存容量的統一管理和磁碟容量的動態分割，實現自動化管理，雲端儲存中的儲存裝置數量龐大且基於網路的異地分佈。現在的儲存裝置型別非常豐富，包括傳統的儲存裝置如IPSAN、FCSAN、NAS、FCIP 等，不同型別和形態裝置之間的容量管理、裝置管理，對於龐大的儲存雲來講都是一個巨大的挑戰，所有的儲存資源都必須得到有效的管理和利用。採用虛擬化和儲存池技術，可以把不同型別的儲存裝置虛擬化成為儲存網路上的一個節點，在邏輯結構上消除異構形態裝置的差異，把容量匯聚成一個巨大的虛擬儲存池，並可以更容易地進行邏輯容量分割，大幅度提升儲存效率。

3、統一的裝置管理與資源呈現。雲端儲存解決了多臺儲存裝置疊加帶來的裝置管理問題。通過叢集技術，將幾十臺、幾百臺的儲存裝置統一管理，通過統一的運維和管理介面，向用戶呈現整個雲端儲存系統的資源和裝置使用情況：整體空間利用率、單裝置空間利用率、讀寫頻寬、裝置負載情況、裝置執行狀態等。例如由二十臺雲端儲存裝置構建的一個一千路視訊10PB 的雲端儲存系統，使用者在使用過程中，不需關心前端10000 路攝像機的視訊影象究竟是儲存在哪一臺裝置上，只需要選擇後端這個10PB 大小的空間統一儲存資源池，就可以非常方便的完成儲存部署，可極大簡化使用者管理與維護的複雜度，有效提高工作效率;

4、提升裝置資源處理和儲存空間共享能力。由於裝置處理能力、儲存空間、頻寬無法實現聚合，單臺儲存裝置的處理能力和儲存空間都無法與其他裝置進行有效共享，而云儲存系統則可以靈活的進行統一管理和共享。雲端儲存採用統一的全域性名稱空間，可以提供多種資料訪問介面(SOAP、REST、HDFS、POSIX 等)，支援主流的檔案與資料傳輸訪問協議(NFS/CIFS、iSCSI、HTTP、FTP 等)，可以與各種上層應用程式進行完美配合;

5、更高的資料安全性與可靠性。像宇視這樣的行業優秀儲存裝置廠商已經通過模組化的部件冗餘設計來實現單臺儲存裝置的資料安全性和可靠性：雙控制器、雙電源、雙電池、雙風扇、雙BIOS等;資料安全性可以通過RAID、映象、快照、複製、CDP 等技術實現。但是當儲存裝置自身出現故障或資料中心機房斷電時，整個資料讀寫業務依然將無法交付。所以許多儲存系統，通過災備方案進行保障：同城/ 異地災備、兩地三中心、雙活等方案來保證業務的連續性和可用性，但是在應對視訊監控領域的海量資料儲存，採用這些災備方案明顯難以實現(資料量過大，建設成本太高)。雲端儲存除了單機效能及災備之外，還通過N+M 糾刪碼技術實現網路RAID功能、多副本複製技術能夠實現跨儲存裝置間的資料保護。如果某臺儲存裝置故障，其上承載的資料寫入業務都會自動轉移到雲端儲存系統內的其他儲存裝置上，對於資料讀取業務，則可以通過其他非故障儲存裝置運算的方式或者訪問副本的方式完成;

6、總擁有成本(TCO)較低。雲端儲存系統採用高性價比的乙太網絡和儲存節點構成，比傳統的中高階儲存裝置具有更好的價效比優勢。雲端儲存擴容相對比較靈活，可根據業務隨時隨地的進行彈性擴充套件，使用者不需要在建設初期一次性購買，當需要時可線上進行效能和容量的方便靈活的擴充套件，可以在建設、管理、執行、維護等上大大節省使用者的總擁有成本(TCO)。

為了充分展示雲端儲存的特性，以下參考浙江宇視的儲存產品技術來闡述雲端儲存的幾項技術:

1、高效能的端到端iSCSI塊直存技術。宇視視訊監控儲存產品，針對視訊監控業務的特點，結合宇視的IP全交換技術、iSCSI塊直存解決方案，從不同層面進行優化，提高視訊監控的效能，從而達到了業界領先的效能水平。它實現前端攝像頭將視訊資料通過iSCSI協議以塊直存的方式寫入儲存裝置，無需經過媒體伺服器，既縮短了I/O 路徑，也不存在檔案儲存的碎片問題，從解決方案層面進行優化，極大地提高了視訊監控的接入和寫入效能。

IP全交換技術和端到端iSCSI塊直存解決方案與傳統IP流媒體交換方案對比如下圖

2、創新的磁碟資料保護技術和RAID改進技術的高可靠性。宇視科技視訊監控儲存產品提供全方位的資料保護，從磁碟級到系統間級，多重保護，為資料安全保駕護航，這裡重點介紹其中幾種技術。

(1)磁碟壞塊替換。當磁碟出現介質寫錯誤之後，將I/O 重新寫到保留的一塊區域，下次讀這個I/O 的時候，就直接從這塊保留的區域讀出;

(2)創新的超級RAID多重重建方式。“無感知”區域性重建，如磁碟短暫離線，或者被錯誤拔出後重新插入時只重建資料發生變化的條塊，不對整個硬碟進行重建;快速重建，當硬碟健康指數超標或者硬碟出現無法修復的讀寫錯誤時，通過快速拷貝方式來重建資料，無法拷貝的條塊，採用異或方式重建;重構重建，如硬碟無法識別，長時間拔出時，按照傳統的重建方式，將資料通過異或運算，將資料恢復到熱備盤上;

3、塊虛擬化RAID-NT。塊虛擬化RAID-NT技術是浙江宇視根據傳統RAID技術跟未來儲存技術的發展趨勢，推出的新一代儲存設計技術，結合快取記憶體智慧排序技術大大提高了業務效能、重建效能，基本原理如下圖：

塊虛擬化RAID-NT最大的優勢就是快速重建。隨著硬碟容量越來越大，RAID 重建時間越來越長，導致陣列失效的風險大大增加。一旦在重建的過程中，其他硬碟發生故障，則會導致整個陣列資料的丟失。塊虛擬化RAID-NT 主要就是為了解決這個問題而設計的，不像傳統RAID 重建，只有RAID 陣列中的硬碟參與重建，資料重構到熱備盤，受限於熱備盤的瓶頸。RAID-NT 重建，整個磁碟池中所有的磁碟都會參與重建，磁碟池中的磁碟越多，參與重建的磁碟就越多，重建當然也就越快。重建的時間窗大大縮短了，陣列失效的風險也大大減少。

4、裝置異常掉電後的資料保險箱技術。在裝置異常掉電後，系統配置的電池會繼續給系統供電以保證寫快取整個空間資料儲存到內建的“資料保險箱”中。當裝置恢復供電正常重啟後，系統會將“資料保險箱”的快取資料載入到系統快取中，並根據策略及時把快取資料刷到RAID 磁碟中，確保資料在任何情況下都不會丟失。

5、多重資料保護網路RAID糾刪碼技術。宇視雲端儲存通過支援N+M 糾刪碼技術實現網路RAID功能，支援節點間的資料保護。檔案寫入的時候，會分成固定大小的資料塊，每個資料塊分成N 片，通過糾刪碼演算法，得到N+M 個數據分片，離散寫入不同的儲存節點。讀取資料塊的時候，只需要讀取任意N 個數據分片就可以了。相比3份複製33% 的磁碟利用率，2份複製50% 的硬碟利用率，N+M 糾刪碼高達80% 的硬碟利用率，大大節省了使用者成本。如下為4+2 的糾刪圖。

源資料分片和冗餘資料分片

結束語

安防視訊影象的儲存特點是對實時的儲存效能要求較高，而云儲存的系統架構決定了它能夠以較低的總擁有成本滿足海量高清視訊的併發寫入/讀取，並能實現快速配置和即插即用。目前雲端儲存在平安城市、智慧交通等大行業市場以及基於公有云架構的民用市場已經得到應用，今後隨著網路化更全面普及和海量視訊共享需求的快速增長，各行業的推廣應用前景將更加廣闊。

縱觀整個國內外安防視訊監控市場雲端儲存廠商現狀，資料儲存廠商、安防儲存廠商廠商雲集、全力角逐：安防廠商基於對業務的理解順勢推出安防專用雲端儲存，資料儲存廠商力推通用雲端儲存以期滿足使用者多樣化需求，整個安防儲存市場競爭日趨激烈。但是不管資料儲存廠商還是安防儲存廠商要做好安防雲端儲存，都需要不斷自我提升：資料儲存廠商應該多瞭解安防視訊監控業務，瞭解業務模型的差異，使通用雲端儲存更符合安防視訊監控行業的實際需求;安防廠商則應該在提供多種資料訪問介面，滿足使用者多樣化業務需求上多下功夫，相互取長補短，滿足使用者實際使用需求才是產品獲得市場佔有率的制勝法寶。而硬碟廠商也要針對安防視訊監控儲存市場提供容量更大、穩定性更高、具有更高性價比的硬碟產品，促使整個安防雲端儲存的價格更加具有市場競爭力。

可以預見，隨著越來越多基於海量資料的高清視訊監控業務應用依託雲端儲存架構解決方案，雲端儲存在安防領域未來的市場應用將更加寬廣。