信息(xi)技術(shu)不斷(duan)進(jin)步(bu)，閃存(cun)、磁盤、數據中心、DNA等各種新的(de)存(cun)儲技術(shu)不斷(duan)出現(xian)。可即便如此，仍(reng)難以(yi)滿足日漸龐大的(de)數據體量(liang)的(de)存(cun)儲需求，加之IoT(物聯(lian)網(wang))行(xing)業的(de)發展，致(zhi)使(shi)數據的(de)體量(liang)更為驚(jing)人(ren)。不可否認，這些(xie)數據中許多都(dou)蘊含著價(jia)值，但(dan)也(ye)不能(neng)忽視(shi)數據的(de)驚(jing)人(ren)體量(liang)。難道到2020年，我(wo)們要將44ZB的(de)數據全部(bu)記錄(lu)并存(cun)儲下來(lai)嗎？因(yin)此，我(wo)們需要用云計(ji)算(suan)技術(shu)對(dui)數據進(jin)行(xing)智能(neng)分(fen)析。今天就來(lai)探討(tao)2017年監(jian)控系統(tong)云計(ji)算(suan)核心技術(shu)。

信息技術不斷(duan)進步 監控系統云計算升級

　　一、大(da)規模混(hun)合計算技術

　　監控系統產生(sheng)的(de)(de)(de)(de)大(da)量(liang)視(shi)(shi)頻(pin)圖(tu)像數(shu)(shu)據(ju)如果(guo)只靠人工(gong)來進行(xing)處理，效率(lv)會(hui)非常低，借助(zhu)于(yu)視(shi)(shi)頻(pin)智能化處理算法，已(yi)經可以(yi)(yi)從視(shi)(shi)頻(pin)圖(tu)像數(shu)(shu)據(ju)中獲(huo)取一些(xie)簡單的(de)(de)(de)(de)特征進行(xing)比對，或(huo)者進行(xing)模(mo)(mo)式匹(pi)配產生(sheng)報警事件(jian)，提(ti)高了處理的(de)(de)(de)(de)效率(lv)。這種方式能夠處理的(de)(de)(de)(de)數(shu)(shu)據(ju)量(liang)，數(shu)(shu)據(ju)組合的(de)(de)(de)(de)程(cheng)度，數(shu)(shu)據(ju)的(de)(de)(de)(de)類型(xing)等(deng)(deng)等(deng)(deng)都還處于(yu)較(jiao)低的(de)(de)(de)(de)水平，無法應對海(hai)量(liang)數(shu)(shu)據(ju)和日益增長(chang)的(de)(de)(de)(de)需求。大(da)規(gui)模(mo)(mo)計算技術的(de)(de)(de)(de)目的(de)(de)(de)(de)就(jiu)是為了提(ti)供一種統一的(de)(de)(de)(de)數(shu)(shu)據(ju)處理平臺，上面(mian)可以(yi)(yi)集(ji)成各種智能化算法和計算模(mo)(mo)型(xing)，綜(zong)合處理海(hai)量(liang)監控數(shu)(shu)據(ju)，以(yi)(yi)更快的(de)(de)(de)(de)速度得到更有價(jia)值的(de)(de)(de)(de)數(shu)(shu)據(ju)。

　　二(er)、統一(yi)資源管(guan)理技術

　　監控系統(tong)產生的(de)主(zhu)要(yao)數據(ju)(ju)(ju)(ju)(ju)就是視(shi)頻和圖像數據(ju)(ju)(ju)(ju)(ju)，原始數據(ju)(ju)(ju)(ju)(ju)經過處(chu)理(li)后，會產生更豐(feng)富的(de)數據(ju)(ju)(ju)(ju)(ju)，處(chu)理(li)的(de)方式也(ye)會有很大(da)(da)不同(tong)。比(bi)如對(dui)于(yu)歷(li)史(shi)視(shi)頻數據(ju)(ju)(ju)(ju)(ju)可(ke)以在后臺處(chu)理(li)的(de)視(shi)頻數據(ju)(ju)(ju)(ju)(ju)檢索，對(dui)于(yu)卡口(kou)的(de)車牌(pai)和人臉特(te)征(zheng)數據(ju)(ju)(ju)(ju)(ju)需(xu)(xu)要(yao)實(shi)時布控，對(dui)歷(li)史(shi)卡口(kou)信息需(xu)(xu)要(yao)做到實(shi)時檢索。這些數據(ju)(ju)(ju)(ju)(ju)都需(xu)(xu)要(yao)不同(tong)的(de)計算框架(jia)進行處(chu)理(li)，通過引入(ru)統(tong)一的(de)資(zi)源(yuan)管理(li)平臺，可(ke)以在同(tong)一個資(zi)源(yuan)池里運行不同(tong)的(de)計算框架(jia)，大(da)(da)幅提(ti)高資(zi)源(yuan)的(de)利(li)用(yong)率，同(tong)時在資(zi)源(yuan)被(bei)某種(zhong)業務(wu)獨占時，又(you)能(neng)(neng)最大(da)(da)限度的(de)發(fa)揮系統(tong)的(de)性能(neng)(neng)。

　　三、實時(shi)檢索技術

　　傳統(tong)的(de)(de)結構化數(shu)據(ju)都(dou)(dou)采用(yong)關(guan)系(xi)(xi)型數(shu)據(ju)庫進(jin)(jin)行保存，通(tong)過(guo)RAC等技術形成數(shu)據(ju)庫集群，通(tong)過(guo)索引(yin)(yin)方(fang)式(shi)進(jin)(jin)行加(jia)速，但是核心(xin)還是基于(yu)行存儲(chu)和(he)關(guan)系(xi)(xi)運算，面(mian)(mian)對海量記錄時(shi)在各個方(fang)面(mian)(mian)都(dou)(dou)已經遇到了瓶頸(jing)。實時(shi)檢(jian)索技術通(tong)過(guo)引(yin)(yin)入分布式(shi)數(shu)據(ju)庫，列式(shi)存儲(chu)，內存計算，索引(yin)(yin)引(yin)(yin)擎(qing)等技術，能應對100億(yi)級別的(de)(de)結構化數(shu)據(ju)，在存儲(chu)容量，可擴展性，檢(jian)索速度等多(duo)個方(fang)面(mian)(mian)都(dou)(dou)可以得到大幅提(ti)升。該系(xi)(xi)統(tong)在智能交通(tong)、刑事偵查等視頻(pin)監控領域具備重要的(de)(de)研究價值(zhi)和(he)廣(guang)闊的(de)(de)應用(yong)前景。

　　四(si)、復雜(za)事件處(chu)理(li)技術(shu)

　　隨(sui)著安防(fang)監控行業的(de)(de)(de)(de)發展，業務(wu)變的(de)(de)(de)(de)也(ye)來越復(fu)雜(za)，比(bi)如智能交(jiao)通領域，出現了車(che)輛積分研判、套牌(pai)車(che)分析(xi)、同行車(che)分析(xi)等(deng)需求(qiu)(qiu)。這些(xie)需求(qiu)(qiu)存(cun)在(zai)產生結果所依賴(lai)的(de)(de)(de)(de)條件(jian)多、處(chu)理(li)(li)過程實(shi)(shi)時性的(de)(de)(de)(de)要(yao)(yao)求(qiu)(qiu)高、需要(yao)(yao)處(chu)理(li)(li)的(de)(de)(de)(de)數(shu)據量巨大(da)等(deng)特點。傳統(tong)的(de)(de)(de)(de)方式(shi)是采用(yong)關系(xi)(xi)數(shu)據庫，通過復(fu)雜(za)的(de)(de)(de)(de)SQL語句(ju)組合(he)，不斷查(cha)詢比(bi)對(dui)的(de)(de)(de)(de)方式(shi)，很難滿足實(shi)(shi)時性的(de)(de)(de)(de)要(yao)(yao)求(qiu)(qiu)。復(fu)雜(za)事件(jian)處(chu)理(li)(li)通過引(yin)入(ru)流(liu)式(shi)計算等(deng)技術(shu)，動態(tai)地對(dui)輸入(ru)數(shu)據進行實(shi)(shi)時的(de)(de)(de)(de)分析(xi)，處(chu)理(li)(li)速(su)度(du)可以大(da)幅提供。不符合(he)條件(jian)的(de)(de)(de)(de)數(shu)據都被丟棄(qi)掉，系(xi)(xi)統(tong)中(zhong)只存(cun)在(zai)處(chu)理(li)(li)的(de)(de)(de)(de)結果或(huo)者(zhe)可能有用(yong)的(de)(de)(de)(de)中(zhong)間數(shu)據，這樣(yang)對(dui)存(cun)儲的(de)(de)(de)(de)要(yao)(yao)求(qiu)(qiu)也(ye)變小了，完全在(zai)內存(cun)中(zhong)進行全過程的(de)(de)(de)(de)分析(xi)，實(shi)(shi)時性得到了保證。

　　五、人臉(lian)檢索技術

　　人(ren)臉檢(jian)索的(de)技(ji)術在(zai)單臺服務器(qi)上的(de)應用(yong)(yong)已經(jing)比較成熟，可(ke)以(yi)應用(yong)(yong)在(zai)身(shen)份(fen)鑒(jian)別(bie)、在(zai)逃人(ren)員(yuan)抓捕(bu)、可(ke)疑(yi)人(ren)員(yuan)排查、身(shen)份(fen)證查重(zhong)等領域。人(ren)臉檢(jian)測過(guo)程(cheng)可(ke)以(yi)分為以(yi)下(xia)幾個(ge)(ge)階(jie)段(duan)：視頻或圖像解碼、人(ren)臉檢(jian)測、特征(zheng)提取(qu)、特征(zheng)比對(dui)，前三個(ge)(ge)步驟都是每次請(qing)求對(dui)應一次計(ji)算，計(ji)算量相對(dui)可(ke)控，而最后(hou)一個(ge)(ge)步驟特征(zheng)比每次請(qing)求則需要和達億級的(de)人(ren)臉特征(zheng)進行比對(dui)，是運算量最大的(de)一個(ge)(ge)階(jie)段(duan)。

　　一些實時應用的請(qing)求(qiu)數每秒(miao)鐘可達請(qing)求(qiu)數達到數百(bai)次(ci)(ci)，每次(ci)(ci)人臉(lian)比對(dui)次(ci)(ci)數可達百(bai)萬級別時，則整個系統需要(yao)支(zhi)持每秒(miao)億級的人臉(lian)特(te)征比對(dui)計(ji)(ji)算(suan)。如此大規模的計(ji)(ji)算(suan)，單(dan)機上是(shi)(shi)無法完成的，必須采(cai)用集群完成。特(te)征庫(ku)本身規模不大，但是(shi)(shi)比對(dui)次(ci)(ci)數很大，屬于(yu)典(dian)型的計(ji)(ji)算(suan)密集型集群，特(te)征庫(ku)可以(yi)全(quan)部倒(dao)入(ru)到內存(cun)，在內存(cun)中完成計(ji)(ji)算(suan)。

　　六、海量視(shi)頻(pin)檢索技術

　　圖(tu)像(xiang)傳感器采集(ji)到(dao)(dao)(dao)的(de)(de)(de)視頻(pin)(pin)數據(ju)(ju)保存到(dao)(dao)(dao)后(hou)端存儲后(hou)，用戶可以隨時選擇(ze)目標(biao)區域的(de)(de)(de)多個攝像(xiang)頭，提(ti)交(jiao)給視頻(pin)(pin)檢索(suo)集(ji)群，檢索(suo)集(ji)群按照目標(biao)物(wu)體(ti)的(de)(de)(de)特征快速檢索(suo)的(de)(de)(de)所(suo)(suo)有對應攝像(xiang)頭產生(sheng)視頻(pin)(pin)數據(ju)(ju)，找到(dao)(dao)(dao)目標(biao)物(wu)體(ti)特征所(suo)(suo)出現(xian)的(de)(de)(de)視頻(pin)(pin)，并定(ding)位到(dao)(dao)(dao)準(zhun)確的(de)(de)(de)時間點。其中主要使用了智(zhi)能化(hua)技(ji)術(shu)實現(xian)視頻(pin)(pin)數據(ju)(ju)到(dao)(dao)(dao)物(wu)體(ti)特征結構化(hua)數據(ju)(ju)的(de)(de)(de)轉換，支(zhi)持(chi)車輛顏色(se)，車牌，衣著顏色(se)，人臉等特征。基于(yu)統一的(de)(de)(de)計算資源池，實現(xian)智(zhi)能化(hua)算法的(de)(de)(de)并行運算，線性(xing)提(ti)高檢索(suo)效率。

　　結(jie)構(gou)化(hua)之(zhi)后的數據可以保存到數據庫，下次(ci)檢索(suo)(suo)可以直接通過結(jie)構(gou)化(hua)數據進行二次(ci)檢索(suo)(suo)，大(da)幅提(ti)高檢索(suo)(suo)效率。

　　七、分布式對象存儲(chu)技術

　　安防云在系統架(jia)構和設(she)計(ji)上(shang)，充(chong)分考慮大(da)規模集(ji)群環境下軟(ruan)硬件發生故障(zhang)的(de)現實，采用先進的(de)管(guan)理思想(xiang)和軟(ruan)件系統，實現對大(da)量普(pu)通存(cun)儲(chu)服務器存(cun)儲(chu)空間(jian)資源進行虛擬化整(zheng)合，實現軟(ruan)硬件故障(zhang)高(gao)(gao)度(du)容(rong)錯，搭建高(gao)(gao)度(du)穩(wen)定(ding)可靠的(de)存(cun)儲(chu)集(ji)群。

　　系(xi)(xi)統(tong)(tong)將控(kong)(kong)制流與數據流分(fen)離，以及充(chong)分(fen)優化元數據節(jie)(jie)點(dian)(dian)控(kong)(kong)制系(xi)(xi)統(tong)(tong)，使得(de)系(xi)(xi)統(tong)(tong)具備極(ji)高(gao)的(de)性(xing)能(neng)(neng)和良好(hao)(hao)的(de)線性(xing)擴展能(neng)(neng)力(li)(li)。系(xi)(xi)統(tong)(tong)整體為應(ying)用提(ti)供(gong)(gong)統(tong)(tong)一(yi)命名空間，使得(de)系(xi)(xi)統(tong)(tong)具備極(ji)好(hao)(hao)的(de)數據共享能(neng)(neng)力(li)(li)。系(xi)(xi)統(tong)(tong)將負載(zai)均衡到(dao)集(ji)群(qun)內(nei)的(de)各節(jie)(jie)點(dian)(dian)上，充(chong)分(fen)利用集(ji)群(qun)各節(jie)(jie)點(dian)(dian)性(xing)能(neng)(neng)，以獲得(de)很好(hao)(hao)的(de)性(xing)能(neng)(neng)聚合能(neng)(neng)力(li)(li)以保證系(xi)(xi)統(tong)(tong)的(de)穩定。集(ji)群(qun)采用高(gao)度靈活自組(zu)網技術(shu)，提(ti)供(gong)(gong)簡易(yi)部署和維護功能(neng)(neng)。系(xi)(xi)統(tong)(tong)在數據可靠方(fang)面，采用智能(neng)(neng)冗余(yu)重建技術(shu)，保證較(jiao)高(gao)磁盤(pan)利用率的(de)前提(ti)下，提(ti)供(gong)(gong)最(zui)佳冗余(yu)策略。另外(wai)，系(xi)(xi)統(tong)(tong)在節(jie)(jie)點(dian)(dian)軟硬件(jian)故障容錯方(fang)面，也(ye)進行(xing)充(chong)分(fen)考(kao)慮，具備屏蔽所有可屏蔽錯誤能(neng)(neng)力(li)(li)。

　　八(ba)、快速(su)文件索引技術

　　云存儲(chu)系(xi)統(tong)可以支持(chi)上億級(ji)(ji)的(de)(de)文(wen)件，同時(shi)還需要支持(chi)上千個用戶同時(shi)訪(fang)問。這么大(da)規(gui)模的(de)(de)元數據和并發訪(fang)問量，采用傳統(tong)的(de)(de)內(nei)存加磁盤多級(ji)(ji)存儲(chu)，以及多級(ji)(ji)索(suo)引(yin)方式，尋(xun)址的(de)(de)開銷(xiao)將非常大(da)，直接影響到系(xi)統(tong)的(de)(de)可用性(xing)。

　　為了提高(gao)系(xi)(xi)統(tong)的響應(ying)速度，云存儲(chu)采用(yong)粗(cu)粒度的管理方式，以(yi)(yi)64M作為典型的塊大(da)小(xiao)進行(xing)索引(yin)，大(da)幅減小(xiao)元(yuan)數(shu)據的數(shu)量，即使如(ru)此，系(xi)(xi)統(tong)的元(yuan)數(shu)據規(gui)模(mo)還是會達到(dao)GB級別。基于這種情況，系(xi)(xi)統(tong)采用(yong)全內存態的元(yuan)數(shu)據訪問模(mo)式，可以(yi)(yi)將(jiang)文件尋(xun)址(zhi)時間(jian)降到(dao)毫(hao)秒級別。

　　為了(le)保證元(yuan)數據的可靠(kao)性，需要對(dui)元(yuan)數據的訪問做日志記錄，并定(ding)期將(jiang)元(yuan)數據持久化到硬盤。

　　九、高速(su)并(bing)發訪問技術

　　客戶端在訪問云(yun)存(cun)儲(chu)時(shi)，首(shou)先訪問元數(shu)據(ju)服(fu)務器(qi)，獲(huo)取(qu)將要與之進(jin)行(xing)交互的數(shu)據(ju)節點(dian)信息，然(ran)后直接訪問這些數(shu)據(ju)節點(dian)完成數(shu)據(ju)存(cun)取(qu)。

　　客(ke)戶端與元數(shu)(shu)(shu)據服務(wu)器(qi)之間只有控制流，而無數(shu)(shu)(shu)據流，這樣就(jiu)極大(da)地降低了元數(shu)(shu)(shu)據服務(wu)器(qi)的(de)負載，使之不成為(wei)系統(tong)性能的(de)一個(ge)瓶頸。客(ke)戶端與數(shu)(shu)(shu)據節點之間直(zhi)接傳輸數(shu)(shu)(shu)據流，同時由(you)于文件被分成多個(ge)節點進(jin)行分布式(shi)存儲(chu)，客(ke)戶端可以(yi)同時訪問(wen)多個(ge)節點服務(wu)器(qi)，從而使得整(zheng)個(ge)系統(tong)的(de)I/O高度(du)并行，系統(tong)整(zheng)體性能得到提高。

　　通常情況下，系統的整體吞吐率(lv)與節點(dian)服務器的數量(liang)呈(cheng)正比。

本文編輯：重慶監(jian)控（網址(zhi)：//a0245.cn/）版權申明：本(ben)文(wen)章(zhang)來源(yuan)于網絡,如有侵(qin)權,請聯系(xi)我們我們收(shou)到后立即刪(shan)除，謝(xie)謝(xie)！特(te)別注意(yi)：本(ben)站所有轉(zhuan)載文(wen)章(zhang)言(yan)論不代表(biao)本(ben)站觀點(dian),本(ben)站所提供的攝(she)影(ying)照片,插畫,設計作(zuo)品,如需使用,請與原作(zuo)者聯系(xi),版權歸原作(zuo)者所有。