信息技術不(bu)斷(duan)進步，閃存(cun)(cun)、磁(ci)盤(pan)、數(shu)據(ju)中心、DNA等各(ge)種新的存(cun)(cun)儲技術不(bu)斷(duan)出現。可即便如此，仍(reng)難以滿足日(ri)漸龐大(da)的數(shu)據(ju)體(ti)量(liang)的存(cun)(cun)儲需(xu)求，加之IoT(物聯網)行業的發展(zhan)，致使數(shu)據(ju)的體(ti)量(liang)更為驚(jing)人(ren)。不(bu)可否認，這些數(shu)據(ju)中許多都(dou)蘊含著(zhu)價值，但也不(bu)能忽視數(shu)據(ju)的驚(jing)人(ren)體(ti)量(liang)。難道到(dao)2020年，我(wo)們要將44ZB的數(shu)據(ju)全部記(ji)錄并存(cun)(cun)儲下來嗎?因(yin)此，我(wo)們需(xu)要用(yong)云(yun)計(ji)算技術對數(shu)據(ju)進行智能分析。今天就來探(tan)討2017年監(jian)控(kong)系統云(yun)計(ji)算核心技術。

大規模混合計算技術

重慶監控系(xi)統產生的(de)(de)(de)大(da)量視頻圖像數(shu)據(ju)如果只靠(kao)人工來進行(xing)處(chu)理，效率會非(fei)常低，借助于(yu)(yu)視頻智(zhi)能(neng)化(hua)處(chu)理算法，已經可以(yi)從視頻圖像數(shu)據(ju)中獲取(qu)一(yi)些簡(jian)單的(de)(de)(de)特征進行(xing)比對，或者(zhe)進行(xing)模式匹配產生報(bao)警(jing)事件(jian)，提高了處(chu)理的(de)(de)(de)效率。這(zhe)種方式能(neng)夠(gou)處(chu)理的(de)(de)(de)數(shu)據(ju)量，數(shu)據(ju)組(zu)合(he)的(de)(de)(de)程度(du)，數(shu)據(ju)的(de)(de)(de)類型等等都還處(chu)于(yu)(yu)較低的(de)(de)(de)水平，無法應對海(hai)量數(shu)據(ju)和(he)日益(yi)增長的(de)(de)(de)需(xu)求。大(da)規模計算技(ji)術的(de)(de)(de)目的(de)(de)(de)就(jiu)是為了提供一(yi)種統一(yi)的(de)(de)(de)數(shu)據(ju)處(chu)理平臺，上面可以(yi)集成各種智(zhi)能(neng)化(hua)算法和(he)計算模型，綜合(he)處(chu)理海(hai)量監控數(shu)據(ju)，以(yi)更快(kuai)的(de)(de)(de)速(su)度(du)得(de)到更有價值的(de)(de)(de)數(shu)據(ju)。

統一資源管理技術

監控(kong)系(xi)統(tong)產生(sheng)的(de)(de)主要數(shu)據(ju)就是視(shi)頻和(he)圖像(xiang)數(shu)據(ju)，原始數(shu)據(ju)經(jing)過(guo)處理(li)后(hou)，會(hui)產生(sheng)更豐富(fu)的(de)(de)數(shu)據(ju)，處理(li)的(de)(de)方式也會(hui)有(you)很大(da)(da)不同(tong)。比如對(dui)于歷史(shi)視(shi)頻數(shu)據(ju)可(ke)以(yi)在(zai)后(hou)臺處理(li)的(de)(de)視(shi)頻數(shu)據(ju)檢索(suo)，對(dui)于卡口的(de)(de)車牌(pai)和(he)人臉(lian)特征數(shu)據(ju)需要實時(shi)布(bu)控(kong)，對(dui)歷史(shi)卡口信息需要做到實時(shi)檢索(suo)。這些(xie)數(shu)據(ju)都需要不同(tong)的(de)(de)計(ji)算框架進行(xing)處理(li)，通過(guo)引入統(tong)一的(de)(de)資(zi)源(yuan)管理(li)平(ping)臺，可(ke)以(yi)在(zai)同(tong)一個資(zi)源(yuan)池里(li)運行(xing)不同(tong)的(de)(de)計(ji)算框架，大(da)(da)幅提(ti)高資(zi)源(yuan)的(de)(de)利用率，同(tong)時(shi)在(zai)資(zi)源(yuan)被某(mou)種業務獨占時(shi)，又能最(zui)大(da)(da)限度(du)的(de)(de)發揮系(xi)統(tong)的(de)(de)性能。

實時檢索技術

傳統的結構(gou)(gou)化數(shu)據(ju)都(dou)采用(yong)關系型數(shu)據(ju)庫進(jin)行保存(cun)，通(tong)過(guo)(guo)RAC等(deng)技(ji)(ji)術(shu)形成數(shu)據(ju)庫集群，通(tong)過(guo)(guo)索(suo)引方(fang)(fang)式進(jin)行加速(su)，但是(shi)核心還是(shi)基(ji)于行存(cun)儲(chu)和關系運算，面對(dui)(dui)海量記錄時(shi)在各個(ge)(ge)方(fang)(fang)面都(dou)已經遇到(dao)了瓶(ping)頸。實(shi)時(shi)檢索(suo)技(ji)(ji)術(shu)通(tong)過(guo)(guo)引入分布式數(shu)據(ju)庫，列(lie)式存(cun)儲(chu)，內(nei)存(cun)計算，索(suo)引引擎(qing)等(deng)技(ji)(ji)術(shu)，能應對(dui)(dui)100億級別的結構(gou)(gou)化數(shu)據(ju)，在存(cun)儲(chu)容量，可擴展性(xing)，檢索(suo)速(su)度等(deng)多(duo)個(ge)(ge)方(fang)(fang)面都(dou)可以得到(dao)大幅提升。該系統在智能交(jiao)通(tong)、刑事偵(zhen)查(cha)等(deng)視頻監(jian)控(kong)領域具備(bei)重要的研究價(jia)值和廣闊的應用(yong)前景。

復雜事件處理技術

隨(sui)著(zhu)安防監控行(xing)(xing)業(ye)的(de)發展，業(ye)務變(bian)的(de)也(ye)(ye)來越復(fu)雜(za)(za)，比如(ru)智能交通領域，出現了車(che)輛(liang)積分研判、套牌車(che)分析、同行(xing)(xing)車(che)分析等(deng)需(xu)求(qiu)。這些需(xu)求(qiu)存在產生結果(guo)所(suo)依(yi)賴的(de)條(tiao)件多(duo)、處(chu)理(li)過(guo)(guo)程(cheng)實時性(xing)的(de)要(yao)(yao)(yao)求(qiu)高、需(xu)要(yao)(yao)(yao)處(chu)理(li)的(de)數(shu)據量巨大(da)等(deng)特點。傳統(tong)(tong)的(de)方式(shi)是采用關系數(shu)據庫，通過(guo)(guo)復(fu)雜(za)(za)的(de)SQL語(yu)句組合，不(bu)斷查詢比對(dui)的(de)方式(shi)，很難滿足實時性(xing)的(de)要(yao)(yao)(yao)求(qiu)。復(fu)雜(za)(za)事(shi)件處(chu)理(li)通過(guo)(guo)引入流(liu)式(shi)計算等(deng)技術(shu)，動態(tai)地對(dui)輸入數(shu)據進(jin)行(xing)(xing)實時的(de)分析，處(chu)理(li)速度可以(yi)大(da)幅提供(gong)。不(bu)符合條(tiao)件的(de)數(shu)據都被丟(diu)棄(qi)掉，系統(tong)(tong)中只(zhi)存在處(chu)理(li)的(de)結果(guo)或者可能有用的(de)中間數(shu)據，這樣對(dui)存儲的(de)要(yao)(yao)(yao)求(qiu)也(ye)(ye)變(bian)小了，完(wan)全(quan)在內存中進(jin)行(xing)(xing)全(quan)過(guo)(guo)程(cheng)的(de)分析，實時性(xing)得(de)到(dao)了保證。

人臉檢索技術

人(ren)臉(lian)檢(jian)索(suo)的技術在(zai)單臺服務器(qi)上(shang)的應用已經比(bi)較(jiao)成熟，可以(yi)(yi)應用在(zai)身份鑒(jian)別、在(zai)逃(tao)人(ren)員抓捕(bu)、可疑(yi)人(ren)員排查、身份證查重等領域。人(ren)臉(lian)檢(jian)測(ce)過程可以(yi)(yi)分為以(yi)(yi)下(xia)幾個階(jie)段：視頻或(huo)圖像解碼、人(ren)臉(lian)檢(jian)測(ce)、特(te)征(zheng)提(ti)取、特(te)征(zheng)比(bi)對，前三(san)個步驟(zou)都是(shi)每次(ci)(ci)請(qing)求對應一(yi)次(ci)(ci)計算，計算量相對可控，而最后(hou)一(yi)個步驟(zou)特(te)征(zheng)比(bi)每次(ci)(ci)請(qing)求則需要和達(da)億(yi)級的人(ren)臉(lian)特(te)征(zheng)進行比(bi)對，是(shi)運算量最大的一(yi)個階(jie)段。

一些實(shi)時應用的請(qing)求數(shu)(shu)每秒(miao)鐘可達(da)(da)請(qing)求數(shu)(shu)達(da)(da)到(dao)數(shu)(shu)百次(ci)(ci)，每次(ci)(ci)人(ren)臉(lian)比對(dui)次(ci)(ci)數(shu)(shu)可達(da)(da)百萬級(ji)(ji)別時，則整個系統需要支持每秒(miao)億級(ji)(ji)的人(ren)臉(lian)特征比對(dui)計算。如此(ci)大規模的計算，單機上是無法(fa)完(wan)成(cheng)的，必須采用集(ji)(ji)群完(wan)成(cheng)。特征庫(ku)本身規模不(bu)大，但是比對(dui)次(ci)(ci)數(shu)(shu)很大，屬于典型的計算密集(ji)(ji)型集(ji)(ji)群，特征庫(ku)可以全部(bu)倒入到(dao)內存，在內存中完(wan)成(cheng)計算。

海量視頻檢索技術

圖像傳感器采集(ji)到(dao)(dao)(dao)的(de)(de)視(shi)頻數(shu)(shu)據(ju)(ju)保存到(dao)(dao)(dao)后端存儲后，用戶(hu)可(ke)以隨(sui)時(shi)選擇(ze)目標區域的(de)(de)多個攝像頭(tou)，提交給視(shi)頻檢(jian)(jian)索(suo)集(ji)群(qun)(qun)，檢(jian)(jian)索(suo)集(ji)群(qun)(qun)按(an)照目標物(wu)體(ti)的(de)(de)特(te)征(zheng)(zheng)快(kuai)速檢(jian)(jian)索(suo)的(de)(de)所(suo)有對應攝像頭(tou)產(chan)生視(shi)頻數(shu)(shu)據(ju)(ju)，找到(dao)(dao)(dao)目標物(wu)體(ti)特(te)征(zheng)(zheng)所(suo)出現的(de)(de)視(shi)頻，并定位到(dao)(dao)(dao)準確的(de)(de)時(shi)間(jian)點。其(qi)中主要使(shi)用了(le)智能化技術實現視(shi)頻數(shu)(shu)據(ju)(ju)到(dao)(dao)(dao)物(wu)體(ti)特(te)征(zheng)(zheng)結構化數(shu)(shu)據(ju)(ju)的(de)(de)轉換，支持車輛顏色，車牌(pai)，衣著顏色，人臉等特(te)征(zheng)(zheng)。基于統一的(de)(de)計(ji)算(suan)(suan)(suan)資(zi)源池，實現智能化算(suan)(suan)(suan)法的(de)(de)并行運算(suan)(suan)(suan)，線性提高檢(jian)(jian)索(suo)效率。

結(jie)構(gou)化之后的(de)數據(ju)可(ke)以保存到數據(ju)庫，下(xia)次檢索可(ke)以直(zhi)接通(tong)過(guo)結(jie)構(gou)化數據(ju)進(jin)行二次檢索，大(da)幅提高(gao)檢索效(xiao)率。

分布式對象存儲技術

安防云在系統架構和(he)設計上，充分考慮大(da)規(gui)模集群環境下軟硬件(jian)發生故障的(de)現(xian)實，采(cai)用先進的(de)管理思(si)想和(he)軟件(jian)系統，實現(xian)對大(da)量(liang)普通存(cun)(cun)儲(chu)服務器存(cun)(cun)儲(chu)空間資源進行虛擬化整合，實現(xian)軟硬件(jian)故障高度容錯，搭建高度穩定可靠的(de)存(cun)(cun)儲(chu)集群。