近期,四川省科學(xué)技術(shù)獎(jiǎng)勵(lì)大會(huì)公布了“2019年度四川省科學(xué)技術(shù)進(jìn)步獎(jiǎng)”獲獎(jiǎng)名單。在此次評(píng)優(yōu)活動(dòng)中,衛(wèi)士通《面向安全監(jiān)管的高可靠分布式存儲(chǔ)系統(tǒng)》被評(píng)為“四川省科學(xué)技術(shù)進(jìn)步獎(jiǎng)二等獎(jiǎng)”。
四川省科學(xué)技術(shù)獎(jiǎng)勵(lì)工作深入貫徹“尊重勞動(dòng)、尊重知識(shí)、尊重人才、尊重創(chuàng)造”的方針,旨在鼓勵(lì)團(tuán)結(jié)協(xié)作、自主創(chuàng)新和攀登科學(xué)技術(shù)高峰,促進(jìn)科學(xué)研究、技術(shù)開(kāi)發(fā)與社會(huì)發(fā)展之間的融合,努力培養(yǎng)國(guó)內(nèi)一流科學(xué)家、科技領(lǐng)軍人才和科技工作一線(xiàn)創(chuàng)新人才,加速創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略的實(shí)施,以此推進(jìn)創(chuàng)新型四川建設(shè)。
項(xiàng)目·簡(jiǎn)介
面向安全監(jiān)管的高可靠分布式存儲(chǔ)系統(tǒng)
該項(xiàng)目由衛(wèi)士通和成都信息工程大學(xué)聯(lián)合完成,針對(duì)安全監(jiān)管數(shù)據(jù)存儲(chǔ)利用率不高,容錯(cuò)能力有限等問(wèn)題,采用衛(wèi)士通安全運(yùn)行監(jiān)管系統(tǒng)所用的hadoop分布式文件結(jié)構(gòu),以安全運(yùn)行監(jiān)管系統(tǒng)采集到的多種類(lèi)安全監(jiān)管數(shù)據(jù)為對(duì)象,共同研究設(shè)計(jì)了具備高容錯(cuò)能力、高安全特性、可快速編解碼的新型分布式存儲(chǔ)陣列糾刪碼,提出了具備不同特點(diǎn)、多粒度的數(shù)據(jù)容錯(cuò)恢復(fù)技術(shù)、計(jì)算環(huán)境、網(wǎng)絡(luò)邊界與傳輸網(wǎng)絡(luò)安全防護(hù)技術(shù),以及減少數(shù)據(jù)傳輸量的分存份額縮減方法,并構(gòu)建了具備自主知識(shí)產(chǎn)權(quán)、基于陣列碼的高安全、高可靠分布式存儲(chǔ)系統(tǒng)。
該項(xiàng)目的總體研究思路,是從安全監(jiān)管的分布式存儲(chǔ)系統(tǒng)對(duì)數(shù)據(jù)存儲(chǔ)可靠性的要求出發(fā),以存儲(chǔ)編碼的高容錯(cuò)能力和快速編解碼能力來(lái)實(shí)現(xiàn)最優(yōu)更新及存儲(chǔ)修復(fù);以多粒度容錯(cuò)能力為保障、減少數(shù)據(jù)傳輸為輔助來(lái)實(shí)現(xiàn)高可靠分布式存儲(chǔ)系統(tǒng)的技術(shù)支撐;以hadoop技術(shù)為依據(jù)來(lái)實(shí)現(xiàn)相應(yīng)的大數(shù)據(jù)分布式存儲(chǔ)。未來(lái),該項(xiàng)目的相關(guān)成果可應(yīng)用到氣象、公安、電力、醫(yī)院等行業(yè),將帶來(lái)顯著的社會(huì)價(jià)值。
不僅如此,項(xiàng)目組還在期間突破了一系列關(guān)鍵技術(shù),共申請(qǐng)和獲得相關(guān)專(zhuān)利9項(xiàng)(國(guó)內(nèi)發(fā)明專(zhuān)利7項(xiàng),已授權(quán)7項(xiàng);申請(qǐng)國(guó)際PCT專(zhuān)利2項(xiàng))、獲得軟件著作權(quán)33項(xiàng)、發(fā)表論文48篇。
亮點(diǎn)·解讀
面向安全監(jiān)管的高可靠分布式存儲(chǔ)系統(tǒng)
01、本系統(tǒng)采用多源數(shù)據(jù)集中采集組件來(lái)統(tǒng)一接入多源數(shù)據(jù),然后對(duì)異構(gòu)的輸入數(shù)據(jù)進(jìn)行校驗(yàn)、解析、校正,再統(tǒng)一存入大數(shù)據(jù)集群。而多源數(shù)據(jù)集中采集組件則采用插件化的架構(gòu)模式,能滿(mǎn)足當(dāng)下和未來(lái)添加、修改各類(lèi)不同數(shù)據(jù)編解碼的需求,從而對(duì)各種異構(gòu)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理;
02、在安全監(jiān)管方面,本系統(tǒng)使用事件關(guān)聯(lián)分析技術(shù),結(jié)合安全事件的運(yùn)行環(huán)境,對(duì)原來(lái)相對(duì)孤立的低層安全事件數(shù)據(jù)集進(jìn)行關(guān)聯(lián)整合,并通過(guò)過(guò)濾、聚合等手段去偽存真,發(fā)掘隱藏在這些安全數(shù)據(jù)之間的真實(shí)聯(lián)系,識(shí)別網(wǎng)絡(luò)威脅和復(fù)雜的攻擊樣式,生成高級(jí)層面的安全場(chǎng)景,為網(wǎng)絡(luò)安全態(tài)勢(shì)感知和攻擊發(fā)現(xiàn)提供可靠的支撐;
03、該分布式存儲(chǔ)系統(tǒng)跟其他存儲(chǔ)系統(tǒng)相比,由于基礎(chǔ)陣列碼在理論上擁有不受限的容錯(cuò)能力,因此在容錯(cuò)數(shù)量方面遠(yuǎn)遠(yuǎn)大于以往的存儲(chǔ)系統(tǒng),可以在大規(guī)模分布式存儲(chǔ)集群中容忍更多的節(jié)點(diǎn)失效;
04、本系統(tǒng)在陣列碼特點(diǎn)上,擺脫了以往傳統(tǒng)糾刪碼受到素?cái)?shù)或類(lèi)素?cái)?shù)的約束條件,可以使參數(shù)設(shè)置更靈活。此外,采用的編碼運(yùn)算都是異或運(yùn)算,較以往基于有限域或其他運(yùn)算的陣列碼,在運(yùn)算速度方面有了顯著提升。該系統(tǒng)采用的陣列碼均是MDS或近似MDS的最優(yōu)編碼,因此存儲(chǔ)效率能夠達(dá)到最優(yōu)或近似最優(yōu),在高容錯(cuò)能力的前提下存儲(chǔ)效率更高、冗余度更低,更能節(jié)約存儲(chǔ)成本和計(jì)算成本;
05、在數(shù)據(jù)恢復(fù)上,由于該系統(tǒng)采用的是異或運(yùn)算,因此數(shù)據(jù)恢復(fù)的基本速度很快,在獨(dú)有的局部恢復(fù)技術(shù)的配合下,可實(shí)現(xiàn)更快捷的數(shù)據(jù)恢復(fù)。此外,該系統(tǒng)在數(shù)據(jù)恢復(fù)方面獨(dú)創(chuàng)了不同層次的數(shù)據(jù)恢復(fù)功能,實(shí)現(xiàn)了比特?cái)?shù)據(jù)、數(shù)據(jù)塊、重要圖像和存儲(chǔ)節(jié)點(diǎn)的恢復(fù)。