當(dāng)前，現(xiàn)代的電力系統(tǒng)的日?？煽窟\(yùn)行，都*依賴于高度信息化的網(wǎng)絡(luò)通信與安全防護(hù)。如果電力網(wǎng)絡(luò)或者相關(guān)管理信息系統(tǒng)遭到破壞，就會(huì)導(dǎo)致電力系統(tǒng)不能正常運(yùn)行，甚至導(dǎo)致癱瘓。近年來，入侵檢測系統(tǒng)、防火墻、防病毒軟件、網(wǎng)絡(luò)隔離、加解密軟硬件、訪問控制和vpn等網(wǎng)絡(luò)安全技術(shù)或產(chǎn)品在電力行業(yè)得到了廣泛應(yīng)用，大大增強(qiáng)了電力企業(yè)抵御外部攻擊的能力。傳統(tǒng)的電力系統(tǒng)依靠不同的安全設(shè)備進(jìn)行防御，這些設(shè)備根據(jù)網(wǎng)絡(luò)攻擊檢測情況，每天會(huì)產(chǎn)生大量的攻擊日志和流量信息。如文獻(xiàn)[4]中指出某電力系統(tǒng)面臨的實(shí)際安全問題：信息外網(wǎng)日均產(chǎn)生互聯(lián)網(wǎng)流量高達(dá)5.51t，日均攔截非法訪問3萬余次，查殺病毒100萬余個(gè)，阻斷網(wǎng)站攻擊18萬余次。
利用網(wǎng)絡(luò)安全流量與日志信息進(jìn)行系統(tǒng)安全分析在國內(nèi)外研究中越來越普遍和受到重視。如：文獻(xiàn)[5]設(shè)計(jì)并開發(fā)了一套基于日志分析的電力信通網(wǎng)絡(luò)安全預(yù)警系統(tǒng)，該預(yù)警系統(tǒng)可對信息通信系統(tǒng)中不同設(shè)備的日志進(jìn)行采集和統(tǒng)一管理，實(shí)現(xiàn)對信息通信系統(tǒng)的威脅檢測和安全預(yù)警。文獻(xiàn)[6]指出在網(wǎng)絡(luò)安全建議使用大數(shù)據(jù)的新安全日志系統(tǒng)，通過分析主要it基礎(chǔ)設(shè)施的網(wǎng)絡(luò)、系統(tǒng)、應(yīng)用服務(wù)所產(chǎn)生的安全與數(shù)據(jù)事件之間的關(guān)系，增強(qiáng)安全智能。文獻(xiàn)[7]已經(jīng)通過對多源、異構(gòu)網(wǎng)絡(luò)安全檢測日志信息進(jìn)行采集、利用多種方式進(jìn)行分析，從而尋找合理可信的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)整體態(tài)勢感知。
1電力系統(tǒng)安全流量與日志分析處理
當(dāng)前，我國現(xiàn)有的電力系統(tǒng)安全防御普遍沒有做到立體防御，更多的是線式堆砌模型，就是針對不同的安全風(fēng)險(xiǎn)，購買了大量不同的安全檢測設(shè)備或軟件，每個(gè)設(shè)備互不相同，且都產(chǎn)生各次的檢測日志和數(shù)據(jù)流信息，設(shè)備間或軟件間無法直接溝通與協(xié)同控制。
1.1流量日志數(shù)據(jù)來源日志消息，是指在特定的操作系統(tǒng)下引發(fā)系統(tǒng)，設(shè)備、軟件生成的記錄。由于電力系統(tǒng)包含多種不同安全設(shè)備，不用的數(shù)據(jù)傳輸網(wǎng)絡(luò)，根據(jù)流量日志信息來源，可以將電力系統(tǒng)日志大致分為：網(wǎng)絡(luò)設(shè)備日志、安全檢測設(shè)備日志、主機(jī)（服務(wù)器）日志、應(yīng)用系統(tǒng)（數(shù)據(jù)庫）和業(yè)務(wù)系統(tǒng)日志等。根據(jù)日志信息格式大致可以分為：traf?clog，welf和syslog和二進(jìn)制。其中，traf?clog是設(shè)備保存的基于流量的日志，該日志彌補(bǔ)了syslog中沒有流量信息的確定。welf（webtrendsenhancedlogformat）是webtrends專有的格式，很多的防火墻都支持的日志格式。syslog是在unix平臺下提出的，其格式比較簡單，主要由時(shí)間戳、日志來源和日志描述三部分構(gòu)成。
1.2流量日志數(shù)據(jù)預(yù)處理日志信息預(yù)處理重在消除“數(shù)據(jù)孤島”，建立電力系統(tǒng)安全日志整體協(xié)同融合能力，并形成安全監(jiān)管、控制的全量數(shù)據(jù)資產(chǎn)。1.2.1數(shù)據(jù)清洗數(shù)據(jù)清洗是指對數(shù)據(jù)進(jìn)行重新審查和校驗(yàn)的過程，目的在于刪除重復(fù)信息、糾正存在的錯(cuò)誤，并提供數(shù)據(jù)一致性。當(dāng)前，電力系統(tǒng)的原始日志數(shù)據(jù)存在噪聲多、缺失數(shù)據(jù)嚴(yán)重、數(shù)據(jù)重復(fù)率高等缺點(diǎn)，且數(shù)據(jù)格式不統(tǒng)一，故需要根據(jù)需要進(jìn)行原始數(shù)據(jù)清洗工作。1.2.2數(shù)據(jù)標(biāo)準(zhǔn)化電力系統(tǒng)安全日志數(shù)據(jù)格式眾多，不能簡單的采用一種數(shù)據(jù)格式進(jìn)行標(biāo)準(zhǔn)化，因?yàn)閱我坏臄?shù)據(jù)格式要么包含的屬性過多，導(dǎo)致數(shù)據(jù)可讀性差，難以處理；要么屬性過少，難以準(zhǔn)確呈現(xiàn)網(wǎng)絡(luò)攻擊安全特征，降低檢測能力。因此，為了便于將多源、異構(gòu)的安全設(shè)備日志標(biāo)準(zhǔn)化，首先建立安全日志的“元數(shù)據(jù)”信息，并且將元數(shù)據(jù)格式標(biāo)準(zhǔn)統(tǒng)一。
2大數(shù)據(jù)安全流量日志平臺構(gòu)建
參照大數(shù)據(jù)在其他多源、異構(gòu)系統(tǒng)的成功應(yīng)用研究和大數(shù)據(jù)本身的技術(shù)優(yōu)勢，本文提出的基于大數(shù)據(jù)的電力系統(tǒng)安全多源流量日志分析平臺分為多源異構(gòu)數(shù)據(jù)層、大數(shù)據(jù)存儲層、大數(shù)據(jù)分析挖掘?qū)?、?shù)據(jù)展示層。2.1原始數(shù)據(jù)層該層主要完成來自原始日志信息的采集。主要包括網(wǎng)絡(luò)流量設(shè)備日志（如交換機(jī)、路由器等）、網(wǎng)絡(luò)安全設(shè)備日志（如防火墻、入侵檢測設(shè)備等）、主機(jī)設(shè)備日志（linux、windows等）、漏洞信息（網(wǎng)絡(luò)掃描nessus、x-scan等）。2.2大數(shù)據(jù)存儲層該層主要完成對原始采集的日志信息進(jìn)行大數(shù)據(jù)存儲，主要通過flume、sqoop、kafka和storm結(jié)合使用方法完成。其中，數(shù)據(jù)流的實(shí)時(shí)處理，通過sqoop組件導(dǎo)入到hbase中存儲，利用kafka的生產(chǎn)、消費(fèi)者和代理模式，使用flume作為日志收集系統(tǒng)，將收集到的數(shù)據(jù)輸送到kafka中間件，以供storm去實(shí)時(shí)消費(fèi)計(jì)算。離線數(shù)據(jù)基于hdfs的海量分布式存儲體系，本平臺選用默認(rèn)的64m數(shù)據(jù)塊的存儲單位，對采集的小文件進(jìn)行歸并處理，滿足每個(gè)文件64m的規(guī)模大小。hbase是當(dāng)前非常流行的海量分布式開源數(shù)據(jù)庫系統(tǒng)。hbase采用列式存儲。部分經(jīng)過計(jì)算分析整理后的日志或數(shù)據(jù)流數(shù)據(jù)存儲到hbase中。對于結(jié)構(gòu)化的元數(shù)據(jù)信息，本平臺選用mysql數(shù)據(jù)庫進(jìn)行存儲。關(guān)系型數(shù)據(jù)和非關(guān)系型數(shù)據(jù)之間的關(guān)聯(lián)導(dǎo)入導(dǎo)出操作，我們采用sqoop進(jìn)行數(shù)據(jù)轉(zhuǎn)換。2.3大數(shù)據(jù)分析挖掘?qū)訛榱四軌驅(qū)﹄娏ο到y(tǒng)安全日志數(shù)據(jù)進(jìn)行基于大數(shù)據(jù)的分析和處理，選取spark+hadoop結(jié)合的方法實(shí)現(xiàn)。spark的核心組件包括rdd（resilientdistributeddatasets）、scheduler、storage、shuf?e四部分：rdd是spark核心精髓的部分，spark將所有數(shù)據(jù)都抽象成rdd。scheduler是spark的調(diào)度機(jī)制，分為dagscheduler和taskscheduler。storage模塊主要管理緩存后的rdd、shuf?e和broadcast數(shù)據(jù)。為了實(shí)現(xiàn)電力系統(tǒng)安全日志的關(guān)聯(lián)、聚類和異常等分析，本平臺選取mahout機(jī)器學(xué)習(xí)相關(guān)算法進(jìn)行日志信息分類、聚類、關(guān)聯(lián)分析等操作。2.4數(shù)據(jù)展示層為了能夠直觀、快捷的將電力系統(tǒng)面臨的安全威脅展示出來，本平臺通過web形式展示。展示內(nèi)容主要包括：安全態(tài)勢感知內(nèi)容、威脅情報(bào)與資源共享、攻擊擴(kuò)散關(guān)聯(lián)路徑分析、智能檢索等。展示平臺主要采用html5，javascript，css，j2ee或者nodejs，angularjs，highcharts等技術(shù)實(shí)現(xiàn)。
3實(shí)驗(yàn)及分析
為了驗(yàn)證基于大數(shù)據(jù)的電力系統(tǒng)安全流量與日志處理框架的有效性，本文收集了防火墻、交換機(jī)、堡壘機(jī)等設(shè)備產(chǎn)生的流量日志，如交換機(jī)syslog流量日志原始數(shù)據(jù)如表1所示，接著基于大數(shù)據(jù)平臺，完成日志分析處理，流程圖如圖1所示。實(shí)驗(yàn)選取cloudera來搭建實(shí)驗(yàn)環(huán)境，cloudera包括hdfs、mapreduce、hive、pig、hbase、zookeeper、sqoop等，簡化了大數(shù)據(jù)平臺的安裝、使用難度。實(shí)驗(yàn)環(huán)境包括：vmware虛擬機(jī)、操作系統(tǒng)centos6.5x64、cloudermanager5.14.0、cdh5.14.0。實(shí)驗(yàn)采取*分布式配置，包括1個(gè)master節(jié)點(diǎn)和2個(gè)slave節(jié)點(diǎn)。實(shí)驗(yàn)選取不同大小的syslog日志，比較sql查詢與hadoop平臺的處理效率。檢測結(jié)果如表2所示。在2.68m時(shí)，mysql查詢效率高于hive的查詢效率。隨著數(shù)據(jù)量增大，hive的查詢效率要好于mysql，數(shù)據(jù)規(guī)模越大，hive查詢統(tǒng)計(jì)效率越明顯。這是因?yàn)?，?dāng)數(shù)據(jù)量小時(shí)，mysql的延時(shí)低，而hive查詢是利用mapreduce算法，相對延時(shí)比較高；而當(dāng)數(shù)據(jù)規(guī)模增大到10萬條以上，mysql需要逐條計(jì)算，耗時(shí)長，且容易出錯(cuò)；hive采用并行計(jì)算，將大規(guī)模數(shù)據(jù)計(jì)算切分為多個(gè)小規(guī)模的分塊數(shù)據(jù)，每個(gè)分塊單獨(dú)計(jì)算，整體時(shí)間少。該實(shí)驗(yàn)充分驗(yàn)證了采用hadoop大數(shù)據(jù)平臺并行處理相比傳統(tǒng)串行處理有非常明顯的效率和存儲優(yōu)勢。