?全球能源互聯(lián)網(wǎng)研究院(原國(guó)網(wǎng)智能電網(wǎng)研究院)計(jì)算及應(yīng)用研究所致力于為全球能源互聯(lián)網(wǎng)提供高性能計(jì)算能力、智能計(jì)算技術(shù)和優(yōu)質(zhì)計(jì)算服務(wù)，目前已成立國(guó)家電網(wǎng)公司先進(jìn)計(jì)算及應(yīng)用智能實(shí)驗(yàn)室。近5年，實(shí)驗(yàn)室承擔(dān)了國(guó)家“863”等近20項(xiàng)國(guó)家級(jí)科研項(xiàng)目，40余項(xiàng)公司科技項(xiàng)目。建設(shè)形成先進(jìn)的廣域分布式電力大數(shù)據(jù)分析計(jì)算平臺(tái)，覆蓋北京、南京、美國(guó)硅谷，為總部業(yè)務(wù)部門及各省公司提供自助式分析服務(wù)。與中科院計(jì)算所、中國(guó)電子集團(tuán)、沈昌祥院士團(tuán)隊(duì)等機(jī)構(gòu)建立了高性能計(jì)算、大數(shù)據(jù)、可信計(jì)算等聯(lián)合實(shí)驗(yàn)室。
研究背景
電力大數(shù)據(jù)技術(shù)研究與應(yīng)用已成為國(guó)家電網(wǎng)公司當(dāng)前信息技術(shù)發(fā)展重點(diǎn)之一，面向全球能源互聯(lián)網(wǎng)業(yè)務(wù)的相關(guān)需求也迅速增加，國(guó)家電網(wǎng)公司電力大數(shù)據(jù)相關(guān)研究亟需總體層面上的規(guī)劃指導(dǎo)，尤其是在電力大數(shù)據(jù)基礎(chǔ)體系架構(gòu)、技術(shù)標(biāo)準(zhǔn)和應(yīng)用規(guī)范方面的技術(shù)儲(chǔ)備，統(tǒng)一規(guī)劃與協(xié)同推進(jìn)公司各系統(tǒng)、各單位的電力大數(shù)據(jù)相關(guān)研究和應(yīng)用工作，以支撐大數(shù)據(jù)在公司業(yè)務(wù)系統(tǒng)建設(shè)和全球能源互聯(lián)網(wǎng)建設(shè)中的應(yīng)用需要。
主要?jiǎng)?chuàng)新點(diǎn)
面向全球能源互聯(lián)網(wǎng)的電力大數(shù)據(jù)總體架構(gòu)
電力大數(shù)據(jù)的分析流程主要包含數(shù)據(jù)集成、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、業(yè)務(wù)應(yīng)用四個(gè)階段，在該流程中融合數(shù)據(jù)治理、分布式存儲(chǔ)、高性能混合計(jì)算、數(shù)據(jù)探索、一體化搜索、可視化展現(xiàn)、智能信息處理、安全治理等信息技術(shù)實(shí)現(xiàn)數(shù)據(jù)分析、處理、安全防護(hù)的基礎(chǔ)平臺(tái)支撐，通過(guò)全球能源互聯(lián)網(wǎng)多領(lǐng)域交叉融合研究，建立智能化的建模分析及數(shù)據(jù)使用模式，支撐全球能源互聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用和場(chǎng)景需求，總體架構(gòu)如下圖所示。
電力大數(shù)據(jù)平臺(tái)功能架構(gòu)
電力大數(shù)據(jù)功能架構(gòu)設(shè)計(jì)可用于規(guī)范和定義電力大數(shù)據(jù)平臺(tái)在運(yùn)行時(shí)的整體功能流程及技術(shù)選型，該平臺(tái)可整合電力行業(yè)不同領(lǐng)域的數(shù)據(jù)，形成統(tǒng)一的數(shù)據(jù)資源池，構(gòu)建具備開(kāi)放性、可擴(kuò)展性、個(gè)性化、安全可靠、成熟先進(jìn)的大數(shù)據(jù)分析服務(wù)體系，并具備面向社會(huì)的公共服務(wù)能力。圍繞大數(shù)據(jù)分析應(yīng)用生態(tài)圈，從底層基礎(chǔ)設(shè)施、數(shù)據(jù)集成、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)可視化五個(gè)層面、運(yùn)維與安全兩個(gè)保障功能，應(yīng)用先進(jìn)技術(shù)、工具、算法、產(chǎn)品，構(gòu)建電力大數(shù)據(jù)分析與應(yīng)用平臺(tái)功能架構(gòu)，見(jiàn)下圖所示。
電力大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)
電力大數(shù)據(jù)核心平臺(tái)基于Hadoop、Spark、Stream框架的高度融合、深度優(yōu)化，實(shí)現(xiàn)高性能計(jì)算，具有高可用性，其技術(shù)架構(gòu)如圖3所示。數(shù)據(jù)整合方面，主要采用Hadoop體系中的Flume、Sqoop、Kafka等獨(dú)立組件;數(shù)據(jù)存儲(chǔ)方面，在低成本硬件(X86)、磁盤的基礎(chǔ)上，采用包括分布式文件系統(tǒng)、分布式關(guān)系型數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、實(shí)時(shí)數(shù)據(jù)庫(kù)、內(nèi)存數(shù)據(jù)庫(kù)等業(yè)界典型系統(tǒng);數(shù)據(jù)分析方面，集成Tableau、Pluto，R語(yǔ)言環(huán)境，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)計(jì)分析以及數(shù)據(jù)挖掘能力;監(jiān)控管理方面，利用Ganglia，實(shí)現(xiàn)集群監(jiān)控、服務(wù)監(jiān)控、節(jié)點(diǎn)監(jiān)控、性能監(jiān)控、告警監(jiān)控等管理服務(wù);可視化展現(xiàn)方面，基于GIS、Flash、ECHART、HTML5等構(gòu)建可視化展示模塊。電力大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)見(jiàn)下圖所示。
面向全球能源互聯(lián)網(wǎng)的電力大數(shù)據(jù)總體架構(gòu)
在基礎(chǔ)設(shè)施部署架構(gòu)及容量規(guī)劃方面，電力大數(shù)據(jù)平臺(tái)集群主要由數(shù)據(jù)存儲(chǔ)服務(wù)器、接口服務(wù)器、集群管理服務(wù)器和應(yīng)用服務(wù)器組成，支持存儲(chǔ)與計(jì)算混合式架構(gòu)以及廣域分布的集群部署與管理。每個(gè)省集群由總共30臺(tái)x86服務(wù)器和一臺(tái)小型機(jī)組成，其中核心數(shù)據(jù)集群由25臺(tái)構(gòu)成;剩余5臺(tái)服務(wù)器中，3臺(tái)服務(wù)器組成消息總線集群，部署包括Kafka消息隊(duì)列集群以及FTP傳輸入庫(kù)集群，1臺(tái)服務(wù)器作為集群登陸跳轉(zhuǎn)以及RstudioServer服務(wù)節(jié)點(diǎn)，還有1臺(tái)服務(wù)器作為ODBC/JDBC服務(wù)以及WebHTTP/REST服務(wù)節(jié)點(diǎn)。小型機(jī)作為關(guān)系型數(shù)據(jù)庫(kù)以及時(shí)間序列數(shù)據(jù)庫(kù)節(jié)點(diǎn)，部署方式如下圖所示。
電力大數(shù)據(jù)標(biāo)準(zhǔn)體系
通過(guò)分析國(guó)內(nèi)外大數(shù)據(jù)相關(guān)標(biāo)準(zhǔn)，并結(jié)合電力大數(shù)據(jù)技術(shù)、產(chǎn)品和應(yīng)用需求，形成電力大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范18項(xiàng)，重點(diǎn)涵蓋基礎(chǔ)概念、數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、分析、展示、質(zhì)量控制、安全防護(hù)、數(shù)據(jù)服務(wù)等8大方面，適用于全球能源互聯(lián)網(wǎng)環(huán)境下電力大數(shù)據(jù)平臺(tái)建設(shè)和相關(guān)標(biāo)準(zhǔn)編制，如下表所示。
解決的問(wèn)題和意義
解決電力海量數(shù)據(jù)的實(shí)時(shí)分析問(wèn)題
在輸電監(jiān)測(cè)與狀態(tài)評(píng)估業(yè)務(wù)中，涉及線路臺(tái)賬、在線監(jiān)測(cè)、試驗(yàn)檢測(cè)、日常巡視、直升機(jī)或無(wú)人機(jī)巡視和衛(wèi)星遙感等數(shù)據(jù)，實(shí)時(shí)獲取輸電監(jiān)測(cè)與狀態(tài)的流數(shù)據(jù)，利用分布式存儲(chǔ)系統(tǒng)的高吞吐，實(shí)現(xiàn)海量監(jiān)測(cè)與狀態(tài)數(shù)據(jù)的同步存儲(chǔ);利用事先定義好的業(yè)務(wù)規(guī)則和數(shù)據(jù)處理邏輯，結(jié)合數(shù)據(jù)檢索技術(shù)對(duì)監(jiān)測(cè)與狀態(tài)數(shù)據(jù)進(jìn)行快速檢索處理;利用流計(jì)算技術(shù)，實(shí)時(shí)處理流監(jiān)測(cè)與狀態(tài)數(shù)據(jù)，根據(jù)流計(jì)算結(jié)果，實(shí)現(xiàn)實(shí)時(shí)評(píng)估和趨勢(shì)預(yù)測(cè)，對(duì)輸電線路健康安全狀態(tài)進(jìn)行正確評(píng)價(jià)，指導(dǎo)輸電線路狀態(tài)檢修決策，準(zhǔn)確識(shí)別輸電線路故障，實(shí)現(xiàn)異常狀態(tài)報(bào)警，對(duì)惡劣自然條件下輸電線路氣象災(zāi)害安全進(jìn)行預(yù)警，為自然災(zāi)害防治提供決策支撐。
解決電力海量數(shù)據(jù)的離線分析問(wèn)題
針對(duì)配電網(wǎng)規(guī)劃、運(yùn)行過(guò)程中產(chǎn)生的海量異構(gòu)、多態(tài)的數(shù)據(jù)，具有多時(shí)空、多來(lái)源、混雜和不確定性的特點(diǎn)，如圖6所示，分析配電網(wǎng)規(guī)劃數(shù)據(jù)的種類和格式多樣性，建立統(tǒng)一的大數(shù)據(jù)存儲(chǔ)接口，實(shí)現(xiàn)配電網(wǎng)規(guī)劃離線數(shù)據(jù)的一體化分布式快速存儲(chǔ)。在離線數(shù)據(jù)一體化存儲(chǔ)的基礎(chǔ)上，建立數(shù)據(jù)分析接口，提供對(duì)配電網(wǎng)規(guī)劃數(shù)據(jù)統(tǒng)計(jì)處理任務(wù)的支撐，并進(jìn)一步滿足配電網(wǎng)規(guī)劃計(jì)算分析、配電網(wǎng)風(fēng)險(xiǎn)評(píng)估及預(yù)警等高級(jí)應(yīng)用系統(tǒng)的數(shù)據(jù)要求，為管理層合理調(diào)整負(fù)荷、調(diào)節(jié)運(yùn)行方式、制定電價(jià)政策等決策提供科學(xué)合理的依據(jù)。電力大數(shù)據(jù)離線分析應(yīng)用如下圖所示。
意義
通過(guò)對(duì)公司大數(shù)據(jù)服務(wù)體系框架、總體技術(shù)架構(gòu)及演進(jìn)路線的研究，以及對(duì)集中式數(shù)據(jù)中心環(huán)境下的數(shù)據(jù)大集中技術(shù)架構(gòu)的研究，設(shè)計(jì)提出符合電力大數(shù)據(jù)當(dāng)前應(yīng)用現(xiàn)狀和需求的公司大數(shù)據(jù)總體架構(gòu)，全面指導(dǎo)大數(shù)據(jù)其他關(guān)鍵技術(shù)的研究;研究制定電力大數(shù)據(jù)的管理規(guī)范、應(yīng)用標(biāo)準(zhǔn)和規(guī)范化建設(shè)模式，通過(guò)標(biāo)準(zhǔn)體系的建立進(jìn)一步促進(jìn)與保障電力大數(shù)據(jù)技術(shù)的應(yīng)用推廣;基于基礎(chǔ)體系架構(gòu)和標(biāo)準(zhǔn)體系，可在總體層面上提出公司電力大數(shù)據(jù)發(fā)展規(guī)劃，在統(tǒng)一規(guī)劃與協(xié)同推進(jìn)下有序開(kāi)展公司各系統(tǒng)、各單位的電力大數(shù)據(jù)相關(guān)研究和應(yīng)用工作。
