2.2 電力大數據技術體系

前面所述的國內外各個廠商均在大數據技術的發(fā)展過程中做出了突出的貢獻。其中，涉及大數據存儲、計算的具體技術，諸如 NoSQL數據庫技術、HDFS 分布式文件存儲系統(tǒng)、MapReduce分布式計算技術等，這些技術將成為大數據技術在電力領域中應用的典型技術基礎。涉及大數據分析平臺開發(fā)技術的，諸如 Hadoop 平臺、HANA平臺等的架構，將是開發(fā)適用于電網公司大數據分析處理平臺的藍本。而大數據技術在工商業(yè)領域應用的案例，如中國移動公司投訴智能識別系統(tǒng)、百度疾病預測、阿里巴巴淘寶客戶行為分析平臺等的應用,將為電力領域高級應用的開發(fā)提供寶貴經驗。因此，電網公司大數據技術的架構將依托這些國內外廠商的技術集合開發(fā)而成。

2.2.1電力大數據技術架構

電力大數據技術架構不是面向具體功能的，而是面向全部需求的需求（元需求），關注設計的設汁（元設計）. 解決開發(fā)之共性，簡化開發(fā)之過程，提供應用之舞臺，可謂應用之母。架構是體系化的，完備的。能夠滿足一類軟件全部元需求的運行平臺和構建平臺，具體功能運行于其上，可以做到一通百通。大數據技術通過近些年在各行各業(yè)的普及和發(fā)展，逐漸形成了各具特色的技術架構。例如，Oracle 的大數據一體用的是以 Hadoop分布式數據庫為基礎，通過大數據連接器在 HDFS 與Oracle 的 NoSQL 數據庫之間建立鏈接，形成數據捕獲、數椐組織、數據分 析的三層技術架構。而對于IBM 公司的大數椐架構則是以數據整合與治理層為信息集成層，Hadoo生態(tài)系統(tǒng)、流式計算、數據倉庫為相互協(xié)作的數據處理分析層，再往上為數據可視發(fā)現、流計算、系統(tǒng)管理的應用基礎層，最上方則是具體的分析應用層。
通過對這些典型大數據廠商所采用技術架構的分析和研究，我們總結出了典型的大數據技術架構，即以 Hadoop 生態(tài)系統(tǒng)為藍本的，包含數據存儲層、數據管理層、數據計算層、數據應用分析層的四層典型技術架構。

圖 2 - 1 大數據的四層典型技術架構

在最底層的數據存儲層中，通常包含HDFS分布式文件存儲系統(tǒng)、非關系型數據庫，若有實時性的數據需求，在此層中還可以配置具有極高數據處理速率的內存數據庫。
對干數據管理層，其目的是為了協(xié)調下層各種類型數據庫間的數據流動和協(xié)調配合問題. 例如大數據連接器技術用于在傳統(tǒng)關系數據庫和分布式處理系統(tǒng)之間相互傳輸信息，從而實現大數據數椐源的相互轉化，并為大數據分析提供便利。

對于數據計算層，則主要包含實時計算、批量計算和流式計算三種主要的計算模式，以滿足各種計算需求。
最上層的應用分析層則包含數據可視化技木、數據分析挖掘技術、模式識別技術和圖像處理技術等。

書名：電力大數據：能源互聯(lián)網時代的電力企業(yè)轉型與價值創(chuàng)造

ISBN：978-7-111-51693-4

作者：賴征田

出版日期：2016-01

出版社：機械工業(yè)出版社