當前全球已進入大數據時代,數據量巨大,增長速度極快,類型豐富,單元價值極小但規模價值很大。據IDC研究報告的分析和預測,2013全球數據總量為4.4ZB,在未來7年會以40%以上的速度增長,到2020年數據總量大約40ZB。從目前行業的角度可以看到大數據快速發展已經成為各行各業關注的重要焦點。
當前全球已進入大數據時代,數據量巨大,增長速度極快,類型豐富,單元價值極小但規模價值很大。據IDC研究報告的分析和預測,2013全球數據總量為4.4ZB,在未來7年會以40%以上的速度增長,到2020年數據總量大約40ZB。從目前行業的角度可以看到大數據快速發展已經成為各行各業關注的重要焦點。
近幾年,國家高度重視并大力促進大數據發展,具體體現在以下幾個標志性事件:
2014年12月,成立的大數據標準工作組,我司作為信標委成員單位參與了大數據標準的編寫;
2015年貴陽數博會;
國務院51號文;
大數據發展行動綱要的發布;
2016年初十三五規劃中的國家大數據戰略;
天融信大數據分析系統具有自主知識產權。系統提供一套完整的數據收集框架,選用成熟的大數據存儲架構,提供一套可視化的挖掘分析工具,可靈活調整分析過程,發現數據價值。在數據分析結果輸出提供一套可視化的展示平臺,便于管理者獲取分析結果。
大數據分析系統架構由多層組成,包括數據源、數據采集層、數據存儲與計算層、數據建模與分析層、展示層。系統的數據來源支持網絡設備、安全設備、服務器、操作系統等。系統提供多種數據交換的接口,實現數據的快速匯入,同時對匯入的數據進行去隱私化、歸一化、過濾、歸并等進行數據的清洗。數據存儲與計算層提供分布式文件存儲系統、數據倉庫、分布式數據計算存儲、非關系數據庫、關系數據庫等。數據建模與分析層是整個大數據分析的核心功能層,主要實現可視化模型管理、分析模型庫、分析任務調度管理、分析數據匯入管理等主要功能。展示層提供人機交互的界面,提供可視化的展示。
模塊化設計思想
大數據分析系統整個架構包括數據采集、存儲、分析、展示四個方面。各個模塊之間可以獨立部署也可以進行耦合組合。
海量數據處理能力
支持對PB級海量數據進行數據匯入、存儲、分析、展示,并進行數據的關聯分析,從多維度深層次挖掘關聯安全事件,從中發現有價值信息。平臺采用分布式處理技術,其數據處理能力支持通過橫向擴展硬件服務器而增加。
采用可視化建模技術
具有可視化建模能力,平臺已經預置了豐富的可視化建模算子,利用對算子靈活的拖拽操作,完成數據分析場景的構建??梢暬<夹g根據實際業務需求,梳理要處理的數據以及選取處理算子,再自由組合算子,生成新模型,能為應對可變性較大數據分析業務提供極大的便利??梢暬<夹g支持模型的導入、導出,能重復利用已有的模型經驗。平臺通過算子庫預置豐富基本算子,包括輸入算子、字段處理算子、記錄處理算子、數據集處理算子等。
采用集成化展示技術
為用戶提供綜合性且靈活可變的分析展示視圖。必須支持對儀表進行管理,支持多儀表組、支持儀表組增刪、支持儀表組中增刪儀表盤。支持多屏顯示、支持對儀表增刪拖拽移動、支持儀表數據源和展示屬性配置、支持儀表盤展示結果生成報表、支持儀表盤自動刷新。支持統計型圖表包括餅狀圖、環形圖、柱狀圖、橫條圖、線形圖、面積圖、熱點圖、散點圖等,支持關系型圖表包括樹形圖、力導向圖、群絡圖、視網膜圖等。
提供開放的情報共享機制
大數據分析系統庫包括:漏洞、惡意IP、惡意域名等。態勢感知系統通過天融信安全團隊和系統使用發現的情報數據。情報數據也支持第三方機構的數據。所以整個態勢感知系統實現情報來源擴展和情報內容的擴展。
網絡安全態勢分析
通過大數據分析平臺對客戶單位的網絡的安全防護體系進行梳理,收集安全數據,通過多維的數據分析,統計各項態勢指標結果,最終呈現客戶單位的安全態勢。
網絡安全問題發現
通過大數據分析平臺收集客戶單位的安全問題分析有價值的數據,進行數據關聯分析和數據挖掘分析,發現客戶單位各種潛在的安全問題。
業務數據價值挖掘
通過大數據分析分析平臺收集客戶單位海量的業務數據,根據業務數據范圍和特點建立挖掘模型,挖掘對企業有決策價值的數據。