基于大數據的信息分析研判系統技術方案

一種基于大數據的信息分析研判系統，自上而下包括應用層、數據處理層、數據存儲層、中間件層和資源層。針對安保領域視頻、圖像等非結構化數據所具有的容量大、多樣性、非結構化、冗余度大等特點，以及實際業務中快速開展大數據分析處理的應用需求，提出支持橫向擴展，具有分布、并行、高效特點的基于云計算的大數據處理平臺的體系架構。

Information analysis and judgment system based on big data

A data analysis and decision system based on large data, from top to bottom, including application layer, data processing layer, data storage layer, middleware layer and resource layer. According to the characteristics of the field of security video, images and other unstructured data capacity, diversity, non structure, redundancy, and application demand of the rapid development of large data analysis in practice, put forward in support of horizontal expansion, with big data architecture of cloud computing platform based on distributed and parallel processing, high efficiency characteristics.

【技術實現步驟摘要】
基于大數據的信息分析研判系統
本專利技術屬于信息組織與管理領域，具體涉及一種基于大數據的信息分析研判系統。
技術介紹
信息(情報)研判是信息化應用的核心環節。當前很多單位開展情報研判活動中思路還不夠清晰、方法還不夠科學、受制約的因素還較多。情報研判要遵循以下指導原則：現實信息與虛擬信息相結合，內部情報與外部情報相結合，科技手段與傳統手段相結合，宏觀分析與微觀分析相結合，發現問題與解決問題相結合。通過對目前在大數據方面的研究工作進行分析，可以發現目前大數據的研究還比較零散，在大數據處理平臺架構上大多基于Hadoop技術，大量的研究集中在大數據的挖掘分析方法上，還沒有形成支撐大數據處理平臺開發的相關技術體系。而數據挖掘技術在安保工作中的研究與應用尚處于起步階段，許多安保業務信息系統還停留在初級處理水平，缺乏綜合性的開發應用，智能化的分析研判，科學性的決策預警。安保業務領域中治安系統、智能交通視頻數據呈爆發性增長，具有非結構化等大數據典型特征，也是政府部門重要的信息資源。
技術實現思路
本專利技術的目的在于：(1)解決安保大數據處理平臺應用模式的問題：如何全時空地對治安系統、智能交通系統產生的視頻圖像等大數據進行分析處理，就需要解決安保大數據處理平臺應用模式的問題。(2)解決大數據處理應用標準規范的問題“標準先行”已成為當前各行業數據應用的共識，有了標準數據才能共享，才能支撐安保大數據處理平臺應用的開展。(3)解決大數據海量存儲問題“大數據”來襲時，傳統的數據存儲方式已不能滿足要求，需要開展分布式存儲的研究。(4)海量數據并行挖掘技術數據挖掘技術已經在各行業數據分析處理方面得到成功應用，針對大數據的特征，需要對現有數據挖掘技術進一步改進和完善。本專利技術的技術方案如下：一種基于大數據的信息分析研判系統，大數據處理支撐平臺在邏輯上表現為一種層次架構，自上而下包括應用層、數據處理層、數據存儲層、中間件層和資源層，其特征在于：所述應用層，面向視頻、圖像等大規模數據的安保業務應用，提供智能監控、事態預測、統計分析、分析模擬、指揮決策等核心應用服務，所述數據處理層，面向應用，在大數據分布式存儲和管理的基礎上，基于MapReduce技術框架，提供視頻、圖像大數據的索引描述、特征提取、并行數據挖掘、智能關聯分析等支撐服務；所述數據存儲層，實現大數據的高效存儲和高并發訪問控制，基于Hadoop技術體系，綜合應用HDFS、Hbase、Hive，提供數據檢索、存儲監控、負載均衡、容災備份等支撐服務，實現結構化、非結構化數據的集中管理；所述中間件層，為支撐平臺提供運行所需的基礎中間件，主要包括虛擬化服務化中間件、資源管理與集成中間件、分布式存儲中間件。資源層：為大數據平臺的運行提供基礎支撐，包括存儲服務器、計算服務器等高性能硬件資源，結構化和非結構化的數據資源，以及各類感知資源。本專利技術至少可應用于以下方面：1、視頻數據智能分析。圍繞安保各業務領域，在平臺上構建多層次全方位的視頻信息化應用，實現安保內部跨警種信息檢索、信息共享及協同應用；與PGIS平臺結合，形成視頻的VGIS，提供海量視頻實時快速檢索、視頻智能關聯檢索、視頻時空分析研判、目標運動軌跡的動態標繪和預測等功能。實現基于安保大數據的事前防范、事后處理為一體的綜合應用體系，結合智能視頻分析處理功能提高廣州市安保機關的業務智能，對這一系列業務流程及業務中所產生的。2、智能交通應用。通過對智能交通系統中產生的海量視頻數據、圖像數據進行分析處理，監控分析重點車輛軌跡和現場態勢，當出現異常活動時，能夠及時做出異常行為判斷，做到對重要場所的重點監控。此外通過對視頻、圖像等大數據的深度挖掘分析，能夠給智能交通誘導及智能交通控制提供更為精確的數據分析支持，從而有效減少路面擁堵，使人們的出行更加便利快捷。具體實施方式針對安保領域視頻、圖像等非結構化數據所具有的容量大、多樣性、非結構化、冗余度大等特點，以及實際業務中快速開展大數據分析處理的應用需求，研究提出支持橫向擴展，具有分布、并行、高效特點的基于云計算的大數據處理平臺的體系架構。安保大數據處理支撐平臺在邏輯上表現為一種層次架構，自上而下包括應用層、數據處理層、數據存儲層、中間件層和資源層。而相關的標準、規范和安全機制貫穿所有層次。應用層：面向視頻、圖像等大規模數據的安保業務應用，提供智能監控、事態預測、統計分析、分析模擬、指揮決策等核心應用服務。數據處理層：面向應用，在大數據分布式存儲和管理的基礎上，基于MapReduce技術框架，提供視頻、圖像大數據的索引描述、特征提取、并行數據挖掘、智能關聯分析等支撐服務。數據存儲層：實現大數據的高效存儲和高并發訪問控制，基于Hadoop技術體系，綜合應用HDFS、Hbase、Hive，提供數據檢索、存儲監控、負載均衡、容災備份等支撐服務，實現結構化、非結構化數據的集中管理。中間件層：為支撐平臺提供運行所需的基礎中間件，主要包括虛擬化服務化中間件、資源管理與集成中間件、分布式存儲中間件。資源層：為大數據平臺的運行提供基礎支撐，包括存儲服務器、計算服務器等高性能硬件資源，結構化和非結構化的數據資源，以及各類感知資源。本文檔來自技高網...

【技術保護點】
一種基于大數據的信息分析研判系統，大數據處理支撐平臺在邏輯上表現為一種層次架構，自上而下包括應用層、數據處理層、數據存儲層、中間件層和資源層，其特征在于：所述應用層，面向視頻、圖像等大規模數據的安保業務應用，提供智能監控、事態預測、統計分析、分析模擬、指揮決策等核心應用服務，所述數據處理層，面向應用，在大數據分布式存儲和管理的基礎上，基于Map?Reduce技術框架，提供視頻、圖像大數據的索引描述、特征提取、并行數據挖掘、智能關聯分析等支撐服務；所述數據存儲層，實現大數據的高效存儲和高并發訪問控制，基于Hadoop技術體系，綜合應用HDFS、Hbase、Hive，提供數據檢索、存儲監控、負載均衡、容災備份等支撐服務，實現結構化、非結構化數據的集中管理；所述中間件層，為支撐平臺提供運行所需的基礎中間件，主要包括虛擬化服務化中間件、資源管理與集成中間件、分布式存儲中間件。資源層：為大數據平臺的運行提供基礎支撐，包括存儲服務器、計算服務器等高性能硬件資源，結構化和非結構化的數據資源，以及各類感知資源。

【技術特征摘要】
1.一種基于大數據的信息分析研判系統，大數據處理支撐平臺在邏輯上表現為一種層次架構，自上而下包括應用層、數據處理層、數據存儲層、中間件層和資源層，其特征在于：所述應用層，面向視頻、圖像等大規模數據的安保業務應用，提供智能監控、事態預測、統計分析、分析模擬、指揮決策等核心應用服務，所述數據處理層，面向應用，在大數據分布式存儲和管理的基礎上，基于MapReduce技術框架，提供視頻、圖像大數據的索引描述、特征提取、并行數據挖掘、智能關聯分析等支撐服務；所...

【專利技術屬性】
技術研發人員：徐旭，
申請(專利權)人：北京航天長峰科技工業集團有限公司，
類型：發明
國別省市：北京,11