一種基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)請求保護(hù)一種基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)，屬于數(shù)據(jù)處理領(lǐng)域。該系統(tǒng)主要包括數(shù)據(jù)導(dǎo)入模塊、數(shù)據(jù)處理模塊和數(shù)據(jù)可視化模塊。數(shù)據(jù)導(dǎo)入模塊利用Flume技術(shù)實(shí)時(shí)監(jiān)控并上傳通過移動終端設(shè)備收集到的海量無線網(wǎng)絡(luò)環(huán)境相關(guān)數(shù)據(jù)至HDFS分布式文件系統(tǒng)中；數(shù)據(jù)處理模塊利用Hadoop分布式數(shù)據(jù)處理集群對這些數(shù)據(jù)進(jìn)行清洗過濾、融合等相關(guān)處理，并將處理之后的結(jié)果存入數(shù)據(jù)庫中；數(shù)據(jù)可視化模塊調(diào)用百度地圖API將處理結(jié)果在地圖上進(jìn)行展示。本發(fā)明專利技術(shù)是一種基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)，能夠?qū)崿F(xiàn)對移動終端收集到的海量無線環(huán)境相關(guān)數(shù)據(jù)的處理和可視化展示，方便無線資源的管理和無線網(wǎng)絡(luò)的優(yōu)化，普通用戶也能通過本系統(tǒng)查看感知區(qū)域內(nèi)當(dāng)前或歷史的無線環(huán)境狀態(tài)。

A map data processing system of radio environment based on Hadoop

The invention requests the protection of a map data processing system of radio environment based on Hadoop, which belongs to the field of data processing. The system mainly includes data import module, data processing module and data visualization module. Data import module real-time monitoring and upload through the massive wireless network environment related data to the HDFS distributed file system of the mobile terminal equipment collected by Flume technology; data processing module using Hadoop distributed data processing cluster for cleaning filter and fusion processing of these data, and the processing results into the database; data visualization module Baidu maps API call processing results will display on the map. The present invention relates to a radio environment map data processing system based on Hadoop, can realize the massive wireless environment related data to the mobile terminal to collect the processing and visual display, convenient wireless resource management and optimization of wireless network, ordinary users can also see through the system within the sensing area of current or historical wireless environment.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)
本專利技術(shù)涉及屬于數(shù)據(jù)處理領(lǐng)域，特別涉及一種基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)。
技術(shù)介紹
近年來，隨著無線移動通信技術(shù)的發(fā)展，信息產(chǎn)業(yè)及相關(guān)電信、廣播、導(dǎo)航、空間、國防等無線電業(yè)務(wù)得到快速發(fā)展。然而，隨著無線電臺站數(shù)量增多、密度加大、地磁環(huán)境日益復(fù)雜，加之缺乏有效的表征方式和方法，導(dǎo)致日常無線電頻譜資源無法直觀、準(zhǔn)確地進(jìn)行管理，甚至造成了無線頻譜擁塞，從而制約了無線電的發(fā)展。無線環(huán)境地圖(REM，RadioEnvironmentMap)的出現(xiàn)則可以有效化解這一難題，它將收集到的無線環(huán)境相關(guān)數(shù)據(jù)進(jìn)行處理和分析之后結(jié)合城市電子地圖，融合時(shí)間、地理信息、頻譜、幅度等相關(guān)數(shù)據(jù)，構(gòu)成一個(gè)多維頻譜信息地圖。無線環(huán)境地圖可以直觀的反映出真實(shí)的無線環(huán)境狀態(tài)，讓社會公眾感知無線電的存在，并且可以查看某個(gè)區(qū)域內(nèi)當(dāng)前或歷史的無線環(huán)境信息，無線環(huán)境地圖還能讓管理者直觀、清晰地對頻譜資源進(jìn)行管理。同時(shí)，網(wǎng)絡(luò)側(cè)在進(jìn)行資源重配時(shí)，可以借助REM對資源分配的范圍、發(fā)射功率、天線的角度等參數(shù)進(jìn)行配置，從而優(yōu)化網(wǎng)絡(luò)性能，并為無線電管理部門提供一個(gè)全新的頻譜監(jiān)管手段。傳統(tǒng)的無線電環(huán)境地圖數(shù)據(jù)來源主要是基于已有的數(shù)據(jù)庫或者利用專門的路測設(shè)備進(jìn)行實(shí)際收集各種無線參數(shù)，這種方式具有感知節(jié)點(diǎn)部署成本高、擴(kuò)展性不強(qiáng)、實(shí)時(shí)性差等缺點(diǎn)，構(gòu)建的無線環(huán)境地圖大多是針對于小范圍的、某個(gè)特定應(yīng)用的。而新興的移動群智感知技術(shù)利用普通大眾的移動終端設(shè)備來進(jìn)行無線環(huán)境數(shù)據(jù)的收集能有限解決上述問題。在通過移動群智感知方式進(jìn)行數(shù)據(jù)收集時(shí)，由于單個(gè)節(jié)點(diǎn)的感知能力有限，需要將感知任務(wù)分發(fā)給多種終端設(shè)備來進(jìn)行，然后通過對數(shù)據(jù)的綜合處理和分析，得到目標(biāo)區(qū)域的無線電環(huán)境地圖完整信息。由于數(shù)據(jù)來自多個(gè)不同的移動終端設(shè)備，數(shù)據(jù)規(guī)模大、類型多、關(guān)系復(fù)雜、噪聲數(shù)據(jù)多，如何將這些海量的原始數(shù)據(jù)進(jìn)行過濾、存儲、融合、分析和可視化展示，是當(dāng)前需要解決的關(guān)鍵問題。現(xiàn)有的大數(shù)據(jù)處理技術(shù)已經(jīng)得到了很多的研究，但是仍然沒有一個(gè)統(tǒng)一的數(shù)據(jù)處理框架和單一的技術(shù)能夠用于多樣化的數(shù)據(jù)集，在數(shù)據(jù)處理的問題上，必須考慮數(shù)據(jù)集的特性、需要解決的問題、性能需求和其他因素來合理地選擇和設(shè)計(jì)合適的數(shù)據(jù)處理方案。本專利技術(shù)設(shè)計(jì)并實(shí)現(xiàn)了一種基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)，實(shí)現(xiàn)對移動群智感知方式收集的無線電環(huán)境數(shù)據(jù)的存儲、預(yù)處理、融合、統(tǒng)計(jì)分析以及可視化展示，既可以直觀地反映出真實(shí)的無線環(huán)境狀態(tài)，讓普通用戶可以隨時(shí)查詢某區(qū)域當(dāng)前或歷史的無線環(huán)境信息，也為運(yùn)營商和無線電相關(guān)部門對無線網(wǎng)絡(luò)資源的優(yōu)化和管理提供給重要的依據(jù)。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)旨在解決以上現(xiàn)有技術(shù)的問題。提出了一種方便無線網(wǎng)絡(luò)資源的優(yōu)化和無線環(huán)境的管理的基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)。本專利技術(shù)的技術(shù)方案如下：一種基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)，其包括：數(shù)據(jù)導(dǎo)入模塊、數(shù)據(jù)處理模塊和數(shù)據(jù)可視化模塊；其中，數(shù)據(jù)導(dǎo)入模塊101：采用Flume海量日志收集技術(shù)實(shí)時(shí)監(jiān)控并上傳通過移動終端設(shè)備收集到的海量無線網(wǎng)絡(luò)環(huán)境信息至HDFS分布式文件系統(tǒng)中；數(shù)據(jù)處理模塊102：是由若干服務(wù)器搭建起來的一個(gè)Hadoop分布式數(shù)據(jù)處理集群，包含數(shù)據(jù)處理、數(shù)據(jù)存儲兩個(gè)子模塊，數(shù)據(jù)處理子模塊將數(shù)據(jù)采集模塊傳來的數(shù)據(jù)進(jìn)行包括數(shù)據(jù)融合、清洗、過濾在內(nèi)的處理，并統(tǒng)計(jì)分析出某時(shí)間段某區(qū)域內(nèi)的無線環(huán)境信息的變化情況和各個(gè)WiFi信道的占用情況；數(shù)據(jù)存儲子模塊用于存儲原始數(shù)據(jù)以及經(jīng)過處理和分析之后的結(jié)果，其中Mysql作為基礎(chǔ)數(shù)據(jù)庫，HBase作為數(shù)據(jù)倉庫；數(shù)據(jù)可視化模塊103：主要用于無線環(huán)境數(shù)據(jù)的可視化展示，通過調(diào)用網(wǎng)絡(luò)地圖，將處理結(jié)果中的位置信息與網(wǎng)絡(luò)地圖的位置信息進(jìn)行映射，并將對應(yīng)的無線環(huán)境的相關(guān)信息在地圖上顯示出來，普通用戶也能通過本系統(tǒng)查看某個(gè)區(qū)域內(nèi)當(dāng)前或歷史的無線環(huán)境狀態(tài)。進(jìn)一步的，所述Flume主要包括：數(shù)據(jù)來源Source，數(shù)據(jù)緩存Channel，數(shù)據(jù)去向Sink，其中，Source，用于完成對日志數(shù)據(jù)監(jiān)控和收集，分成過渡值transtion和事件event傳入到Channel之中；Channel，主要用于提供一個(gè)隊(duì)列的功能，對Source提供中的數(shù)據(jù)進(jìn)行簡單的緩存；Sink，用于取出Channel中的數(shù)據(jù)，進(jìn)行相應(yīng)的存儲文件系統(tǒng)，或者提交到遠(yuǎn)程服務(wù)器。進(jìn)一步的，所述海量無線網(wǎng)絡(luò)環(huán)境信息主要包括WiFi信號信息、LTE信號信息、GSM信號信息在內(nèi)的信息。進(jìn)一步的，所述數(shù)據(jù)導(dǎo)入模塊(101)采用Flume實(shí)時(shí)監(jiān)控并上傳通過移動終端設(shè)備收集到的海量無線網(wǎng)絡(luò)環(huán)境信息至HDFS分布式文件系統(tǒng)中，包括以下步驟：步驟201：讀取配置文件，獲取程序運(yùn)行參數(shù)，在FLUME_HOME/conf目錄下，編寫Flume的配置文件，命名為flume_first_conf，并將Web服務(wù)器中需要監(jiān)控的指定目錄配置為Flume的spoolDir；步驟202：檢查是否有參數(shù)錯誤，如果檢測到參數(shù)錯誤，則結(jié)束本次數(shù)據(jù)導(dǎo)入，如果沒有檢測到參數(shù)錯誤，則繼續(xù)本次數(shù)據(jù)導(dǎo)入，即跳轉(zhuǎn)到步驟203；步驟203：Flume利用自身的組件Source實(shí)時(shí)監(jiān)控Web服務(wù)器中的指定目錄，即通過配置的spoolDir監(jiān)控指定目錄中新文件的變化；步驟204：監(jiān)測Web服務(wù)器指定目錄中是否有新文件產(chǎn)生，如果沒有新文件的變化，則繼續(xù)監(jiān)測，如果一旦監(jiān)測到新文件出現(xiàn)，則跳轉(zhuǎn)到步驟205；步驟205：檢測到新文件產(chǎn)生，就解析該新文件的內(nèi)容，然后寫入到Flume的組件Channel進(jìn)行緩存，組件Sink取出Channel緩存的數(shù)據(jù)提交到Hadoop集群中的HDFS分布式文件系統(tǒng)中；步驟206：對Web服務(wù)器指定目錄下的已經(jīng)上傳的文件打上.COMPLETE后綴，標(biāo)記該文件已完成上傳，下一次不需要重復(fù)上傳。進(jìn)一步的，所述數(shù)據(jù)處理模塊(102)的具體實(shí)現(xiàn)步驟如下：步驟301：利用Hadoop中的MapReduce計(jì)算模式進(jìn)行編程實(shí)現(xiàn)，將HDFS分布式文件系統(tǒng)中的原始數(shù)據(jù)首先進(jìn)行數(shù)據(jù)清洗和過濾，即通過Maper函數(shù)分別對各個(gè)文件進(jìn)行去重和去除異常數(shù)據(jù)，再通過Reducer函數(shù)整合并再去重和去除異常數(shù)據(jù)；步驟302：判斷數(shù)據(jù)是否符合決策要求，如果不符合決策要求，則進(jìn)行再一次的清洗和過濾，如果符合決策要求，則進(jìn)行步驟303；步驟303：將清洗和過濾之后的干凈數(shù)據(jù)進(jìn)行字段分離，將每條數(shù)據(jù)中可能包含的WiFi信息、LTE信息、GSM信息分離出來，以便后續(xù)的數(shù)據(jù)融合；步驟304：以地理位置信息和時(shí)間信息為節(jié)點(diǎn)，對字段分離后的數(shù)據(jù)進(jìn)行融合，得到某地理位置在某時(shí)刻的完整的無線網(wǎng)絡(luò)環(huán)境信息。步驟305：通過聚類算法統(tǒng)計(jì)分析出該感知區(qū)域內(nèi)無線環(huán)境的變化情況，WiFi各信道的占用情況，各個(gè)運(yùn)營商的4G網(wǎng)絡(luò)覆蓋質(zhì)量對比，網(wǎng)絡(luò)穩(wěn)定性對比。步驟306：將上述處理和分析的結(jié)果數(shù)據(jù)存入HDFS分布式文件系統(tǒng)中。進(jìn)一步的，所述數(shù)據(jù)可視化模塊(103)通過調(diào)用網(wǎng)絡(luò)地圖，將處理結(jié)果中的位置信息與網(wǎng)絡(luò)地圖的位置信息進(jìn)行映射，并將對應(yīng)的無線環(huán)境的相關(guān)信息在地圖上顯示出來包括步驟；步驟501：在百度地圖API首頁注冊賬號并獲取百度地圖API秘鑰；步驟502：添加百度地圖的API，在網(wǎng)頁中加入地圖塊，用一個(gè)i本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)，其特征在于，包括：數(shù)據(jù)導(dǎo)入模塊(101)、數(shù)據(jù)處理模塊(102)和數(shù)據(jù)可視化模塊(103)；其中，數(shù)據(jù)導(dǎo)入模塊(101)：采用Flume海量日志收集技術(shù)實(shí)時(shí)監(jiān)控并上傳通過移動終端設(shè)備收集到的海量無線網(wǎng)絡(luò)環(huán)境信息至HDFS分布式文件系統(tǒng)中；數(shù)據(jù)處理模塊(102)：是由若干服務(wù)器搭建起來的一個(gè)Hadoop分布式數(shù)據(jù)處理集群，包含數(shù)據(jù)處理、數(shù)據(jù)存儲兩個(gè)子模塊，數(shù)據(jù)處理子模塊將數(shù)據(jù)采集模塊傳來的數(shù)據(jù)進(jìn)行包括數(shù)據(jù)融合、清洗、過濾在內(nèi)的處理，并統(tǒng)計(jì)分析出某時(shí)間段某區(qū)域內(nèi)的無線環(huán)境信息的變化情況和各個(gè)WiFi信道的占用情況；數(shù)據(jù)存儲子模塊用于存儲原始數(shù)據(jù)以及經(jīng)過處理和分析之后的結(jié)果，其中Mysql作為基礎(chǔ)數(shù)據(jù)庫，HBase作為數(shù)據(jù)倉庫；數(shù)據(jù)可視化模塊(103)：主要用于無線環(huán)境數(shù)據(jù)的可視化展示，通過調(diào)用網(wǎng)絡(luò)地圖，將處理結(jié)果中的位置信息與網(wǎng)絡(luò)地圖的位置信息進(jìn)行映射，并將對應(yīng)的無線環(huán)境的相關(guān)信息在地圖上顯示出來，普通用戶也能通過本系統(tǒng)查看某個(gè)區(qū)域內(nèi)當(dāng)前或歷史的無線環(huán)境狀態(tài)。

【技術(shù)特征摘要】
1.一種基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)，其特征在于，包括：數(shù)據(jù)導(dǎo)入模塊(101)、數(shù)據(jù)處理模塊(102)和數(shù)據(jù)可視化模塊(103)；其中，數(shù)據(jù)導(dǎo)入模塊(101)：采用Flume海量日志收集技術(shù)實(shí)時(shí)監(jiān)控并上傳通過移動終端設(shè)備收集到的海量無線網(wǎng)絡(luò)環(huán)境信息至HDFS分布式文件系統(tǒng)中；數(shù)據(jù)處理模塊(102)：是由若干服務(wù)器搭建起來的一個(gè)Hadoop分布式數(shù)據(jù)處理集群，包含數(shù)據(jù)處理、數(shù)據(jù)存儲兩個(gè)子模塊，數(shù)據(jù)處理子模塊將數(shù)據(jù)采集模塊傳來的數(shù)據(jù)進(jìn)行包括數(shù)據(jù)融合、清洗、過濾在內(nèi)的處理，并統(tǒng)計(jì)分析出某時(shí)間段某區(qū)域內(nèi)的無線環(huán)境信息的變化情況和各個(gè)WiFi信道的占用情況；數(shù)據(jù)存儲子模塊用于存儲原始數(shù)據(jù)以及經(jīng)過處理和分析之后的結(jié)果，其中Mysql作為基礎(chǔ)數(shù)據(jù)庫，HBase作為數(shù)據(jù)倉庫；數(shù)據(jù)可視化模塊(103)：主要用于無線環(huán)境數(shù)據(jù)的可視化展示，通過調(diào)用網(wǎng)絡(luò)地圖，將處理結(jié)果中的位置信息與網(wǎng)絡(luò)地圖的位置信息進(jìn)行映射，并將對應(yīng)的無線環(huán)境的相關(guān)信息在地圖上顯示出來，普通用戶也能通過本系統(tǒng)查看某個(gè)區(qū)域內(nèi)當(dāng)前或歷史的無線環(huán)境狀態(tài)。2.根據(jù)權(quán)利要求1所述的基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)，其特征在于，所述Flume主要包括：數(shù)據(jù)來源Source，數(shù)據(jù)緩存Channel，數(shù)據(jù)去向Sink，其中，Source，用于完成對日志數(shù)據(jù)監(jiān)控和收集，分成過渡值transtion和事件event傳入到Channel之中；Channel，主要用于提供一個(gè)隊(duì)列的功能，對Source提供中的數(shù)據(jù)進(jìn)行簡單的緩存；Sink，用于取出Channel中的數(shù)據(jù)，進(jìn)行相應(yīng)的存儲文件系統(tǒng)，或者提交到遠(yuǎn)程服務(wù)器。3.根據(jù)權(quán)利要求1或2所述的基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)，其特征在于，所述海量無線網(wǎng)絡(luò)環(huán)境信息主要包括WiFi信號信息、LTE信號信息、GSM信號信息在內(nèi)的信息。4.根據(jù)權(quán)利要求1或2所述的基于Hadoop的無線電環(huán)境地圖數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)導(dǎo)入模塊(101)采用Flume實(shí)時(shí)監(jiān)控并上傳通過移動終端設(shè)備收集到的海量無線網(wǎng)絡(luò)環(huán)境信息至HDFS分布式文件系統(tǒng)中，包括以下步驟：步驟201：讀取配置文件，獲取程序運(yùn)行參數(shù)，在FLUME_HOME/conf目錄下，編寫Flume的配置文件，命名為flume_first_conf，并將Web服務(wù)器中需要監(jiān)控的指定目錄配置為Flume的spoolDir；步驟202：檢查是否有參數(shù)錯誤，如果檢測到參數(shù)錯誤，則結(jié)束本次數(shù)據(jù)導(dǎo)入，如果沒有檢測到參數(shù)錯誤，則繼續(xù)本次數(shù)據(jù)導(dǎo)入，即跳轉(zhuǎn)到步驟203；步驟203：Flume利用自身的組件Source實(shí)時(shí)監(jiān)控Web服務(wù)器中的指定目錄，即通過配置的spoolDir監(jiān)控指定目錄中新文件的變化；步驟204：監(jiān)測Web服務(wù)器指定目錄中是否有新文件產(chǎn)生，如果沒有新文件的變化，則繼續(xù)監(jiān)測，如果一旦監(jiān)測到新文件出現(xiàn)，則跳轉(zhuǎn)到步驟205；步驟20...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉媛妮，李芳，鄒陽，趙國鋒，唐紅，段潔，
申請(專利權(quán))人：重慶郵電大學(xué)，
類型：發(fā)明
國別省市：重慶,50