一種信息處理方法和裝置制造方法及圖紙

本發明專利技術實施例公開了一種信息處理方法和裝置，包括：接收服務器發送的第一監控信息，根據服務器編號計算得到對應的散列值；判斷所述散列值對應的地址中是否保存有與所述第一監控信息服務器編號相同的第二監控信息；如果有，則進一步與第二監控信息的進行關鍵詞比較；如果關鍵詞相同，則確定第一監控信息為重復監控信息，由上述技術方案可以看出，首先通過計算散列值以確定同一服務器的監控信息均指向散列表中同一個散列值，其次，通過進行關鍵詞比較以判斷是否為同一監控類型的監控信息，如果關鍵詞相同，便可確定接收到的監控信息是重復監控信息，由此大大提高了判斷監控信息是否為重復監控信息的效率，有效快速的解決了去除重復監控信息的問題。

【技術實現步驟摘要】

本專利技術涉及信息去重領域，特別是涉及一種信息處理方法和裝置。
技術介紹
在實時監控環境下，服務器會發送很多實時監控信息到監控端，這里的監控信息包括報警信息和數據信息等，服務器端發送監控信息的頻率和服務器的處理器的處理頻率成正比，一般來說會非常高，甚至可以達到毫秒級別，而且，這種實時監控信息中有大量的重復信息，所謂的重復信息是指內容及其相似甚至相同的信息，比如說，當服務器的CPU溫度在某一時刻高于溫度監控閾值時，服務器會不停向監控端發送溫度監控信息，直到服務器的CPU溫度再次低于監控閾值后停止，在服務器發送溫度監控信息這段時間里，發送的溫度監控信息中的內容除了個別具體的溫度數值外基本相同，如果監控端對接收到的所述溫度監控信息不進行任何的去除重復信息處理或者叫去重處理就進行存儲操作或者以郵件或短信的形式發送到對應的監控人處的話，首先會浪費大量的網絡資源，其次會造成大量郵件短信密集發送，影響監控人的正常工作。現有的判斷數據信息是否為重復數據信息的方法一般都是采用哈希算法，所謂的哈希算法就是把任意長度的文本輸入，通過散列函數算法，變換成固定長度的散列值。通過比較兩個數據信息的散列值來判斷兩個數據信息是否重復的數據信息，具體方法一般為:數據信息的文本部分一般由多個句子或者段落構成，比較數據信息的段落數或句子數，對段落數或句子個數相近的兩個數據信息進行相似度計算，以每一句為單位，計算出各個句子的散列值，當所有的句子或者段落的散列值的相似度滿足給定的閾值的便視為重復數據信息。但是這種算法的計算對象內容繁雜，需要進行大量的比較操作，判斷重復數據信息的效率非常低。專利技術內容為了解決上述判斷數據信息是否為重復數據信息時需要針對數據信息的文本內容進行大量的計算和比較的技術問題，本專利技術提供了一種信息處理方法和裝置。本專利技術實施例公開了如下技術方案:一種信息處理方法,包括:接收服務器發送的第一監控信息，所述第一監控信息包括服務器編號和關鍵詞；根據所述第一監控信息中的服務器編號計算得到對應的散列值；判斷所述散列值對應的地址中是否保存有與所述第一監控信息服務器編號相同的第二監控信息；如果有，則進一步與第二監控信息的進行關鍵詞比較；如果關鍵詞相同，則確定所述接收的第一監控信息為相對第二監控信息的重復監控信息。優選的，所述判斷所述散列值對應的地址中是否保存有與所述第一監控信息服務器編號相同的第二監控信息，還包括:如果沒有，則將所述接收的第一監控信息存儲在所述散列值對應的地址中對應第一監控信息服務器編號的位置。優選的，所述進一步與第二監控信息的進行關鍵詞比較，還包括:如果關鍵詞不同，則將所述接收的第一監控信息存儲在所述第二監控信息所在位置。優選的，所述散列值對應的地址的存儲單元的數據結構為堆結構。優選的，所述第一監控信息和第二監控信息還包括監控信息生成時間。優選的，當確定所述接收的第一監控信息為相對第二監控信息的重復監控信息后,還包括:計算第一監控信息的監控信息生成時間與第二監控信息的監控信息生成時間的時間差；比較所述時間差與預設時間閾值的大小；如果所述時間差大于等于預設時間閾值，則將第二監控信息的內容更新為第一監控信息的內容；如果所述時間差小于預設時間閾值，則將第一監控信息丟棄。一種信息處理裝置，包括:第一監控信息接收單元，用于接收服務器發送的第一監控信息，所述第一監控信息包括服務器編號和關鍵詞；計算散列值單元，用于根據所述第一監控信息中的服務器編號計算得到對應的散列值；第一判斷單元，用于判斷所述散列值對應的地址中是否保存有與所述第一監控信息服務器編號相同的第二監控信息；如果有，則執行第一比較單元；第一比較單元，用于進一步與第二監控信息的進行關鍵詞比較；如果關鍵詞相同，則確定所述接收的第一監控信息為相對第二監控信息的重復監控信息。優選的，所述第一判斷單元，還用于:如果沒有，則將所述接收的第一監控信息存儲在所述散列值對應的地址中對應第一監控信息服務器編號的位置。優選的，所述第一比較單元，還用于:如果關鍵詞不同，則將所述接收的第一監控信息存儲在所述第二監控信息所在位置。優選的，所述散列值對應的地址的存儲單元的數據結構為堆結構。優選的，所述第一監控信息和第二監控信息還包括監控信息生成時間。優選的，還包括:計算時間差單元，用于計算第一監控信息的監控信息生成時間與第二監控信息的監控信息生成時間的時間差；第二比較單元，用于比較所述時間差與預設時間閾值的大小；更新單元，用于如果所述時間差大于等于預設時間閾值，則將第二監控信息的內容更新為第一監控信息的內容；丟棄單元，用于如果所述時間差小于預設時間閾值，則將第一監控信息丟棄。由上述技術方案可以看出，對于監控端接收到的監控信息，首先根據監控信息中的服務器編號計算得出對應的散列值，以確定同一服務器的監控信息均指向散列表中同一個散列值，其次，通過與該散列值所對應地址中以保存的具有同一服務器編號的監控信息進行關鍵詞比較以判斷是否為同一監控類型的監控信息，如果關鍵詞相同，便可確定接收到的監控信息是相對于已保存的監控信息的重復監控信息，之后，進一步判斷接收到的監控信息和已保存的與接收到監控信息相同監控類型的監控信息之間的監控信息生成時間之差是否滿足時間閾值，將滿足時間閾值的接收到的監控信息更新保存到散列值對應的地址中，由此大大提高了判斷監控信息是否為重復監控信息的效率，有效快速的解決了去除重復監控信息的問題。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動性的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本專利技術一種信息處理方法的方法流程圖；圖2為本專利技術一種信息處理方法的另一個方法流程圖；圖3為本專利技術基于哈希桶的監控信息去重流程圖；圖4為本專利技術哈希桶數據結構示意圖；圖5為本專利技術堆結構的數據存儲示意圖；圖6為本專利技術一種信息處理裝置的裝置結構圖；圖7為本專利技術一種信息處理裝置的另一個裝置結構圖。具體實施例方式本專利技術實施例提供了 一種信息處理方法和裝置。對于監控端接收到的監控信息，首先，根據監控信息中的服務器編號計算得出對應的散列值，以確定同一服務器的監控信息均指向散列表中同一個散列值，其次，通過與該散列值所對應地址中以保存的具有同一服務器編號的監控信息進行關鍵詞比較以判斷是否為同一監控類型的監控信息，如果關鍵詞相同，便可確定接收到的監控信息是相對于已保存的監控信息的重復監控信息。之后，進一步判斷接收到的監控信息和已保存的與接收到監控信息相同監控類型的監控信息之間的監控信息生成時間之差是否滿足時間閾值，將滿足時間閾值的接收到的監控信息更新保存到散列值對應的地址中，將不滿足時間閾值的監控信息確定為無效的重復監控信息并去除，由此大大提高了判斷監控信息是否為重復監控信息的效率，有效快速的解決了去除重復監控信息的問題。為使本專利技術的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖對本專利技術實施例進行詳細描述。實施例一請參閱圖1，其為本專利技術一種信息處理方法的方法流程圖，該方法包括以下步驟:SlOl:接收服務器發送的第一監控信息，所述第一監控信息包括服本文檔來自技高網...

【技術保護點】
一種信息處理方法，其特征在于，包括：接收服務器發送的第一監控信息，所述第一監控信息包括服務器編號和關鍵詞；根據所述第一監控信息中的服務器編號計算得到對應的散列值；判斷所述散列值對應的地址中是否保存有與所述第一監控信息服務器編號相同的第二監控信息；如果有，則進一步與第二監控信息的進行關鍵詞比較；如果關鍵詞相同，則確定所述接收的第一監控信息為相對第二監控信息的重復監控信息。

【技術特征摘要】

【專利技術屬性】
技術研發人員：王帥，彭毅，陳健，
申請(專利權)人：北京搜狐新媒體信息技術有限公司，
類型：發明
國別省市：