一種數(shù)據(jù)管理方法及系統(tǒng)、數(shù)據(jù)分析裝置制造方法及圖紙

本發(fā)明專利技術(shù)公開了一種數(shù)據(jù)管理方法及系統(tǒng)、數(shù)據(jù)分析裝置。其中該方法包括：采集應(yīng)用程序執(zhí)行過的SQL語句，并進行持久化存儲；分解所述SQL語句，得到所述SQL語句的訪問對象；記錄在預(yù)設(shè)時間內(nèi)各個訪問對象的被訪問次數(shù)；根據(jù)被訪問次數(shù)閾值提取相應(yīng)的訪問對象作為熱點數(shù)據(jù)。本發(fā)明專利技術(shù)通過對應(yīng)用程序執(zhí)行過的SQL語句進行分析，獲得SQL語句訪問對象的被訪問次數(shù)，從而獲得熱點數(shù)據(jù)。通過在數(shù)據(jù)應(yīng)用層面發(fā)現(xiàn)熱點數(shù)據(jù)，準確地體現(xiàn)邏輯層面的對象(如表、索引等)的使用情況，進而可以準確地對熱點數(shù)據(jù)進行管理，減少系統(tǒng)處理響應(yīng)時間，提高系統(tǒng)處理相應(yīng)速度，減少高端存儲設(shè)備的需求，降低海量數(shù)據(jù)管理成本。

【技術(shù)實現(xiàn)步驟摘要】
一種數(shù)據(jù)管理方法及系統(tǒng)、數(shù)據(jù)分析裝置
本專利技術(shù)涉及一種數(shù)據(jù)管理技術(shù)，尤其涉及一種數(shù)據(jù)管理方法及系統(tǒng)、數(shù)據(jù)分析裝置。
技術(shù)介紹
隨著我國電信行業(yè)的高速發(fā)展，特別是移動通信用戶和寬帶用戶的不斷增長，各家電信運營商存儲和管理著各種各樣的海量的數(shù)據(jù)。數(shù)據(jù)生命周期管理是解決海量數(shù)據(jù)管理的有效途徑。由于傳統(tǒng)的數(shù)據(jù)生命周期管理在定義數(shù)據(jù)生命時僅僅依據(jù)時間維度，具體的，就是將數(shù)據(jù)的生命周期管理簡單的按照時間先后來進行，諸如賬單、詳單、交易記錄等具有時間標簽的對象，按照時間先后分別進行備份、歸檔、歷史數(shù)據(jù)遷移等具體操作。現(xiàn)有的按照時間維度實現(xiàn)數(shù)據(jù)生命周期管理的方法存在以下缺陷：1、適用性差按照時間維度對數(shù)據(jù)進行管理的前提是數(shù)據(jù)具備如賬單、交易紀律等有時間標簽，對于那些本身無時間標簽的數(shù)據(jù)，就無法按照傳統(tǒng)方法進行生命周期管理。對于這些自身無時間標簽的數(shù)據(jù)目前沒有辦法進行處理，只能像堆柴火一樣存儲在線存儲中，日積月累的簡單堆放，即占用了寶貴的在線高端存儲資源，同時對于數(shù)據(jù)管理軟件，如數(shù)據(jù)庫等的日常運行造成很大的壓力。這些隨意存放的數(shù)據(jù)沒有人能說清楚到底是否在用、到底能不能進行備份、歸檔和刪除的維護操作。2、系統(tǒng)處理響應(yīng)時間長，速度慢按照時間維度進行了生命周期管理的數(shù)據(jù)何時要被再次使用到或者何時需要在線訪問都是不可知的。系統(tǒng)所需調(diào)用的數(shù)據(jù)可能存儲在不同級別的存儲資源上，系統(tǒng)調(diào)用數(shù)據(jù)速度慢，花費的響應(yīng)時間較長。3、需要大量高端存儲設(shè)備，成本高為了降低系統(tǒng)的處理響應(yīng)時間，需要將大量的數(shù)據(jù)存儲到在線高端存儲設(shè)備上，對在線高端存儲設(shè)備的存儲空間要求較大，使得管理海量數(shù)據(jù)的成本大大增加。
技術(shù)實現(xiàn)思路
本專利技術(shù)的目的在于，提供一種數(shù)據(jù)管理方法及系統(tǒng)、數(shù)據(jù)分析裝置，準確發(fā)現(xiàn)系統(tǒng)中使用頻率較高的熱點數(shù)據(jù)。為實現(xiàn)上述目的，根據(jù)本專利技術(shù)的一個方面，提供一種數(shù)據(jù)管理方法，包括：采集應(yīng)用程序執(zhí)行過的SQL語句，并進行持久化存儲；分解所述SQL語句，得到所述SQL語句的訪問對象；記錄在預(yù)設(shè)時間內(nèi)各個訪問對象的被訪問次數(shù)；根據(jù)被訪問次數(shù)閾值提取相應(yīng)的訪問對象作為熱點數(shù)據(jù)。另外，所述分解所述SQL語句后還包括：存儲分解得到的所述SQL語句的各要素，包括：Dbname、快照序號、語句類型和訪問對象。優(yōu)選地，該方法還包括：根據(jù)預(yù)設(shè)的多個訪問次數(shù)閾值將所述訪問對象劃分為五檔：很熱、熱、溫、涼、冷。更優(yōu)地，該方法還包括：根據(jù)訪問對象的被訪問次數(shù)形成數(shù)據(jù)使用溫度圖譜，數(shù)據(jù)使用溫度圖譜中利用不同顏色或顏色的深淺體現(xiàn)訪問對象的被訪問次數(shù)的區(qū)別。更優(yōu)地，該方法還包括：記錄所述訪問對象的被訪問時間、被訪問次數(shù)及對象名稱；計算每個周期內(nèi)所述訪問對象的平均被訪問次數(shù)；根據(jù)所述每個周期內(nèi)訪問對象的平均被訪問次數(shù)，預(yù)測未來周期內(nèi)熱點數(shù)據(jù)出現(xiàn)的位置。該方法還包括分別對不同檔的訪問對象進行相應(yīng)的處理，包括：對于很熱的訪問對象，存儲到固態(tài)硬盤或者cache在內(nèi)存中；對于熱的訪問對象，進行在線高端存儲；對于溫的訪問對象，進行在線中低端存儲；對于涼的訪問對象，進行數(shù)據(jù)歸檔；對于冷的訪問對象，遷移歷史庫或離線存放。在所述分解存儲的SQL語句的操作之前還包括：對所述SQL語句進行錯誤語句過濾。為實現(xiàn)上述目的，根據(jù)本專利技術(shù)的另一個方面，提供一種數(shù)據(jù)分析裝置，包括：分解模塊，用于分解SQL語句，得到所述SQL語句的訪問對象；記錄模塊，用于記錄在預(yù)設(shè)時間內(nèi)各個訪問對象的被訪問次數(shù)；提取模塊，用于根據(jù)被訪問次數(shù)閾值提取相應(yīng)的訪問對象作為熱點數(shù)據(jù)。另外，該裝置還包括：劃分模塊，用于根據(jù)預(yù)設(shè)的多個訪問次數(shù)閾值將所述訪問對象劃分為五檔：很熱、熱、溫、涼、冷。優(yōu)選地，該裝置還包括：圖譜生成模塊，用于根據(jù)訪問對象的被訪問次數(shù)形成數(shù)據(jù)使用溫度圖譜，數(shù)據(jù)使用溫度圖譜中利用不同顏色或顏色的深淺體現(xiàn)訪問對象的被訪問次數(shù)的區(qū)別。更優(yōu)地，該裝置還包括：計算模塊和預(yù)測模塊，其中，所述記錄模塊，記錄各個訪問對象的被訪問時間、被訪問次數(shù)及對象名稱；所述計算模塊，用于計算每個周期內(nèi)所述訪問對象的平均被訪問次數(shù)；所述預(yù)測模塊，用于根據(jù)所述每個周期內(nèi)訪問對象的平均被訪問次數(shù)，預(yù)測未來周期內(nèi)熱點數(shù)據(jù)出現(xiàn)的位置。更優(yōu)地，該裝置還包括：過濾模塊，用于在分解SQL語句之前，對所述SQL語句進行錯誤語句過濾。為實現(xiàn)上述目的，根據(jù)本專利技術(shù)的另一個方面，提供一種數(shù)據(jù)管理系統(tǒng)，包括：采集裝置，用于采集應(yīng)用程序執(zhí)行過的SQL語句；持久化存儲裝置，用于對所述SQL語句進行持久化存儲；數(shù)據(jù)分析裝置，用于分解所述SQL語句，得到所述SQL語句的訪問對象；記錄在預(yù)設(shè)時間內(nèi)各個訪問對象的被訪問次數(shù)；根據(jù)被訪問次數(shù)閾值提取相應(yīng)的訪問對象作為熱點數(shù)據(jù)。該系統(tǒng)還包括：數(shù)據(jù)處理裝置，其中，數(shù)據(jù)分析裝置，進一步根據(jù)預(yù)設(shè)的多個訪問次數(shù)閾值將所述訪問對象劃分為五檔：很熱、熱、溫、涼、冷；數(shù)據(jù)處理裝置，分別對不同檔的訪問對象進行相應(yīng)的處理：對于很熱的訪問對象，存儲到固態(tài)硬盤或者cache在內(nèi)存中；對于熱的訪問對象，進行在線高端存儲；對于溫的訪問對象，進行在線中低端存儲；對于涼的訪問對象，進行數(shù)據(jù)歸檔；對于冷的訪問對象，遷移歷史庫或離線存放。本專利技術(shù)的數(shù)據(jù)管理方法及系統(tǒng)、數(shù)據(jù)分析裝置，通過對應(yīng)用程序執(zhí)行過的SQL語句進行分析，獲得SQL語句訪問對象的被訪問次數(shù)，從而獲得熱點數(shù)據(jù)。通過在數(shù)據(jù)應(yīng)用層面發(fā)現(xiàn)熱點數(shù)據(jù)，準確地體現(xiàn)邏輯層面的對象(如表、索引等)的使用情況，進而可以準確地對熱點數(shù)據(jù)進行管理，減少系統(tǒng)處理響應(yīng)時間，提高系統(tǒng)處理相應(yīng)速度，減少高端存儲設(shè)備的需求，降低海量數(shù)據(jù)管理成本。附圖說明圖1是本專利技術(shù)數(shù)據(jù)管理方法實施例的流程圖；圖2是本專利技術(shù)“數(shù)據(jù)使用溫度圖譜”的示意圖；圖3是本專利技術(shù)熱點數(shù)據(jù)預(yù)測實施例的流程圖；圖4是本專利技術(shù)數(shù)據(jù)分析裝置實施例的結(jié)構(gòu)圖；圖5是本專利技術(shù)數(shù)據(jù)管理系統(tǒng)實施例的結(jié)構(gòu)圖。具體實施方式熱點數(shù)據(jù)是經(jīng)常被用到的數(shù)據(jù)。數(shù)據(jù)只有被使用的時候才能體現(xiàn)其價值。在一定時間內(nèi)數(shù)據(jù)被使用的次數(shù)能直接體現(xiàn)數(shù)據(jù)“冷”“熱”程度。一定時間范圍內(nèi)的熱點數(shù)據(jù)是系統(tǒng)中最有價值的數(shù)據(jù)，是系統(tǒng)中生命力最旺盛的數(shù)據(jù)。在存儲硬件設(shè)備層面，目前已經(jīng)有成熟的熱點數(shù)據(jù)發(fā)現(xiàn)技術(shù)，但是這種技術(shù)是基于存儲設(shè)備的磁盤層面的，無法體現(xiàn)邏輯層面的對象(如表、索引等)的“冷熱”程度，具有一定的局限性。數(shù)據(jù)最終是被應(yīng)用程序使用的，應(yīng)用程序使用SQL語言來進行數(shù)據(jù)的訪問，為此，可以通過記錄分析一定時間內(nèi)數(shù)據(jù)庫層執(zhí)行的應(yīng)用SQL中訪問到的數(shù)據(jù)對象來間接找到數(shù)據(jù)庫中的熱點對象。以下結(jié)合附圖對本專利技術(shù)進行詳細說明。方法實施例如圖1所示，本專利技術(shù)數(shù)據(jù)管理方法實施例的具體流程如下：S102，采集應(yīng)用程序執(zhí)行過的SQL語句；S104，對采集的SQL語句進行持久化存儲；數(shù)據(jù)庫對于應(yīng)用程序執(zhí)行的SQL是記錄在內(nèi)存中的，每次數(shù)據(jù)庫重啟后所有重啟前的SQL都是無法查到的。為了能全面分析執(zhí)行過的SQL語句，需要實時將這些內(nèi)存中記錄的SQL語句進行持久化存儲，如寫入磁盤中，保存到現(xiàn)有的數(shù)據(jù)庫中。S106，分解SQL語句，得到SQL語句的訪問對象；分解SQL語句得到的各要素至少包括：Dbname、快照序號、語句類型和訪問對象。還可以包括Where條件、索引名稱、執(zhí)行計劃等信息。將SQL語句的各要素作為一個字段保存，存儲SQL的表結(jié)構(gòu)如下：Dbname快照本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種數(shù)據(jù)管理方法，其特征在于，包括：采集應(yīng)用程序執(zhí)行過的SQL語句，并進行持久化存儲；分解所述SQL語句，得到所述SQL語句的訪問對象；記錄在預(yù)設(shè)時間內(nèi)各個訪問對象的被訪問次數(shù)；根據(jù)被訪問次數(shù)閾值提取相應(yīng)的訪問對象作為熱點數(shù)據(jù)。

【技術(shù)特征摘要】
1.一種數(shù)據(jù)管理方法，其特征在于，包括：采集應(yīng)用程序執(zhí)行過的SQL語句，并進行持久化存儲；分解所述SQL語句，得到所述SQL語句的訪問對象；記錄在預(yù)設(shè)時間內(nèi)各個訪問對象的被訪問次數(shù)；根據(jù)被訪問次數(shù)閾值提取相應(yīng)的訪問對象作為熱點數(shù)據(jù)；還包括：記錄所述訪問對象的被訪問時間、被訪問次數(shù)及對象名稱；計算每個周期內(nèi)所述訪問對象的平均被訪問次數(shù)；根據(jù)所述每個周期內(nèi)訪問對象的平均被訪問次數(shù)，預(yù)測未來周期內(nèi)熱點數(shù)據(jù)出現(xiàn)的位置。2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)管理方法，其特征在于，所述分解所述SQL語句后還包括：存儲分解得到的所述SQL語句的各要素，至少包括：Dbname、快照序號、語句類型和訪問對象。3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)管理方法，其特征在于，還包括：根據(jù)預(yù)設(shè)的多個訪問次數(shù)閾值將所述訪問對象劃分為五檔：很熱、熱、溫、涼、冷。4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)管理方法，其特征在于，還包括：根據(jù)訪問對象的被訪問次數(shù)形成數(shù)據(jù)使用溫度圖譜，數(shù)據(jù)使用溫度圖譜中利用不同顏色或顏色的深淺體現(xiàn)訪問對象的被訪問次數(shù)的區(qū)別。5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)管理方法，其特征在于，還包括：分別對不同檔的訪問對象進行相應(yīng)的處理，包括：對于很熱的訪問對象，存儲到固態(tài)硬盤或者cache在內(nèi)存中；對于熱的訪問對象，進行在線高端存儲；對于溫的訪問對象，進行在線中低端存儲；對于涼的訪問對象，進行數(shù)據(jù)歸檔；對于冷的訪問對象，遷移歷史庫或離線存放。6.根據(jù)權(quán)利要求3所述的數(shù)據(jù)管理方法，其特征在于，所述分解存儲的SQL語句的操作之前還包括：對所述SQL語句進行錯誤語句過濾。7.一種數(shù)據(jù)分析裝置，其特征在于，包括：分解模塊，用于分解SQL語句，得到所述SQL語句的訪問對象；記錄模塊，用于記錄在預(yù)設(shè)時間內(nèi)各個訪問對象的被訪問次數(shù)；提取模塊，用于根據(jù)被訪問次數(shù)閾值提取相應(yīng)的訪問對象作為熱點數(shù)據(jù)；還包括：計算模塊和預(yù)測模塊，其中，所述記錄模塊，記...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李吉元，
申請(專利權(quán))人：中國移動通信集團甘肅有限公司，
類型：發(fā)明
國別省市：