單據數據質量檢測方法、系統、設備及計算機可讀介質技術方案

本申請公開了一種單據數據質量檢測方法、系統、設備及計算機可讀介質，該方法包括：根據輸入的數據檢測條件構造數據檢索條件，輸出檢索的條件范圍；根據所述檢索的條件范圍，確定待巡檢的業務數據及數據異常的判定條件，輸出帶有檢驗標準和檢驗范圍的巡檢項目；基于所述巡檢項目構造巡檢模型，包括構造數據間的數據血緣關系，輸出由巡檢模型控制的巡檢項目；利用由巡檢模型控制的巡檢項目構造巡檢計劃，基于所述巡檢計劃對業務數據進行質量檢測。本申請基于數據血緣關系構建巡檢任務，方便用戶及時檢測業務數據質量，并能對檢測出的數據進行修復，不僅可擴展性強，同時降低了維護和運營成本。成本。成本。

【技術實現步驟摘要】
單據數據質量檢測方法、系統、設備及計算機可讀介質


[0001]本申請涉及數據管理
，尤其涉及一種單據數據質量檢測方法、系統、設備及計算機可讀介質。

技術介紹

[0002]隨著企業業務的發展，數據質量成為企業信息系統穩定運行的壁壘，該壁壘發現難，且容易造成嚴重數據質量事故，輕則影響企業正常生產業務執行，重則錯誤數據造成企業重大經濟損失。因此，如何保證企業數據資產的質量是業務數據管理工作中的重要一環。
[0003]目前，企業使用的系統中，主要是靠業務單據界面的校驗邏輯以及人為手工認定保證數據的質量，而系統中往往供應鏈業務流程長、場景多、單據間的反寫數據復雜，若僅依賴人工檢測數據質量，顯然要耗費大量人力物力，不僅檢測周期長，且會因為質檢員工作經驗的差異影響檢測結果的準確性。另外，一旦出現質量問題，則需要手動寫入SQL腳本在數據庫層面，查詢分析數據；然而現在的信息化系統，業務數據中大量數據在數據庫存儲的是業務數據的關系ID或者基礎數據的ID，使用SQL腳本查詢數據無法直觀的識別業務數據，以對數據質量進行判定或對問題數據進行定位，因此單據數據質量檢測工作開展難度大，也容易造成數據質量事故。

技術實現思路

[0004]本申請的目的在于提供一種單據數據質量檢測方法、系統、設備及計算機可讀介質，至少解決現有的業務單據數據質量檢測方法中存在的開展難度大、耗費周期長、檢測效果不理想等技術問題之一。
[0005]為實現上述目的，第一方面，本申請提供一種單據數據質量檢測方法，包括：
[0006]根據輸入的數據檢測條件構造數據檢索條件，輸出檢索的條件范圍；
[0007]根據所述檢索的條件范圍，確定待巡檢的業務數據及數據異常的判定條件，輸出帶有檢驗標準和檢驗范圍的巡檢項目；
[0008]基于所述巡檢項目構造巡檢模型，包括構造數據間的數據血緣關系，輸出由巡檢模型控制的巡檢項目；
[0009]利用由巡檢模型控制的巡檢項目構造巡檢計劃，基于所述巡檢計劃對業務數據進行質量檢測。
[0010]在第一方面的一些實現方式中，構造巡檢模型的過程還包括構造巡檢線程池；所述構造巡檢線程池，包括：
[0011]采用主線程批處理和固定線程數字的線程池資源構造線程池資源；
[0012]封裝執行目標至線程池以進行多線程控制，所述多線程包括主線程和多個子線程；其中，所述主線程根據配置指定每個所述子線程的執行時間以及超時后的處理機制。
[0013]在第一方面的一些實現方式中，在所述構造巡檢線程池之后，還包括：
[0014]對線程池的線程數量、線程資源、CPU資源和內存資源進行分配；
[0015]設置線程死鎖時效、死鎖超時提醒以及死鎖后的自動處理功能。
[0016]在第一方面的一些實現方式中，所述數據血緣關系通過血緣代際圖譜模型來表示；所述構造數據間的數據血緣關系，輸出由巡檢模型控制的巡檢項目，包括：
[0017]通過單據間具有血緣關系的數據，構建單據的血緣代際圖譜模型；其中，
[0018]所述具有血緣關系的數據包括代表族類數據和血緣類數據；所述代表族類數據包括核心單據的數據，所述核心單據的數據被業務流程中的每個單據攜帶；所述血緣類數據包括來源單據的數據，所述來源單據用于表示所述業務流程中當前業務的上游業務；
[0019]基于所述血緣代際圖譜模型，建立數據質量檢測標準，以輸出帶有檢驗標準和檢驗范圍的巡檢項目。
[0020]在第一方面的一些實現方式中，所述利用由巡檢模型控制的巡檢項目構造巡檢計劃，包括：
[0021]確定執行時間范圍和檢測數據量閾值，根據所述巡檢項目、所述執行時間范圍和所述檢測數據量閾值構造具有數據血緣關系的巡檢計劃。
[0022]在第一方面的一些實現方式中，所述基于所述巡檢計劃對業務數據進行質量檢測，包括：
[0023]基于所述巡檢計劃，通過定時執行或手動執行方式，確定巡檢任務；
[0024]將檢測條件下的巡檢數據量作為約束，執行所述巡檢任務，生成巡檢結果。
[0025]在第一方面的一些實現方式中，在所述生成巡檢結果之后，還包括：
[0026]若巡檢結果為合格數據，則直接輸出并顯示；
[0027]若巡檢結果為異常數據，根據數據血緣關系和數據標準規則，修復異常數據。
[0028]在第一方面的一些實現方式中，所述的單據數據質量檢測方法，還包括：
[0029]對巡檢任務進行巡檢監控，對任務執行情況進行可視化展示，并生成對應的巡檢日志；其中，所述任務執行情況包括運行中、已終止、已完成及異常。
[0030]第二方面，本申請還提供一種單據數據質量檢測系統，包括：
[0031]檢索條件構建單元，用于根據輸入的數據檢測條件構造數據檢索條件，輸出檢索的條件范圍；
[0032]巡檢項目確定單元，用于根據所述檢索的條件范圍，確定待巡檢的業務數據及數據異常的判定條件，輸出帶有檢驗標準和檢驗范圍的巡檢項目；
[0033]巡檢模型構造單元，用于基于所述巡檢項目構造巡檢模型，包括構造數據間的數據血緣關系，輸出由巡檢模型控制的巡檢項目；
[0034]質量檢測單元，用于利用由巡檢模型控制的巡檢項目構造巡檢計劃，基于所述巡檢計劃對業務數據進行質量檢測。
[0035]第三方面，本申請還提供一種計算機設備，包括處理器和存儲器，所述存儲器用于存儲計算機程序，所述計算機程序被所述處理器執行時實現如第一方面所述的單據數據質量檢測方法。
[0036]第四方面，本申請還提供一種計算機可讀存儲介質，其存儲有計算機程序，所述計算機程序被處理器執行時實現如第一方面所述的單據數據質量檢測方法。
[0037]第五方面，本申請還提供一種計算機程序產品，當計算機程序產品在設備上運行時，使得計算機設備執行時實現如第一方面的所述的單據數據質量檢測方法。
[0038]相對于現有技術，本申請的有益效果在于：
[0039]1)本申請通過將數據血緣關系模型化，實現數據產生的途徑、來源、過程，以及對數據處理、加工、融合、流轉分析中數據血緣關系抽象，方便用戶及時檢測信息系統的數據質量。這種模型化的方式，實現數據血緣關系的抽象可配置；能夠對檢測數據進行校驗和修復，并對檢驗條件、檢測結果和修復處理結果進行檢測。
[0040]2)本申請構建了具有數據血緣關系的檢測項目，不僅可擴展能力強，也提高了檢測系統的適用性和穩定性，降低了維護和運營成本。
附圖說明
[0041]為了更清楚地說明本申請的技術方案，下面將對實施方式中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施方式，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0042]圖1是本申請某一實施例提供的單據數據質量檢測方法的流程示意圖；
[0043]圖2是本申請某一實施例提供的可配置數據質量巡檢裝置的結構示本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種單據數據質量檢測方法，其特征在于，包括：根據輸入的數據檢測條件構造數據檢索條件，輸出檢索的條件范圍；根據所述檢索的條件范圍，確定待巡檢的業務數據及數據異常的判定條件，輸出帶有檢驗標準和檢驗范圍的巡檢項目；基于所述巡檢項目構造巡檢模型，包括構造數據間的數據血緣關系，輸出由巡檢模型控制的巡檢項目；利用由巡檢模型控制的巡檢項目構造巡檢計劃，基于所述巡檢計劃對業務數據進行質量檢測。2.根據權利要求1所述的單據數據質量檢測方法，其特征在于，構造巡檢模型的過程還包括構造巡檢線程池；所述構造巡檢線程池，包括：采用主線程批處理和固定線程數字的線程池資源構造線程池資源；封裝執行目標至線程池以進行多線程控制，所述多線程包括主線程和多個子線程；其中，所述主線程根據配置指定每個所述子線程的執行時間以及超時后的處理機制。3.根據權利要求2所述的單據數據質量檢測方法，其特征在于，在所述構造巡檢線程池之后，還包括：對線程池的線程數量、線程資源、CPU資源和內存資源進行分配；設置線程死鎖時效、死鎖超時提醒以及死鎖后的自動處理功能。4.根據權利要求1所述的單據數據質量檢測方法，其特征在于，所述數據血緣關系通過血緣代際圖譜模型來表示；所述構造數據間的數據血緣關系，輸出由巡檢模型控制的巡檢項目，包括：通過單據間具有血緣關系的數據，構建單據的血緣代際圖譜模型；其中，所述具有血緣關系的數據包括代表族類數據和血緣類數據；所述代表族類數據包括核心單據的數據，所述核心單據的數據被業務流程中的每個單據攜帶；所述血緣類數據包括來源單據的數據，所述來源單據用于表示所述業務流程中當前業務的上游業務；基于所述血緣代際圖譜模型，建立數據質量檢測標準，以輸出帶有檢驗標準和檢驗范圍的巡檢項目。5.根據權利要求1所述的單據數據質量檢測方法，其特征在于，所述利用由巡檢模型控制的巡檢項目構造巡檢計劃，...

【專利技術屬性】
技術研發人員：李紅兵，陳紀東，趙現偉，張娜，劉新，
申請(專利權)人：金蝶軟件中國有限公司，
類型：發明
國別省市：