一種數據質量稽查平臺制造技術

本發明專利技術公開了一種數據質量稽查平臺，包括處理器、數據源存儲服務器以及遠程服務器，所述處理器包括規則錄入模塊、任務管理模塊以及存儲器，所述存儲器存儲計算機程序，所述處理器調取存儲器中存儲的計算機程序執行以下過程：步驟S1、根據需求通過所述規則錄入模塊錄入數據稽查規則，并將所述數據稽查規則存儲到遠程服務器中；步驟S2、按照規則組合通過任務管理模塊創建稽查任務，所述稽查任務包括單次稽查任務以及周期性稽查任務；步驟S3、根據所述稽查任務對數據源存儲服務器中存儲的數據源逐一稽查，并將問題數據存儲至遠程服務器中；本發明專利技術具有小保證數據的一致性、完整性和準確性，并有效提高了數據稽查的效率。并有效提高了數據稽查的效率。并有效提高了數據稽查的效率。

【技術實現步驟摘要】
一種數據質量稽查平臺


[0001]本專利技術屬于數據稽查管控
，具體為一種數據質量稽查平臺。

技術介紹

[0002]當前，以大數據、云計算、移動互聯網等為代表的新一輪科技革命席卷全球，正在構筑信息互通、資源共享、能力協同、開放合作的制造業新體系，極大地擴展了制造業創新與發展空間。新一代信息通信技術的發展驅動制造業邁向轉型級的新階段，即數據驅動的新階段，這是新的技術條件下制造業生產全流程、全產業鏈、產品全生命周期的數據可獲取、可分析、可執行的必然結果，也是隱性知識顯性化不斷取得突破的內在要求。
[0003]現有技術在解決電廠的數據問題時，提出許多的數據集成平臺。該數據集成平臺針對大數據類型多，數據量大，多數提供了多種格式的數據采集能力，進行數據的實時采集、實時處理，具有實時性要求高等特點。但其也存在如下的問題：數據采集后直接進行處理，不能保證采集數據的準確性與有效性，這是由于采集的數據中可能存在許多異常數據，將異常數據進行計算，勢必會導致處理結果的不準確。同時，異常數據不及時查出，也會難以發現電廠中存在的問題。
[0004]針對上述技術問題，申請公布號為CN112508433A的中國專利技術專利申請，公開了一種運維系統的數據稽查方法及裝置，該中國專利技術專利通過獲取待稽查數據，將其存儲在數據表中；配制待稽查數據表的稽查屬性，根據稽查屬性對待稽查數據表中數據進行稽查，根據稽查結果將異常數據進行報警；該專利技術專利提供的技術方案能夠及時的監控分析數據質量問題，提升企業數據質量；但是，該數據稽查方法稽查范圍比較局限，不能全面的有效的對數據質量進行高效、準確的稽查。

技術實現思路

[0005]針對現有技術的不足，本專利技術提供了一種數據質量稽查平臺，解決了上述
技術介紹
中提出的問題。
[0006]本專利技術技術方案如下：
[0007]一種數據質量稽查平臺，包括處理器、數據源存儲服務器以及遠程服務器，所述處理器包括規則錄入模塊、任務管理模塊以及存儲器，所述存儲器存儲計算機程序，所述處理器調取存儲器中存儲的計算機程序執行以下過程：
[0008]步驟S1、根據需求通過所述規則錄入模塊錄入數據稽查規則，并將所述數據稽查規則存儲到遠程服務器中；
[0009]步驟S2、按照規則組合通過任務管理模塊創建稽查任務，所述稽查任務包括單次稽查任務以及周期性稽查任務；
[0010]步驟S3、根據所述稽查任務對數據源存儲服務器中存儲的數據源逐一稽查，并將問題數據存儲至遠程服務器中。
[0011]進一步，所述數據稽查規則為SQL語句。
[0012]進一步，所述步驟S2中的單次稽查任務由人工選擇性執行，所述周期性稽查任務為依據設定的稽查間期自動執行的定期稽查任務。
[0013]進一步，所述步驟S3的過程如下：
[0014]步驟S41、調取所述數據源服務器中的數據源，逐一與標準數據進行比對；
[0015]步驟S42、執行步驟S41后，如果當前數據源與任一標準數據一致，則調取數據源服務器中的其它任一數據源重復步驟S41，否則，執行步驟S43；
[0016]步驟S43、執行步驟S41后，如果當前數據源與每一標準數據均不一致，則將該數據源定義為問題數據，并同步將該問題數據存儲至遠程服務器中；
[0017]步驟S44、執行步驟S43后，循環執行步驟S41
?
S43，直至將數據源服務器中的所有數據全部稽查完畢；
[0018]步驟S45、執行步驟S44后，人員調取遠程服務器中的問題數據進行整改。
[0019]進一步，在執行完步驟S44后，還包括創建任務工單的步驟，待數據源服務器中的所有數據源全部完成稽查后，處理器自動針對問題數據生成任務工單，將所有的問題數據匯總為問題任務工單，并將所述任務工單派發給對應的負責人員。
[0020]進一步，執行所述步驟S41時，將當前數據源的特征與每一標準數據的特征進行比對，所述特征至少包括數據的名稱、數據的位置、數據的類型、數據的賬戶以及數據的密碼。
[0021]進一步，執行所述步驟S41時，還包括對當前數據源的特征數量、特征的類目和特征排列規則的比對。
[0022]進一步，執行所述步驟S41時的具體過程為：
[0023]步驟S81、調取所述數據源服務器中的任一數據源，并識別出當前數據源的特征；
[0024]步驟S82、將步驟S81中獲得的當前數據特征的特征數量、特征類目以及特征排列規則規與標準數據特征的特征數量、特征類目以及特征排列規則進行逐一比對；
[0025]步驟S83、完成步驟S82后，如果當前數據特征的特征數量、特征類目以及特征排列規則規與標準數據特征的特征數量、特征類目以及特征排列規則不一致，則終止稽查當前數據；如果特征數量、特征類目以及特征排列規則規與標準數據特征的特征數量、特征類目以及特征排列規則一致，則執行步驟S84；
[0026]步驟S84、將當前數據源的數據特征逐一與標準數據的數據特征進行逐一比對。
[0027]進一步，還包括建立標準數據源數據庫：
[0028]構建標準數據集合，作為標準數據源的存儲集合；
[0029]構建標準數據子集，針對不同的數據類型構建各自獨立的標準數據子集，并將所有的數據子集存儲到標準數集合中；
[0030]構建所述標準數據子集的數據標識，利用數據的特征作為標準數據子集的數據標識，并存儲到對應的標準數據子集的數據標識列表中。
[0031]有益效果
[0032]相對于現有技術，本專利技術提供的數據質量稽查平臺，具備以下有益效果：
[0033]本專利技術按照特定的規則組合對數據進行單次或者周期性稽查，并將問題數據進行匯總，以便于根據問題數據稽查情況生成整改工單，從而有效的保證數據的一致性、完整性和準確性；并且本專利技術對于數據的特征按照特定的規則進行排列，采用統一的規則進行存儲，從而有效的提高數據稽查過程的效率。
附圖說明
[0034]圖1為本專利技術的架構圖。
具體實施方式
[0035]下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。
[0036]如圖1所示，一種數據質量稽查平臺，包括處理器、數據源存儲服務器以及遠程服務器，所述處理器包括規則錄入模塊、任務管理模塊以及存儲器，所述存儲器存儲計算機程序，所述處理器調取存儲器中存儲的計算機程序執行以下過程：
[0037]步驟S1、根據需求通過所述規則錄入模塊錄入數據稽查規則，并將所述數據稽查規則存儲到遠程服務器中；
[0038]步驟S2、按照規則組合通過任務管理模塊創建稽查任務，所述稽查任務包括單次稽查任務以及周期性稽查任務；
[0039]步驟S3、根據所述稽查任務對數據源存儲服務器中存儲的數據源逐一稽查，并將問題數據存儲至遠程服務器中。
[0040]本專利技術中，所述數據稽查規則為本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種數據質量稽查平臺，其特征在于，包括處理器、數據源存儲服務器以及遠程服務器，所述處理器包括規則錄入模塊、任務管理模塊以及存儲器，所述存儲器存儲計算機程序，所述處理器調取存儲器中存儲的計算機程序執行以下過程：步驟S1、根據需求通過所述規則錄入模塊錄入數據稽查規則，并將所述數據稽查規則存儲到遠程服務器中；步驟S2、按照規則組合通過任務管理模塊創建稽查任務，所述稽查任務包括單次稽查任務以及周期性稽查任務；步驟S3、根據所述稽查任務對數據源存儲服務器中存儲的數據源逐一稽查，并將問題數據存儲至遠程服務器中。2.根據權利要求1所述數據質量稽查平臺，其特征在于：所述數據稽查規則為SQL語句。3.根據權利要求1所述數據質量稽查平臺，其特征在于，所述步驟S2中的單次稽查任務由人工選擇性執行，所述周期性稽查任務為依據設定的稽查間期自動執行的定期稽查任務。4.根據權利要求1所述數據質量稽查平臺，其特征在于，所述步驟S3的過程如下：步驟S41、調取所述數據源服務器中的數據源，逐一與標準數據進行比對；步驟S42、執行步驟S41后，如果當前數據源與任一標準數據一致，則調取數據源服務器中的其它任一數據源重復步驟S41，否則，執行步驟S43；步驟S43、執行步驟S41后，如果當前數據源與每一標準數據均不一致，則將該數據源定義為問題數據，并同步將該問題數據存儲至遠程服務器中；步驟S44、執行步驟S43后，循環執行步驟S41
?
S43，直至將數據源服務器中的所有數據全部稽查完畢；步驟S45、執行步驟S44后，人員調取遠程服務器中的問題數據進行整改。5.根據權利要求4所述數據質量稽查平臺，其特征在于：在執行完步驟S44后，還包括創建任務工單的步驟，待數據源服務器中的所有數...

【專利技術屬性】
技術研發人員：袁利紅，赫博浩，鄧昭昭，焦曉林，李靜玉，張雪峰，王濤，劉馥泰，梁冰，
申請(專利權)人：河南飆風信息科技有限公司，
類型：發明
國別省市：