【技術實現步驟摘要】
本申請涉及大數據領域，尤其涉及一種數據表清理方法、裝置、設備、存儲介質及程序產品。
技術介紹
1、隨著監管部門相關數據安全、信息保護規范要求的出臺，明確對于某些滿足清理條件的數據必須及時進行清理，若數據未及時清理，則存在被監管部門處罰的風險。需要清理的數據中就包含復雜清理數據表。
2、復雜清理數據表是指不能根據單表的狀態標志來判斷是否具備清理條件，需要判斷多個字段，關聯多個表才能進行數據清理的數據表。在實際操作中，對應復雜清理數據表，因為無法定位需要關聯哪些數據表進行清理，為了避免數據誤刪除往往對數據進行冗余存儲，或者，依靠開發人員的經驗判斷需要關聯的數據表，該需要關聯的數據表中存在清理需要的字段信息，再通過上下游開發人員之間的溝通明確復雜清理數據表的數據清理邏輯，從而執行數據清理。
3、上述對復雜清理數據表的清理需要依靠開發人員的經驗，通過上下游開發人員溝通明確清理邏輯，則會存在數據清理效率較低，人力資源投入較多的問題。
技術實現思路
1、本專利技術提供一種數據表清理方法、裝置、設備、存儲介質及程序產品，用以解決現有技術中存在的數據清理效率較低，人力資源投入較多的問題。
2、第一方面，本專利技術提供一種數據表清理方法，所述方法包括：
3、對各個目標清理要求進行分詞處理，獲取各個分詞處理結果；所述目標清理要求為目標復雜清理數據表對應的清理要求；所述分詞處理結果中包含清理字段；
4、針對每一清理字段，確定包含所述清理字段的第
5、根據所述第二數據表中的所述清理字段和所述分詞處理結果生成清理sql語句，根據所述清理sql語句對所述目標復雜清理數據表進行清理。
6、可選的，確定包含所述清理字段的第一數據表，包括：
7、在元數據管理系統中檢索包含所述清理字段的第一數據表；所述元數據管理系統中記錄有各個數據表分別對應的字段信息。
8、可選的，所述元數據管理系統中還記錄有各個數據表分別對應的加工sql語句；所述加工sql語句用于表示所述數據表的加工過程；從所述第一數據表中篩選第二數據表，包括：
9、針對每一所述第一數據表，對所述加工sql語句進行血緣分析以獲取血緣分析結果；所述血緣分析結果包括所述清理字段的來源表；
10、根據各個第一數據表的血緣分析結果確定所述清理字段的來源表為自身的所述第二數據表；每一清理字段對應至少一個所述第二數據表。
11、可選的，根據所述第二數據表中的所述清理字段和所述分詞處理結果生成清理sql語句，包括：
12、生成清理參數表；所述清理參數表中包括所述目標復雜清理數據表、所述分詞處理結果、第二數據表和目標字段的名稱；所述目標字段的名稱為所述第二數據表中與所述清理字段對應的字段名稱；
13、將賬戶id字段確定為關聯字段；
14、根據所述關聯字段和所述清理參數表生成針對所述目標復雜清理數據表的清理sql語句。
15、可選的，所述分詞處理結果還包括：判斷邏輯、清理條件；根據所述關聯字段和所述清理參數表生成針對所述目標復雜清理數據表的清理sql語句，包括：
16、根據清理sql語句模板、所述關聯字段和所述清理參數表生成針對所述目標復雜清理數據表的清理sql語句；所述清理sql語句模板中包含分別由目標字段、判斷邏輯、清理條件組成的篩選條件之間的關系。
17、可選的，所述方法還包括：
18、將所述目標復雜清理數據表對應的所述清理參數表存儲到所述元數據管理系統；
19、當所述清理參數表中任一所述第二數據表不再記錄所述目標字段時，則更新所述清理參數表，并根據更新后的所述清理參數表重新生成所述清理sql語句。
20、第二方面，本專利技術提供一種數據表清理裝置，所述裝置包括：
21、分詞處理模塊，用于對各個目標清理要求進行分詞處理，獲取各個分詞處理結果；所述目標清理要求為目標復雜清理數據表對應的清理要求；所述分詞處理結果中包含清理字段；
22、篩選模塊，用于針對每一清理字段，確定包含所述清理字段的第一數據表，從所述第一數據表中篩選第二數據表；所述第二數據表為關于所述清理字段的原始數據表；
23、處理模塊，用于根據所述第二數據表中的所述清理字段和所述分詞處理結果生成清理sql語句，根據所述清理sql語句對所述目標復雜清理數據表進行清理。
24、第三方面，本專利技術提供一種電子設備，包括：至少一個處理器和存儲器；
25、存儲器存儲計算機執行指令；
26、至少一個處理器執行存儲器存儲的計算機執行指令，使得至少一個處理器執行如第一方面任一項的方法。
27、第四方面，本專利技術提供一種計算機可讀存儲介質，計算機可讀存儲介質中存儲有計算機執行指令，當處理器執行計算機執行指令時，實現如第一方面任一項的方法。
28、第五方面，本專利技術提供一種計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現第一方面任一項所述的方法。
29、本專利技術提供的一種數據表清理方法、裝置、設備、存儲介質及程序產品，通過對各個目標清理要求進行分詞處理，獲取各個分詞處理結果，所述目標清理要求為目標復雜清理數據表對應的清理要求；所述分詞處理結果中包含清理字段，針對每一清理字段，確定包含所述清理字段的第一數據表，從所述第一數據表中篩選第二數據表；所述第二數據表為關于所述清理字段的原始數據表，根據所述第二數據表中的所述清理字段和所述分詞處理結果生成清理sql語句，根據所述清理sql語句對所述目標復雜清理數據表進行清理，通過對目標清理要求進行分詞處理并確定包含清理字段的原始數據表，從而生成清理sql語句，實現對復雜清理數據表的自動化清理，可以提高清理效率，減少人力資源的消耗。
本文檔來自技高網...【技術保護點】
1.一種數據表清理方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，確定包含所述清理字段的第一數據表，包括：
3.根據權利要求2所述的方法，其特征在于，所述元數據管理系統中還記錄有各個數據表分別對應的加工SQL語句；所述加工SQL語句用于表示所述數據表的加工過程；從所述第一數據表中篩選第二數據表，包括：
4.根據權利要求1所述的方法，其特征在于，根據所述第二數據表中的所述清理字段和所述分詞處理結果生成清理SQL語句，包括：
5.根據權利要求4所述的方法，其特征在于，所述分詞處理結果還包括：判斷邏輯、清理條件；根據所述關聯字段和所述清理參數表生成針對所述目標復雜清理數據表的清理SQL語句，包括：
6.根據權利要求2-5任一項所述的方法，其特征在于，所述方法還包括：
7.一種數據表清理裝置，其特征在于，所述裝置包括：
8.一種電子設備，其特征在于，包括：至少一個處理器和存儲器；
9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機執行指令，當處理器
10.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1至6任一項所述的方法。
...【技術特征摘要】
1.一種數據表清理方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，確定包含所述清理字段的第一數據表，包括：
3.根據權利要求2所述的方法，其特征在于，所述元數據管理系統中還記錄有各個數據表分別對應的加工sql語句；所述加工sql語句用于表示所述數據表的加工過程；從所述第一數據表中篩選第二數據表，包括：
4.根據權利要求1所述的方法，其特征在于，根據所述第二數據表中的所述清理字段和所述分詞處理結果生成清理sql語句，包括：
5.根據權利要求4所述的方法，其特征在于，所述分詞處理結果還包括：判斷邏輯、清理條件；根據所述關聯字段...
【專利技術屬性】
技術研發人員：趙樂，張海軍，李甲長，
申請(專利權)人：中國工商銀行股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。