【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)管理，尤其涉及一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)。
技術(shù)介紹
1、數(shù)據(jù)標(biāo)準(zhǔn)包括代碼標(biāo)準(zhǔn)和數(shù)據(jù)項標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)對于建立一個健全的數(shù)據(jù)治理體系至關(guān)重要。數(shù)據(jù)治理中的數(shù)據(jù)建模就是將這些標(biāo)準(zhǔn)應(yīng)用于對數(shù)據(jù)模型進行詳細描述的過程。在現(xiàn)有數(shù)據(jù)治理項目中制定數(shù)據(jù)標(biāo)準(zhǔn)的方式是，項目實施工程師首先對現(xiàn)有的各項業(yè)務(wù)數(shù)據(jù)進行深入而全面地研究和分析。他們通過仔細研究每個表和字段的數(shù)據(jù)含義、數(shù)據(jù)類型以及數(shù)據(jù)長度，結(jié)合國家級標(biāo)準(zhǔn)和所在行業(yè)的標(biāo)準(zhǔn)，制定出適用于本項目的數(shù)據(jù)標(biāo)準(zhǔn)框架。
2、為此，實施工程師將采取全面而深入的方法，對每個業(yè)務(wù)領(lǐng)域和相關(guān)工作流程進行詳細研究。他們將對數(shù)據(jù)在各個節(jié)點中的作用進行分類歸納，找出可能影響數(shù)據(jù)質(zhì)量的各個因素。同時，他們還將參考國家級標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)，根據(jù)項目的實際情況制定出一個更為詳細的數(shù)據(jù)標(biāo)準(zhǔn)體系。這套標(biāo)準(zhǔn)將包含每個數(shù)據(jù)項的準(zhǔn)確含義和屬性要求，以符合國家和行業(yè)的各項要求。
3、最后，這套經(jīng)過細致研究制定的數(shù)據(jù)標(biāo)準(zhǔn)將輸入到項目的數(shù)據(jù)治理系統(tǒng)中。它將為日后的數(shù)據(jù)建模工作提供指導(dǎo)，并監(jiān)督數(shù)據(jù)在采集、存儲和使用各個環(huán)節(jié)中的工作，以確保數(shù)據(jù)的準(zhǔn)確性、及時性和可追溯性。通過貫徹執(zhí)行這套標(biāo)準(zhǔn)，項目能夠保障數(shù)據(jù)的一致性、完整性和可靠性，從而建立一個高效而規(guī)范的數(shù)據(jù)治理體系。
4、然而，人工制定一個標(biāo)準(zhǔn)十分費時費力，對于數(shù)據(jù)標(biāo)準(zhǔn)的復(fù)用目前仍然應(yīng)用有限，無法最大程度的利用數(shù)據(jù)標(biāo)準(zhǔn)。
5、因此，如何有效利用數(shù)據(jù)標(biāo)準(zhǔn)來幫助數(shù)據(jù)治理系統(tǒng)進行管理，是亟待解決的問題。
>技術(shù)實現(xiàn)思路
1、有鑒于此，本專利技術(shù)提供一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，通過增加實施工作臺和數(shù)據(jù)標(biāo)準(zhǔn)知識庫，實現(xiàn)各項目實施工作的知識共享，自動依據(jù)數(shù)據(jù)標(biāo)準(zhǔn)構(gòu)建標(biāo)準(zhǔn)化的數(shù)據(jù)模型，自動依據(jù)主數(shù)據(jù)標(biāo)準(zhǔn)化關(guān)系構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)化任務(wù)，提高數(shù)據(jù)標(biāo)準(zhǔn)的利用效率。
2、本專利技術(shù)的技術(shù)目的是這樣實現(xiàn)的：
3、本專利技術(shù)提供一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，包括：
4、數(shù)據(jù)治理子系統(tǒng)，其配置為對數(shù)據(jù)的獲取、處理和使用進行監(jiān)管，并在各項目中獨立部署；
5、數(shù)據(jù)標(biāo)準(zhǔn)知識庫，其配置為存儲各項目的數(shù)據(jù)標(biāo)準(zhǔn)，提供數(shù)據(jù)標(biāo)準(zhǔn)推薦，其中，數(shù)據(jù)標(biāo)準(zhǔn)包括代碼標(biāo)準(zhǔn)和數(shù)據(jù)項標(biāo)準(zhǔn)；
6、實施工作臺，其配置為與數(shù)據(jù)治理子系統(tǒng)和數(shù)據(jù)標(biāo)準(zhǔn)知識庫進行數(shù)據(jù)和知識交互，為各項目提供獨立租戶，在實施項目時制定數(shù)據(jù)標(biāo)準(zhǔn)。
7、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，數(shù)據(jù)治理子系統(tǒng)包括元數(shù)據(jù)管理模塊、數(shù)據(jù)標(biāo)準(zhǔn)管理模塊、主數(shù)據(jù)管理模塊、數(shù)據(jù)質(zhì)量管理模塊和數(shù)據(jù)安全管理模塊。
8、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，數(shù)據(jù)標(biāo)準(zhǔn)知識庫預(yù)置有：
9、供應(yīng)商系統(tǒng)表，包括系統(tǒng)編號、供應(yīng)商、系統(tǒng)、版本、數(shù)據(jù)標(biāo)準(zhǔn)編碼和主數(shù)據(jù)編碼；
10、數(shù)據(jù)項標(biāo)準(zhǔn)表，包括數(shù)據(jù)標(biāo)準(zhǔn)編碼、數(shù)據(jù)項編碼、數(shù)據(jù)項名、數(shù)據(jù)項中文簡稱、數(shù)據(jù)類型、數(shù)據(jù)長度和標(biāo)準(zhǔn)類型；
11、代碼標(biāo)準(zhǔn)表，包括數(shù)據(jù)標(biāo)準(zhǔn)編碼、代碼編號、代碼名稱和標(biāo)準(zhǔn)類型；
12、代碼碼值標(biāo)準(zhǔn)表，包括代碼編號、代碼和代碼名稱；
13、主數(shù)據(jù)表，包括主數(shù)據(jù)編碼、數(shù)據(jù)表編碼、數(shù)據(jù)庫的模式、表英文名和表中文名；
14、主數(shù)據(jù)數(shù)據(jù)項標(biāo)準(zhǔn)化表，包括主數(shù)據(jù)編碼、數(shù)據(jù)表編碼、字段英文名、字段中文名和數(shù)據(jù)項編碼；
15、主數(shù)據(jù)代碼標(biāo)準(zhǔn)化表，包括主數(shù)據(jù)編碼、數(shù)據(jù)表編碼、字段英文名、字段中文名和代碼編號。
16、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，制定數(shù)據(jù)標(biāo)準(zhǔn)的過程為：
17、第一步、數(shù)據(jù)治理子系統(tǒng)連接當(dāng)前項目的數(shù)據(jù)源，利用元數(shù)據(jù)管理模塊采集數(shù)據(jù)源的元數(shù)據(jù)；
18、第二步、進行數(shù)據(jù)調(diào)研，從數(shù)據(jù)源中識別主數(shù)據(jù)；
19、第三步、從數(shù)據(jù)標(biāo)準(zhǔn)知識庫獲取數(shù)據(jù)標(biāo)準(zhǔn)推薦結(jié)果；
20、第四步、從數(shù)據(jù)標(biāo)準(zhǔn)知識庫獲取主數(shù)據(jù)標(biāo)準(zhǔn)化推薦結(jié)果；
21、第五步、實施工程師對數(shù)據(jù)標(biāo)準(zhǔn)推薦結(jié)果和主數(shù)據(jù)標(biāo)準(zhǔn)化推薦結(jié)果進行調(diào)整和補充，對含義相同的字段、出現(xiàn)不一致的數(shù)據(jù)項和代碼，調(diào)整數(shù)據(jù)項和代碼直到統(tǒng)一，對未標(biāo)準(zhǔn)化的主數(shù)據(jù)字段，根據(jù)字段含義選擇國標(biāo)或者自定義標(biāo)準(zhǔn)，得到補充后的數(shù)據(jù)標(biāo)準(zhǔn)推薦結(jié)果和補充后的主數(shù)據(jù)標(biāo)準(zhǔn)化推薦結(jié)果；
22、第六步、將補充后的數(shù)據(jù)標(biāo)準(zhǔn)推薦結(jié)果和補充后的主數(shù)據(jù)標(biāo)準(zhǔn)化推薦結(jié)果保存至數(shù)據(jù)標(biāo)準(zhǔn)知識庫；
23、第七步、將補充后的數(shù)據(jù)標(biāo)準(zhǔn)推薦結(jié)果同步保存至數(shù)據(jù)治理子系統(tǒng)的數(shù)據(jù)標(biāo)準(zhǔn)管理模塊，將補充后的主數(shù)據(jù)標(biāo)準(zhǔn)化推薦結(jié)果同步存儲至數(shù)據(jù)治理子系統(tǒng)的主數(shù)據(jù)管理模塊；
24、第八步、主數(shù)據(jù)管理模塊根據(jù)補充后的主數(shù)據(jù)標(biāo)準(zhǔn)化推薦結(jié)果在數(shù)據(jù)倉庫標(biāo)準(zhǔn)層構(gòu)建數(shù)據(jù)模型；
25、第九步、主數(shù)據(jù)管理模塊形成從ods層數(shù)據(jù)到標(biāo)準(zhǔn)層數(shù)據(jù)的數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換關(guān)系，并在數(shù)據(jù)調(diào)度模塊設(shè)置該數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換關(guān)系的定時任務(wù)。
26、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，第二步包括：
27、從數(shù)據(jù)標(biāo)準(zhǔn)知識庫按照第一推薦方法獲取主數(shù)據(jù)推薦結(jié)果，主數(shù)據(jù)推薦結(jié)果包括模式名、表英文名和表中文名；
28、根據(jù)數(shù)據(jù)源和主數(shù)據(jù)推薦結(jié)果，按照篩選方法得到該數(shù)據(jù)源的主數(shù)據(jù)識別結(jié)果，主數(shù)據(jù)識別結(jié)果包括模式名、表英文名、表中文名、字段英文名、字段中文名、字段數(shù)據(jù)類型和字段長度。
29、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，第一推薦方法包括：
30、根據(jù)當(dāng)前項目的數(shù)據(jù)源的供應(yīng)商、系統(tǒng)和版本在供應(yīng)商系統(tǒng)表中進行查詢得到數(shù)據(jù)源對應(yīng)的目標(biāo)主數(shù)據(jù)編碼；
31、在主數(shù)據(jù)表中根據(jù)目標(biāo)主數(shù)據(jù)編碼進行查詢得到主數(shù)據(jù)推薦結(jié)果，主數(shù)據(jù)推薦結(jié)果為該系統(tǒng)的模式中所有表的集合。
32、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，篩選方法包括：
33、獲取數(shù)據(jù)源報告中的數(shù)據(jù)量、表中文名和字段中文名；
34、設(shè)置數(shù)據(jù)量閾值，對元數(shù)據(jù)按照數(shù)據(jù)量閾值進行篩選，將低于數(shù)據(jù)量閾值的元數(shù)據(jù)作為多余數(shù)據(jù)進行篩除，得到第一篩選結(jié)果；
35、根據(jù)表中文名和字段中文名對第一篩選結(jié)果按照核心業(yè)務(wù)的關(guān)鍵詞進行篩選，識別出核心業(yè)務(wù)數(shù)據(jù)，將其作為第二篩選結(jié)果；
36、將第二篩選結(jié)果和主數(shù)據(jù)推薦結(jié)果進行合并，得到候選主數(shù)據(jù)；
37、將候選主數(shù)據(jù)發(fā)送至實施工程師進行最終篩選，得到該數(shù)據(jù)源的主數(shù)據(jù)識別結(jié)果。
38、在上述技術(shù)方案的基礎(chǔ)上，優(yōu)選的，第三步包括：
39、根據(jù)當(dāng)前項目數(shù)據(jù)源的供應(yīng)商、系統(tǒng)、版本在供應(yīng)商系統(tǒng)表中查詢得到目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)編碼；
40、在數(shù)據(jù)項標(biāo)準(zhǔn)表中根據(jù)目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)編碼查詢得到數(shù)據(jù)項標(biāo)準(zhǔn)推薦結(jié)果，數(shù)據(jù)項標(biāo)準(zhǔn)包括數(shù)據(jù)項編碼、數(shù)據(jù)項名、數(shù)據(jù)項中文簡稱、數(shù)據(jù)類型、數(shù)據(jù)長度和標(biāo)準(zhǔn)類型；
41、在代碼標(biāo)準(zhǔn)表中根據(jù)目標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)編碼查詢得到代碼標(biāo)準(zhǔn)推薦結(jié)果，代碼標(biāo)準(zhǔn)包括代碼編號、代碼名稱和標(biāo)準(zhǔn)類型；
42、在代碼碼值標(biāo)準(zhǔn)表中根據(jù)代碼標(biāo)準(zhǔn)推薦結(jié)果中的代碼編號查詢對應(yīng)的代碼碼值標(biāo)本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，包括：
2.如權(quán)利要求1所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，數(shù)據(jù)治理子系統(tǒng)包括元數(shù)據(jù)管理模塊、數(shù)據(jù)標(biāo)準(zhǔn)管理模塊、主數(shù)據(jù)管理模塊、數(shù)據(jù)質(zhì)量管理模塊和數(shù)據(jù)安全管理模塊。
3.如權(quán)利要求2所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，數(shù)據(jù)標(biāo)準(zhǔn)知識庫預(yù)置有：
4.如權(quán)利要求3所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，制定數(shù)據(jù)標(biāo)準(zhǔn)的過程為：
5.如權(quán)利要求4所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，第二步包括：
6.如權(quán)利要求5所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，第一推薦方法包括：
7.如權(quán)利要求5所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，篩選方法包括：
8.如權(quán)利要求4所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，第三步包括：
9.如權(quán)利要求4所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，
10.如權(quán)利要求9所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，第九步包括：
...【技術(shù)特征摘要】
1.一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，包括：
2.如權(quán)利要求1所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，數(shù)據(jù)治理子系統(tǒng)包括元數(shù)據(jù)管理模塊、數(shù)據(jù)標(biāo)準(zhǔn)管理模塊、主數(shù)據(jù)管理模塊、數(shù)據(jù)質(zhì)量管理模塊和數(shù)據(jù)安全管理模塊。
3.如權(quán)利要求2所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，數(shù)據(jù)標(biāo)準(zhǔn)知識庫預(yù)置有：
4.如權(quán)利要求3所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治理系統(tǒng)，其特征在于，制定數(shù)據(jù)標(biāo)準(zhǔn)的過程為：
5.如權(quán)利要求4所述的一種基于知識管理制定數(shù)據(jù)標(biāo)準(zhǔn)的數(shù)據(jù)治...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：胡琦，嚴(yán)鶴，閆喜軍，王俊，
申請(專利權(quán))人：云啟智慧科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。