一種全鏈路數(shù)據(jù)整合方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)涉及一種全鏈路數(shù)據(jù)整合方法及系統(tǒng)，所述方法包括如下步驟：步驟1、通過引接業(yè)務(wù)數(shù)據(jù)、物聯(lián)設(shè)備數(shù)據(jù)形成數(shù)據(jù)資源池；步驟2、通過數(shù)據(jù)質(zhì)量檢測方法判斷數(shù)據(jù)質(zhì)量；步驟3、通過數(shù)據(jù)分層分域、標(biāo)準(zhǔn)轉(zhuǎn)換、去重處理數(shù)據(jù)形成數(shù)據(jù)編目；步驟4、最終通過零編碼的數(shù)據(jù)服務(wù)功能提供整合后的數(shù)據(jù)。本發(fā)明專利技術(shù)提供的系統(tǒng)為行業(yè)構(gòu)建完善、共享、統(tǒng)一管理數(shù)據(jù)環(huán)境提供基本保障，是把行業(yè)的監(jiān)測數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等數(shù)據(jù)的數(shù)據(jù)作為資產(chǎn)管理的有效手段。據(jù)作為資產(chǎn)管理的有效手段。據(jù)作為資產(chǎn)管理的有效手段。

【技術(shù)實現(xiàn)步驟摘要】
一種全鏈路數(shù)據(jù)整合方法及系統(tǒng)


[0001]本專利技術(shù)涉及計算機(jī)物聯(lián)網(wǎng)領(lǐng)域，尤其涉及一種全鏈路資源數(shù)據(jù)整合方法及系統(tǒng)。

技術(shù)介紹

[0002]行業(yè)內(nèi)存在大量的業(yè)務(wù)系統(tǒng)和物聯(lián)設(shè)備，目前已有大量的存量數(shù)據(jù)，系統(tǒng)和物聯(lián)設(shè)備運行隨時產(chǎn)生增量數(shù)據(jù)。但是當(dāng)前情況是數(shù)據(jù)分散，標(biāo)準(zhǔn)缺失，缺乏技術(shù)手段對數(shù)據(jù)匯聚處理，無法形成統(tǒng)一有效、有價值的數(shù)據(jù)。在當(dāng)前數(shù)據(jù)作為生產(chǎn)資料的時代，如何有效匯聚、處理數(shù)據(jù)，形成行業(yè)的數(shù)據(jù)資產(chǎn)目錄，并通過數(shù)據(jù)服務(wù)能力，提高各部門之間、以及本部門與其他部門之間的業(yè)務(wù)協(xié)同能力，對行業(yè)具有重大意義。

技術(shù)實現(xiàn)思路

[0003]本專利技術(shù)主要解決的技術(shù)問題是提供一種數(shù)據(jù)整合和價值變現(xiàn)系統(tǒng)，本專利技術(shù)的系統(tǒng)通過數(shù)據(jù)引接、數(shù)據(jù)處理、數(shù)據(jù)編目、數(shù)據(jù)服務(wù)功能，實現(xiàn)資源類數(shù)據(jù)的整合和價值變現(xiàn)。通過引接業(yè)務(wù)系統(tǒng)、物聯(lián)設(shè)備數(shù)據(jù)形成數(shù)據(jù)資源池，通過數(shù)據(jù)質(zhì)量檢測方法判斷數(shù)據(jù)質(zhì)量，通過數(shù)據(jù)分層分域、標(biāo)準(zhǔn)轉(zhuǎn)換、去重等規(guī)則處理數(shù)據(jù)形成資源數(shù)據(jù)編目，最終通過零編碼的數(shù)據(jù)服務(wù)功能提供數(shù)據(jù)價值變現(xiàn)的通道。本專利技術(shù)通過引接、處理數(shù)據(jù)，形成資源數(shù)據(jù)編目，并以靈活的方法提供數(shù)據(jù)服務(wù)，提高數(shù)據(jù)在業(yè)務(wù)聯(lián)動中的利用價值。
[0004]本專利技術(shù)的技術(shù)方案為：一種全鏈路數(shù)據(jù)整合方法，包括如下步驟：
[0005]步驟1、通過引接業(yè)務(wù)系統(tǒng)、物聯(lián)設(shè)備數(shù)據(jù)形成數(shù)據(jù)資源池；
[0006]步驟2、通過數(shù)據(jù)質(zhì)量檢測方法判斷數(shù)據(jù)質(zhì)量；
[0007]步驟3、通過數(shù)據(jù)分層分域、標(biāo)準(zhǔn)轉(zhuǎn)換、去重處理數(shù)據(jù)形成資源數(shù)據(jù)編目；
[0008]步驟4、最終通過零編碼的數(shù)據(jù)服務(wù)功能提供整合后的數(shù)據(jù)。
[0009]根據(jù)本專利技術(shù)的另一方面，提出一種全鏈路數(shù)據(jù)整合系統(tǒng)，包括：數(shù)據(jù)源模塊、任務(wù)調(diào)度模塊、數(shù)據(jù)引接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)編目模塊和數(shù)據(jù)服務(wù)模塊，通過各個模塊協(xié)作配合，整合數(shù)據(jù)全鏈路數(shù)據(jù)；其中，
[0010]數(shù)據(jù)源模塊利用ClassLoader技術(shù)，采用插件化機(jī)制，在內(nèi)存中對不同的數(shù)據(jù)庫驅(qū)動隔離管理，避免沖突；提供數(shù)據(jù)源SDK給有數(shù)據(jù)查詢需求的功能模塊，即數(shù)據(jù)引接模塊和數(shù)據(jù)處理模塊，實現(xiàn)數(shù)據(jù)源動態(tài)加載；
[0011]任務(wù)調(diào)度模塊采用分布式調(diào)度技術(shù)，調(diào)度作為master,執(zhí)行方作為worker，可配置任務(wù)調(diào)度周期，按照年月日時分周期調(diào)度數(shù)據(jù)處理和數(shù)據(jù)服務(wù)任務(wù)，master利用分布式鎖控制worker調(diào)度和執(zhí)行，多個worker采用偽分布式機(jī)制，采用單點部署，或
???
根據(jù)并發(fā)量擴(kuò)展多個worker節(jié)點。
[0012]數(shù)據(jù)引接模塊包括數(shù)據(jù)庫引接、物聯(lián)設(shè)備數(shù)據(jù)實時采集和消息中間件數(shù)據(jù)引接，其中數(shù)據(jù)庫引接模塊引用數(shù)據(jù)源SDK,通過數(shù)據(jù)庫提供的JDBC接口引接數(shù)據(jù)、物聯(lián)設(shè)備數(shù)據(jù)引接通過適配物聯(lián)設(shè)備協(xié)議，實時引接物聯(lián)數(shù)據(jù)寫入消息中間件，消息中間件數(shù)據(jù)引接通過訂閱消費模式，監(jiān)聽消息中間件topic，實時消費數(shù)據(jù)；
[0013]數(shù)據(jù)處理模塊通過組件化配置方式，可視化設(shè)計數(shù)據(jù)處理流程，包括去重、字符串替換、json解析、時間格式轉(zhuǎn)換等，提交到任務(wù)調(diào)度模塊；
[0014]數(shù)據(jù)編目根據(jù)業(yè)務(wù)梳理數(shù)據(jù)資源分類，按照樹型結(jié)構(gòu)編排目錄體系，形成資源數(shù)據(jù)資產(chǎn)，數(shù)據(jù)開發(fā)者選擇數(shù)據(jù)資產(chǎn)對外發(fā)布；
[0015]數(shù)據(jù)服務(wù)模塊以零編碼的方式，提供可視化SQL編輯窗口，數(shù)據(jù)開發(fā)者編寫SQL并發(fā)布為數(shù)據(jù)服務(wù)，數(shù)據(jù)服務(wù)經(jīng)審核通過后向其他數(shù)據(jù)需求方提供查詢和訂閱功能，數(shù)據(jù)需求方根據(jù)數(shù)據(jù)服務(wù)開發(fā)規(guī)范調(diào)用數(shù)據(jù)服務(wù)接口獲取數(shù)據(jù)。
[0016]有益效果：
[0017]本專利技術(shù)提供的系統(tǒng)為行業(yè)構(gòu)建完善、共享、統(tǒng)一管理數(shù)據(jù)環(huán)境提供基本保障，實現(xiàn)把行業(yè)的業(yè)務(wù)數(shù)據(jù)、感知數(shù)據(jù)等數(shù)據(jù)作為資產(chǎn)管理的有效手段。
附圖說明
[0018]圖1系統(tǒng)整體架構(gòu)圖；
[0019]圖2數(shù)據(jù)源模塊架構(gòu)圖；
[0020]圖3任務(wù)調(diào)度模塊架構(gòu)圖；
[0021]圖4數(shù)據(jù)引接模塊架構(gòu)圖；
[0022]圖5數(shù)據(jù)處理模塊架構(gòu)圖。
具體實施方式
[0023]下面將結(jié)合本專利技術(shù)實施例中的附圖，對本專利技術(shù)實施例中的技術(shù)方案進(jìn)行清楚、完整的描述，顯然，所描述的實施例僅為本專利技術(shù)的一部分實施例，而不是全部的實施例，基于本專利技術(shù)中的實施例，本領(lǐng)域的普通技術(shù)人員在不付出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本專利技術(shù)的保護(hù)范圍。
[0024]為解決上述技術(shù)問題，參見圖1，本專利技術(shù)全鏈路數(shù)據(jù)整合系統(tǒng)包括：數(shù)據(jù)源模塊、任務(wù)調(diào)度模塊、數(shù)據(jù)引接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)編目模塊和數(shù)據(jù)服務(wù)模塊。通過各個模塊協(xié)作配合，形成數(shù)據(jù)全鏈路整合過程。
[0025]其中，數(shù)據(jù)源模塊、數(shù)據(jù)引接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)服務(wù)模塊是全鏈路中的關(guān)鍵模塊，本專利技術(shù)創(chuàng)新設(shè)計了數(shù)據(jù)源模塊，數(shù)據(jù)源模塊適配數(shù)據(jù)庫、中間件、文件系統(tǒng)，并對數(shù)據(jù)引接、數(shù)據(jù)處理模塊、數(shù)據(jù)服務(wù)模塊提供標(biāo)準(zhǔn)的rest接口，減少數(shù)據(jù)源適配的二次開發(fā)適配工作量。參見圖1，其中包括多個數(shù)據(jù)流向：
[0026]數(shù)據(jù)流向1，數(shù)據(jù)引接模塊從數(shù)據(jù)源讀取源的連接信息；
[0027]數(shù)據(jù)流程2，數(shù)據(jù)引接模塊從數(shù)據(jù)源讀取數(shù)據(jù)并寫入到引接庫；
[0028]數(shù)據(jù)流向3，數(shù)據(jù)處理模塊從引接庫讀取數(shù)據(jù)，經(jīng)過清洗轉(zhuǎn)換處理后講處理后數(shù)據(jù)寫入到數(shù)據(jù)庫；
[0029]數(shù)據(jù)流向4，數(shù)據(jù)服務(wù)模塊讀取處理庫的表數(shù)據(jù)，并將表數(shù)據(jù)封裝為數(shù)據(jù)服務(wù)接口對外提供發(fā)布；
[0030]數(shù)據(jù)流向5，第三方系統(tǒng)調(diào)用數(shù)據(jù)服務(wù)接口獲取數(shù)據(jù)或者由數(shù)據(jù)服務(wù)模塊推送數(shù)據(jù)到指定數(shù)據(jù)庫。
[0031]其他說明：數(shù)據(jù)編目模塊是非關(guān)鍵模塊，此模塊組織數(shù)據(jù)，可提供查看和訂閱服
務(wù)，不在主數(shù)據(jù)鏈路上。
[0032]如圖2所示，其中，數(shù)據(jù)源模塊利用類加載器ClassLoader技術(shù)，采用插件化機(jī)制，在內(nèi)存中對不同的數(shù)據(jù)庫驅(qū)動隔離管理，避免沖突。提供數(shù)據(jù)源SDK給有數(shù)據(jù)查詢需求的功能模塊，即數(shù)據(jù)引接模塊和數(shù)據(jù)處理模塊，實現(xiàn)數(shù)據(jù)源動態(tài)加載。
[0033]所述數(shù)據(jù)源包括mysql、oracle、postgreSQL、MSSQL、DB2、達(dá)夢、kingbase、greenplum、gaussdb、gbase8a、gbase8t、神通cluster、tbase、clickhouse、hive、hbase、kafka、mongdbdb等。
[0034]如圖3所示，任務(wù)調(diào)度模塊采用分布式調(diào)度技術(shù)，調(diào)度作為master,執(zhí)行方，執(zhí)行服務(wù)即使數(shù)據(jù)接引模塊、數(shù)據(jù)處理模塊和數(shù)據(jù)服務(wù)模塊。可配置任務(wù)調(diào)度周期，按照年月日時分周期調(diào)度數(shù)據(jù)處理和數(shù)據(jù)服務(wù)任務(wù)。master利用分布式鎖控制執(zhí)行服務(wù)的調(diào)度和執(zhí)行，多個執(zhí)行服務(wù)采用偽分布式機(jī)制，可單點部署，也可根據(jù)并發(fā)量擴(kuò)展多個執(zhí)行節(jié)點的個數(shù)。執(zhí)行服務(wù)通過task queue和執(zhí)行服務(wù)交互，將消息寫入task queue,執(zhí)行服務(wù)讀取task queue中的消息，根據(jù)消息執(zhí)行具體任務(wù)。
[0035]如圖4所示，數(shù)據(jù)引接模塊用于進(jìn)行數(shù)據(jù)庫、kafka中間件、csv/excel文件以及其他文件的數(shù)據(jù)引接本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】

【技術(shù)特征摘要】
1.一種全鏈路數(shù)據(jù)整合方法，其特征在于，包括如下步驟：步驟1、通過引接業(yè)務(wù)數(shù)據(jù)、物聯(lián)設(shè)備數(shù)據(jù)形成數(shù)據(jù)資源池；步驟2、通過數(shù)據(jù)質(zhì)量檢測方法判斷數(shù)據(jù)質(zhì)量；步驟3、通過數(shù)據(jù)分層分域、標(biāo)準(zhǔn)轉(zhuǎn)換、去重處理數(shù)據(jù)形成資源數(shù)據(jù)編目；步驟4、最終通過零編碼的數(shù)據(jù)服務(wù)功能提供整合后的數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的一種資源數(shù)據(jù)整合方法，其特征在于，還包括：對數(shù)據(jù)庫、中間件、文件系統(tǒng)的多源異構(gòu)的數(shù)據(jù)進(jìn)行引接適配。3.根據(jù)權(quán)利要求1所述的一種資源數(shù)據(jù)整合方法，其特征在于，還包括：采用組件化可拖拽式設(shè)計和動態(tài)SQL式的數(shù)據(jù)質(zhì)量檢測和數(shù)據(jù)清洗。4.根據(jù)權(quán)利要求1所述的一種資源數(shù)據(jù)整合方法，其特征在于，還包括：結(jié)合數(shù)據(jù)標(biāo)準(zhǔn)和大數(shù)據(jù)平臺進(jìn)行可視化數(shù)據(jù)建模。5.根據(jù)權(quán)利要求1所述的一種資源數(shù)據(jù)整合方法，其特征在于，還包括：結(jié)合數(shù)據(jù)分級分類和用戶權(quán)限管控實現(xiàn)零編碼的數(shù)據(jù)服務(wù)。6.一種全鏈路資源數(shù)據(jù)整合系統(tǒng)，其特征在于，包括：數(shù)據(jù)源模塊、任務(wù)調(diào)度模塊、數(shù)據(jù)引接模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)編目模塊和數(shù)據(jù)服務(wù)模塊，通過各個模塊協(xié)作配合，整合數(shù)據(jù)全鏈路數(shù)據(jù)；其中，數(shù)據(jù)源模塊利用ClassLoader技術(shù)，采用插件化機(jī)制，在內(nèi)存中對不同的數(shù)據(jù)庫驅(qū)動隔離管理，避免沖突；提供數(shù)據(jù)源SDK給有數(shù)據(jù)查詢需求的功能模塊，即...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張立國，張新菊，江海燕，劉傳安，王麗，
申請(專利權(quán))人：應(yīng)急管理部大數(shù)據(jù)中心，
類型：發(fā)明
國別省市：