【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及計算機(jī)，尤其涉及一種基于配置化的將系統(tǒng)數(shù)據(jù)傳輸至數(shù)據(jù)湖的方法和系統(tǒng)。
技術(shù)介紹
1、在當(dāng)今數(shù)字化時代，銀行業(yè)務(wù)的快速發(fā)展催生了對數(shù)據(jù)處理和分析的巨大需求。云端數(shù)據(jù)湖技術(shù)應(yīng)運(yùn)而生，以其強(qiáng)大的計算能力和存儲能力，成為銀行業(yè)數(shù)據(jù)管理的中堅力量。數(shù)據(jù)湖的實施不僅極大地緩解了源系統(tǒng)的數(shù)據(jù)計算壓力，還通過打破系統(tǒng)間的數(shù)據(jù)壁壘，實現(xiàn)了數(shù)據(jù)價值的最大化。
2、然而，現(xiàn)有技術(shù)在將源系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)高效、穩(wěn)定地卸載至數(shù)據(jù)湖方面存在局限。特別是在微服務(wù)架構(gòu)廣泛應(yīng)用的今天，如何確保數(shù)據(jù)的實時性、準(zhǔn)確性以及系統(tǒng)性能的穩(wěn)定性，成為了一個亟待解決的問題。
3、本專利技術(shù)正是在這樣的背景下應(yīng)運(yùn)而生。它創(chuàng)新性地融合了微服務(wù)架構(gòu)、云端數(shù)據(jù)湖以及fex文件傳輸平臺，打通了數(shù)據(jù)流轉(zhuǎn)的鏈路，提出了一種基于配置化的將系統(tǒng)數(shù)據(jù)傳輸至數(shù)據(jù)湖的方法，該方法不僅實現(xiàn)了源系統(tǒng)數(shù)據(jù)庫數(shù)據(jù)向數(shù)據(jù)湖的高效傳輸，而且通過合理分配微服務(wù)應(yīng)用資源，保障了數(shù)據(jù)入湖過程的性能穩(wěn)定和準(zhǔn)確性。
技術(shù)實現(xiàn)思路
1、為解決現(xiàn)有技術(shù)的不足，本專利技術(shù)實現(xiàn)了通過靈活配置庫表數(shù)據(jù)的方式，實現(xiàn)新增、修改、刪除數(shù)據(jù)湖表卸載數(shù)據(jù)至應(yīng)用數(shù)據(jù)庫的作業(yè)，無需開發(fā)上線，靈活配置即可實時生效，具備靈活性與通用性，可實現(xiàn)微服務(wù)間跨服務(wù)取數(shù)并下發(fā)入湖文件，解決了系統(tǒng)各個微服務(wù)間的資源任務(wù)調(diào)度分配和資源閑置問題，防止了個別微服務(wù)由于入湖數(shù)據(jù)表單過多或自身應(yīng)用資源使用占比過多導(dǎo)致的性能安全問題。
2、為實現(xiàn)以上目的，本專利技術(shù)所采用的技術(shù)方
3、一種基于配置化的將系統(tǒng)數(shù)據(jù)傳輸至數(shù)據(jù)湖的方法，其特征在于，包括：
4、s1、利用統(tǒng)一服務(wù)組件配置化地從各微服務(wù)數(shù)據(jù)庫中提取數(shù)據(jù)；
5、s2、根據(jù)配置生成入湖文件，并利用fex文件傳輸平臺將所述入湖文件傳輸至數(shù)據(jù)湖平臺；
6、s3、在所述數(shù)據(jù)湖平臺對所述入湖文件進(jìn)行解析和存儲，并執(zhí)行數(shù)據(jù)清洗和加工；
7、s4、根據(jù)業(yè)務(wù)需求，卸載湖內(nèi)數(shù)據(jù)文件至目標(biāo)系統(tǒng)，以供進(jìn)一步分析和應(yīng)用。
8、進(jìn)一步的，所述步驟s1進(jìn)一步包括：
9、定義取數(shù)入湖策略，并將配置好的策略信息記錄在對應(yīng)的定時任務(wù)中，同時設(shè)置所述定時任務(wù)的執(zhí)行周期。
10、進(jìn)一步的，所述配置策略的信息包括但不限于：卸載類型、入湖頻率、文件類型、編碼格式下發(fā)路徑名稱。
11、進(jìn)一步的，所述步驟s3還包括：將所述入湖文件通過湖內(nèi)加工算子進(jìn)行數(shù)據(jù)清洗與加工以供其他各系統(tǒng)使用。
12、進(jìn)一步的，所述統(tǒng)一服務(wù)組件還用于管理入湖文件的存儲、歸檔、清理，以及定義卸載文件接口。
13、進(jìn)一步的，所述數(shù)據(jù)湖平臺與fex文件傳輸平臺之間的集成設(shè)計，使得fex客戶端能夠直接接受來自fex文件傳輸平臺的入湖文件，確保文件傳輸至數(shù)據(jù)湖客戶端的過程無縫且高效。
14、一種基于配置化的將系統(tǒng)數(shù)據(jù)傳輸至數(shù)據(jù)湖的系統(tǒng)，其特征在于，包括：
15、微服務(wù)架構(gòu)模塊，用于支持多個微服務(wù)應(yīng)用數(shù)據(jù)庫的數(shù)據(jù)提取；
16、數(shù)據(jù)湖平臺模塊，用于解析和存儲入湖文件，并執(zhí)行數(shù)據(jù)清洗和加工；
17、fex文件傳輸平臺模塊，用于將入湖文件從微服務(wù)架構(gòu)傳輸至數(shù)據(jù)湖平臺；
18、統(tǒng)一服務(wù)組件模塊，用于配置化定義取數(shù)下發(fā)入湖文件的策略，以及定時執(zhí)行入湖任務(wù)。
19、具體的，統(tǒng)一服務(wù)組件是整個方案的核心，負(fù)責(zé)執(zhí)行入湖任務(wù)、從各微服務(wù)數(shù)據(jù)庫取數(shù)并生成對應(yīng)入湖文件，然后將入湖文件上傳至固定平臺交由fex搬運(yùn)入湖，同時還兼顧存儲文件、歸檔與清理文件、定義卸載文件接口、解析文件、校驗文件、策略任務(wù)配置、微服務(wù)入湖任務(wù)健康檢查。數(shù)據(jù)湖平臺負(fù)責(zé)各個數(shù)據(jù)庫中的貼源數(shù)據(jù)入湖、湖內(nèi)數(shù)據(jù)清洗加工、卸載湖內(nèi)數(shù)據(jù)文件功能，fex文件傳輸平臺負(fù)責(zé)傳輸文件。
20、本專利技術(shù)還提供一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述的方法。
21、本專利技術(shù)還提供一種電子設(shè)備，其特征在于，包括處理器和存儲器；
22、所述存儲器，用于存儲計算機(jī)程序；
23、所述處理器，用于通過調(diào)用存儲計算機(jī)程序，執(zhí)行權(quán)利要求1至6中任一項所述的方法。
24、本專利技術(shù)還涉及一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序和/或指令，其特征在于，該計算機(jī)程序和/或指令被處理器執(zhí)行時實現(xiàn)上述權(quán)利要求1至6的任一所述方法。
25、本專利技術(shù)還提供一種將系統(tǒng)數(shù)據(jù)傳輸至數(shù)據(jù)湖的統(tǒng)一服務(wù)組件，其特征在于，所述統(tǒng)一服務(wù)組件包括：
26、策略定義模塊，用于配置化定義取數(shù)入湖策略；
27、任務(wù)配置模塊，用于將策略信息記錄在對應(yīng)的定時任務(wù)中；
28、數(shù)據(jù)處理模塊，用于根據(jù)策略信息，訪問對應(yīng)微服務(wù)數(shù)據(jù)庫并取數(shù)，再將生成的入湖文件上傳以供fex客戶端搬運(yùn)；
29、任務(wù)執(zhí)行模塊，用于執(zhí)行入湖策略，下發(fā)入湖文件。
30、本專利技術(shù)的有益效果為：本專利技術(shù)合理分配微服務(wù)應(yīng)用資源，巧妙的結(jié)合微服務(wù)架構(gòu)、數(shù)據(jù)湖平臺與fex文件傳輸平臺，方案的核心優(yōu)勢在于跨服務(wù)的數(shù)據(jù)提取與下發(fā)入湖文件能力，有效解決了微服務(wù)間資源任務(wù)調(diào)度分配問題，避免了因資源閑置或過載導(dǎo)致的性能安全風(fēng)險。通過分鐘級別的時間控制，大幅提高了開發(fā)人員響應(yīng)取數(shù)需求的效率，顯著增強(qiáng)了生產(chǎn)力，并且無需傳統(tǒng)開發(fā)上線，配置即可實時生效，展現(xiàn)了極高的靈活性與通用性。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.一種基于配置化的將系統(tǒng)數(shù)據(jù)傳輸至數(shù)據(jù)湖的方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S1進(jìn)一步包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述配置策略的信息包括但不限于：卸載類型、入湖頻率、文件類型、編碼格式下發(fā)路徑名稱。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟S3還包括：將所述入湖文件通過湖內(nèi)加工算子進(jìn)行數(shù)據(jù)清洗與加工以供其他各系統(tǒng)使用。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述統(tǒng)一服務(wù)組件還用于管理入湖文件的存儲、歸檔、清理，以及定義卸載文件接口。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述數(shù)據(jù)湖平臺與FEX文件傳輸平臺之間的集成設(shè)計，使得FEX客戶端能夠直接接受來自FEX文件傳輸平臺的入湖文件，確保文件傳輸至數(shù)據(jù)湖客戶端的過程無縫且高效。
7.一種基于配置化的將系統(tǒng)數(shù)據(jù)傳輸至數(shù)據(jù)湖的系統(tǒng)，其特征在于，包括：
8.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述存儲介質(zhì)上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1
9.一種電子設(shè)備，其特征在于，包括處理器和存儲器；
10.一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序和/或指令，其特征在于，該計算機(jī)程序和/或指令被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述方法的步驟。
11.一種將系統(tǒng)數(shù)據(jù)傳輸至數(shù)據(jù)湖的統(tǒng)一服務(wù)組件，其特征在于，所述統(tǒng)一服務(wù)組件包括：
...【技術(shù)特征摘要】
1.一種基于配置化的將系統(tǒng)數(shù)據(jù)傳輸至數(shù)據(jù)湖的方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟s1進(jìn)一步包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述配置策略的信息包括但不限于：卸載類型、入湖頻率、文件類型、編碼格式下發(fā)路徑名稱。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟s3還包括：將所述入湖文件通過湖內(nèi)加工算子進(jìn)行數(shù)據(jù)清洗與加工以供其他各系統(tǒng)使用。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述統(tǒng)一服務(wù)組件還用于管理入湖文件的存儲、歸檔、清理，以及定義卸載文件接口。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述數(shù)據(jù)湖平臺與fex文件傳輸平臺之間的...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：沈陽鵬，
申請(專利權(quán))人：中信銀行股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。