本申請公開了一種數(shù)據(jù)同步的方法、裝置、設(shè)備及介質(zhì)，可應(yīng)用于大數(shù)據(jù)領(lǐng)域或金融領(lǐng)域。該方法包括：利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到主數(shù)據(jù)庫的數(shù)據(jù)變更日志；利用變化數(shù)據(jù)捕獲技術(shù)分析數(shù)據(jù)變更日志得到主數(shù)據(jù)庫的變更數(shù)據(jù)；將變更數(shù)據(jù)寫入副本應(yīng)用關(guān)聯(lián)的副本數(shù)據(jù)庫。如此，借助變化數(shù)據(jù)捕獲技術(shù)的功能，可以直接獲取主數(shù)據(jù)庫的數(shù)據(jù)變更日志進(jìn)行解析，再將其中的變更數(shù)據(jù)同步到副本數(shù)據(jù)庫中，即可以低代碼的方式實(shí)現(xiàn)數(shù)據(jù)同步，而無需為主應(yīng)用和各個(gè)副本應(yīng)用都開發(fā)大量的代碼實(shí)現(xiàn)數(shù)據(jù)變更的通知和傳輸，從可以降低開發(fā)難度，提高開發(fā)效率。提高開發(fā)效率。提高開發(fā)效率。
【技術(shù)實(shí)現(xiàn)步驟摘要】
一種數(shù)據(jù)同步的方法、裝置、設(shè)備及介質(zhì)
[0001]本申請涉及大數(shù)據(jù)
，尤其涉及一種數(shù)據(jù)同步的方法、裝置、設(shè)備及介質(zhì)。
技術(shù)介紹
[0002]近年來，隨著金融機(jī)構(gòu)業(yè)務(wù)的不斷拓展，分布式架構(gòu)成為大勢所趨，隨之而來的是分布式架構(gòu)下數(shù)據(jù)分布的要求。而為了保證一些公共數(shù)據(jù)的共享，需要在分布式架構(gòu)中進(jìn)行數(shù)據(jù)同步。
[0003]相關(guān)技術(shù)中，可以通過副本數(shù)據(jù)傳輸?shù)姆绞綄?shí)現(xiàn)數(shù)據(jù)同步，也就是先由主應(yīng)用生成數(shù)據(jù)，再將該數(shù)據(jù)同步傳輸給下游的副本應(yīng)用。但是，如果主應(yīng)用中的數(shù)據(jù)發(fā)生變化，那么主應(yīng)用需要逐個(gè)通知副本應(yīng)用進(jìn)行數(shù)據(jù)變更。因此，這種方式需要分別為主應(yīng)用和各個(gè)副本應(yīng)用都開發(fā)大量的代碼實(shí)現(xiàn)數(shù)據(jù)變更的通知和傳輸，導(dǎo)致開發(fā)難度較大，開發(fā)效率較低。
技術(shù)實(shí)現(xiàn)思路
[0004]本申請實(shí)施例提供了一種數(shù)據(jù)同步的方法、裝置、設(shè)備及介質(zhì)，以降低開發(fā)難度，提高開發(fā)效率。
[0005]第一方面，本申請實(shí)施例提供了一種數(shù)據(jù)同步的方法，包括：
[0006]利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到所述主數(shù)據(jù)庫的數(shù)據(jù)變更日志；
[0007]利用所述變化數(shù)據(jù)捕獲技術(shù)分析所述數(shù)據(jù)變更日志得到所述主數(shù)據(jù)庫的變更數(shù)據(jù)；
[0008]將所述變更數(shù)據(jù)寫入副本應(yīng)用關(guān)聯(lián)的副本數(shù)據(jù)庫。
[0009]可選地，所述利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到所述主數(shù)據(jù)庫的數(shù)據(jù)變更日志，包括：
[0010]利用所述變化數(shù)據(jù)捕獲技術(shù)對所述主數(shù)據(jù)庫的數(shù)據(jù)變更情況進(jìn)行監(jiān)聽，以捕獲所述數(shù)據(jù)變更日志；所述數(shù)據(jù)變更情況包括所述主數(shù)據(jù)庫的數(shù)據(jù)和/或數(shù)據(jù)表的增加、刪除和修改中的至少一種。
[0011]可選地，所述利用所述變化數(shù)據(jù)捕獲技術(shù)分析所述數(shù)據(jù)變更日志得到所述主數(shù)據(jù)庫的變更數(shù)據(jù)，包括：
[0012]利用所述變化數(shù)據(jù)捕獲技術(shù)對所述數(shù)據(jù)變更日志進(jìn)行解析，得到初步解析數(shù)據(jù)；所述初步解析數(shù)據(jù)包括數(shù)據(jù)操作語句和無關(guān)語句；所述數(shù)據(jù)操作語句用于表征所述主數(shù)據(jù)庫的數(shù)據(jù)變更情況；所述無關(guān)語句用于表征與所述數(shù)據(jù)變更情況無關(guān)的語句；
[0013]從所述初步解析數(shù)據(jù)中過濾所述無關(guān)語句，得到所述數(shù)據(jù)操作語句，并作為所述變更數(shù)據(jù)。
[0014]可選地，所述將所述變更數(shù)據(jù)寫入副本應(yīng)用關(guān)聯(lián)的副本數(shù)據(jù)庫，包括：
[0015]調(diào)用數(shù)據(jù)庫連接方法，將所述變更數(shù)據(jù)寫入所述副本數(shù)據(jù)庫。
[0016]可選地，所述利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到所述主數(shù)據(jù)庫的數(shù)據(jù)變更日志之前，所述方法包括：
[0017]配置監(jiān)聽源信息和監(jiān)聽目標(biāo)信息；所述監(jiān)聽源信息包括所述主數(shù)據(jù)庫的地址、數(shù)據(jù)表，以及所述主數(shù)據(jù)庫關(guān)聯(lián)的用戶標(biāo)識和密碼；所述監(jiān)聽目標(biāo)地址包括所述副本數(shù)據(jù)庫的地址、數(shù)據(jù)表，以及所述副本數(shù)據(jù)庫關(guān)聯(lián)的用戶標(biāo)識和密碼。
[0018]第二方面，本申請實(shí)施例提供了一種基于強(qiáng)化學(xué)習(xí)的模型優(yōu)化裝置，包括：
[0019]監(jiān)聽模塊，用于利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到所述主數(shù)據(jù)庫的數(shù)據(jù)變更日志；
[0020]分析模塊，用于利用所述變化數(shù)據(jù)捕獲技術(shù)分析所述數(shù)據(jù)變更日志得到所述主數(shù)據(jù)庫的變更數(shù)據(jù)；
[0021]同步模塊，用于將所述變更數(shù)據(jù)寫入副本應(yīng)用關(guān)聯(lián)的副本數(shù)據(jù)庫。
[0022]可選地，所述監(jiān)聽模塊，包括：
[0023]監(jiān)聽子模塊，用于利用所述變化數(shù)據(jù)捕獲技術(shù)對所述主數(shù)據(jù)庫的數(shù)據(jù)變更情況進(jìn)行監(jiān)聽，以捕獲所述數(shù)據(jù)變更日志；所述數(shù)據(jù)變更情況包括所述主數(shù)據(jù)庫的數(shù)據(jù)和/或數(shù)據(jù)表的增加、刪除和修改中的至少一種。
[0024]可選地，所述分析模塊，包括：
[0025]解析模塊，用于利用所述變化數(shù)據(jù)捕獲技術(shù)對所述數(shù)據(jù)變更日志進(jìn)行解析，得到初步解析數(shù)據(jù)；所述初步解析數(shù)據(jù)包括數(shù)據(jù)操作語句和無關(guān)語句；所述數(shù)據(jù)操作語句用于表征所述主數(shù)據(jù)庫的數(shù)據(jù)變更情況；所述無關(guān)語句用于表征與所述數(shù)據(jù)變更情況無關(guān)的語句；
[0026]過濾模塊，用于從所述初步解析數(shù)據(jù)中過濾所述無關(guān)語句，得到所述數(shù)據(jù)操作語句，并作為所述變更數(shù)據(jù)。
[0027]第三方面，本申請實(shí)施例提供了一種電子設(shè)備，所述設(shè)備包括：處理器、存儲(chǔ)器、系統(tǒng)總線；
[0028]所述處理器以及所述存儲(chǔ)器通過所述系統(tǒng)總線相連；
[0029]所述存儲(chǔ)器用于存儲(chǔ)一個(gè)或多個(gè)程序，所述一個(gè)或多個(gè)程序包括指令，所述指令當(dāng)被所述處理器執(zhí)行時(shí)使所述處理器執(zhí)行上述數(shù)據(jù)同步的方法的任一實(shí)現(xiàn)方式。
[0030]第四方面，本申請實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)所述指令在電子設(shè)備上運(yùn)行時(shí)，使得所述電子設(shè)備執(zhí)行上述基于數(shù)據(jù)同步的方法的任一實(shí)現(xiàn)方式。
[0031]從以上技術(shù)方案可以看出，本申請實(shí)施例具有以下優(yōu)點(diǎn)：
[0032]在本申請實(shí)施例中，可以先利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到主數(shù)據(jù)庫的數(shù)據(jù)變更日志，再分析該數(shù)據(jù)變更日志得到主數(shù)據(jù)庫的變更數(shù)據(jù)，而后將變更數(shù)據(jù)寫入副本應(yīng)用關(guān)聯(lián)的副本數(shù)據(jù)庫。如此，借助變化數(shù)據(jù)捕獲技術(shù)的功能，可以直接獲取主數(shù)據(jù)庫的數(shù)據(jù)變更日志并進(jìn)行解析，再將其中的變更數(shù)據(jù)同步到副本數(shù)據(jù)庫中，即可以低代碼的方式實(shí)現(xiàn)數(shù)據(jù)同步，而無需為主應(yīng)用和各個(gè)副本應(yīng)用都開發(fā)大量的代碼實(shí)現(xiàn)數(shù)據(jù)變更的通知和傳輸，從可以降低開發(fā)難度，提高開發(fā)效率。
附圖說明
[0033]圖1為本申請實(shí)施例提供的一種數(shù)據(jù)同步的方法的流程圖；
[0034]圖2為本申請實(shí)施例提供的另一種數(shù)據(jù)同步的方法的流程圖；
[0035]圖3為本申請實(shí)施例提供的一種數(shù)據(jù)同步的裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
[0036]正如前文所述，相關(guān)技術(shù)中，可以通過副本數(shù)據(jù)傳輸?shù)姆绞綄?shí)現(xiàn)數(shù)據(jù)同步，也就是先由主應(yīng)用生成數(shù)據(jù)，再將該數(shù)據(jù)同步傳輸給下游的副本應(yīng)用。但是，如果主應(yīng)用中的數(shù)據(jù)發(fā)生變化，那么主應(yīng)用需要對應(yīng)的生成變更數(shù)據(jù)再逐個(gè)通知副本應(yīng)用進(jìn)行數(shù)據(jù)變更。相應(yīng)地，當(dāng)副本應(yīng)用接收到變更數(shù)據(jù)后需要先進(jìn)行數(shù)據(jù)解析再將解析得到的數(shù)據(jù)存入副本數(shù)據(jù)庫。因此，在這種方式下，需要為主應(yīng)用開發(fā)生成變更數(shù)據(jù)的功能代碼，以及用于通知副本應(yīng)用的功能代碼，并且需要為副本應(yīng)用生成接收變更數(shù)據(jù)的代碼，解析數(shù)據(jù)的代碼等，由于需要分別為主應(yīng)用和各個(gè)副本應(yīng)用都開發(fā)大量的代碼實(shí)現(xiàn)數(shù)據(jù)變更的通知和傳輸，導(dǎo)致開發(fā)難度較大，開發(fā)效率較低。
[0037]為了解決上述問題，本申請實(shí)施例提供了一種基于強(qiáng)化學(xué)習(xí)的模型優(yōu)化方法，該方法包括：可以先利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到主數(shù)據(jù)庫的數(shù)據(jù)變更日志，再分析該數(shù)據(jù)變更日志得到主數(shù)據(jù)庫的變更數(shù)據(jù)，而后將變更數(shù)據(jù)寫入副本應(yīng)用關(guān)聯(lián)的副本數(shù)據(jù)庫。
[0038]由于變化數(shù)據(jù)捕獲技術(shù)可以直接識別和捕獲數(shù)據(jù)庫中的數(shù)據(jù)變更，然后將這些變更按發(fā)生的順序完整記錄下來，并通過消息中間件傳送到下游，因此，在本申請實(shí)施例中借助變化數(shù)據(jù)捕獲技術(shù)的功能，可以直接獲取主數(shù)據(jù)庫的數(shù)據(jù)變更日志并進(jìn)行解析，再將其中的變更數(shù)據(jù)同步到副本數(shù)據(jù)庫中本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.一種數(shù)據(jù)同步的方法，其特征在于，包括：利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到所述主數(shù)據(jù)庫的數(shù)據(jù)變更日志；利用所述變化數(shù)據(jù)捕獲技術(shù)分析所述數(shù)據(jù)變更日志得到所述主數(shù)據(jù)庫的變更數(shù)據(jù)；將所述變更數(shù)據(jù)寫入副本應(yīng)用關(guān)聯(lián)的副本數(shù)據(jù)庫。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到所述主數(shù)據(jù)庫的數(shù)據(jù)變更日志，包括：利用所述變化數(shù)據(jù)捕獲技術(shù)對所述主數(shù)據(jù)庫的數(shù)據(jù)變更情況進(jìn)行監(jiān)聽，以捕獲所述數(shù)據(jù)變更日志；所述數(shù)據(jù)變更情況包括所述主數(shù)據(jù)庫的數(shù)據(jù)和/或數(shù)據(jù)表的增加、刪除和修改中的至少一種。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用所述變化數(shù)據(jù)捕獲技術(shù)分析所述數(shù)據(jù)變更日志得到所述主數(shù)據(jù)庫的變更數(shù)據(jù)，包括：利用所述變化數(shù)據(jù)捕獲技術(shù)對所述數(shù)據(jù)變更日志進(jìn)行解析，得到初步解析數(shù)據(jù)；所述初步解析數(shù)據(jù)包括數(shù)據(jù)操作語句和無關(guān)語句；所述數(shù)據(jù)操作語句用于表征所述主數(shù)據(jù)庫的數(shù)據(jù)變更情況；所述無關(guān)語句用于表征與所述數(shù)據(jù)變更情況無關(guān)的語句；從所述初步解析數(shù)據(jù)中過濾所述無關(guān)語句，得到所述數(shù)據(jù)操作語句，并作為所述變更數(shù)據(jù)。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述變更數(shù)據(jù)寫入副本應(yīng)用關(guān)聯(lián)的副本數(shù)據(jù)庫，包括：調(diào)用數(shù)據(jù)庫連接方法，將所述變更數(shù)據(jù)寫入所述副本數(shù)據(jù)庫。5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述方法，其特征在于，所述利用變化數(shù)據(jù)捕獲技術(shù)對主應(yīng)用關(guān)聯(lián)的主數(shù)據(jù)庫進(jìn)行監(jiān)聽，得到所述主數(shù)據(jù)庫的數(shù)據(jù)變更日志之前，所述方法包括：配置監(jiān)聽源信息和監(jiān)聽目標(biāo)信息；所述監(jiān)聽源信息包括所述主數(shù)據(jù)庫的地址、數(shù)據(jù)表，以及所述主數(shù)據(jù)庫關(guān)聯(lián)的用戶標(biāo)識和密碼；所述監(jiān)聽目標(biāo)地址包括所述副本數(shù)據(jù)庫的地...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：丁銳，
申請(專利權(quán))人：中國銀行股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。