一種關系數據庫到無模式數據庫異步轉換系統及方法技術方案

本發明專利技術公開了一種關系數據庫到無模式數據庫異步轉換系統及方法，包括關系數據庫，所述關系數據庫將信號傳輸給日志監聽器，所述日志監聽器將信號傳輸給模式調整器，所述模式調整器將信號傳輸給無模式數據庫，所述日志監聽器還將信號傳輸給單元格狀態緩存器，所述單元格狀態緩存器將信號傳輸給單元格狀態回寫器，所述單元格狀態回寫器將信號傳輸給無模式數據庫。本發明專利技術在不影響關系數據庫性能前提下將關系數據庫的模式和數據通過該裝置異步到轉換到無模式數據庫，異步方式不會造成關系數據庫阻塞，以關系數據庫為主，無模式數據庫為輔，用于解決傳統關系數據庫在大數據查詢時的I/O瓶頸問題。

【技術實現步驟摘要】

本專利技術涉及互聯網行業分布式數據庫領域，尤其涉及。
技術介紹
傳統關系數據庫是目前Web應用中存取數據的主要形式。然而，隨著Web2. O、大數據、云應用等技術的發展，傳統的關系數據庫在I/O、可擴展性上遇到了瓶頸，在大數據存取和訪問時效率急劇下降，在高可擴展性和高可用性方面也遇到難題。為了解決此問題，許多方案相繼提出，比如分布式數據庫、主從數據庫、無模式數據庫等。無模式數據庫，是一種模式自由的數據庫，其模式主要為關系、樹、圖、文檔等多種方式。實際上，很難完全拋棄現有的關系數據庫而直接使用無模式數據庫。以關系數據庫為主，無模式數據庫為輔，成了工業界和產業界普遍接受的方案。現有的技術中，存在兩類關系數據庫與無模式數據庫進行結合的方法(1)以用戶插件的方法，將無模式數據庫集成到關系數據庫中，使得關系數據庫同時支持關系操作和無模式操作。該方法缺點是大量的打開/關閉表的操作十分耗時，降低了數據庫性能；(2)混合使用關系數據庫，以關系數據庫為主，無模式數據庫為輔，使用關系數據庫進行大數據更新操作，采用某種機制將關系數據庫模式和數據同步到無模式數據庫。對于大數據的查詢直接使用無模式數據庫，而更新仍采用關系數據庫。該方法優點是既解決了關系數據庫中大數據的查詢瓶頸問題，又解決了無模式數據庫更新瓶頸問題。該方法的難點是如何將關系數據庫模式和數據轉換到無模式數據庫。現有技術的解決方案及實現主要有兩種方法(1)通過關系數據庫觸發器，將數據的變化記錄到臨時查詢表。該查詢表通常由ID、表名、行號、時間戳和操作等模式構成。然后將臨時查詢表的數據同步到目標無模式數據庫；(2)對方法(I)改進，取消臨時查詢表，通過增加關系數據庫自定義HTTP函數，直接將關系數據庫數據變化增量通過HTTP協議發送給目標無模式數據庫，實現數據和模式的同步。綜上，現有關系數據庫到無模式數據庫的轉換方法主要有以下問題(1)不管是觸發器還是用戶自定義函數，其嚴重影響關系數據庫性能；(2)數據傳輸過程無法保證數據操作的有序性，容易造成數據的不一致；(3)同步方式會阻塞數據庫進程，降低關系數據庫的模式和數據更新性能。
技術實現思路
本專利技術的目的就是為了解決上述問題，提供，將關系數據庫的模式和數據通過該裝置異步轉換到無模式數據庫，以關系數據庫為主，無模式數據庫為輔，用于解決傳統關系數據庫在大數據查詢時的I/o瓶頸問題。為了實現上述目的，本專利技術采用如下技術方案—種關系數據庫到無模式數據庫異步轉換系統，包括關系數據庫，所述關系數據庫將信號傳輸給日志監聽器，所述日志監聽器將信號傳輸給模式調整器，所述模式調整器將信號傳輸給無模式數據庫，所述日志監聽器還將信號傳輸給單元格狀態緩存器，所述單元格狀態緩存器將信號傳輸給單元格狀態回寫器，所述單元格狀態回寫器將信號傳輸給無模式數據庫。所述關系數據庫是關系數據庫到無模式數據庫異步轉換系統的源。所述無模式數據庫是關系數據庫到無模式數據庫異步轉換系統的目標。所述日志監聽器用于監聽關系數據庫的日志。基于行的關系數據庫二進制日志包括模式更新與數據更新，所述模式更新記錄著每次模式修改的SQL語句，所述數據更新記錄著每次事務中以行為單位變化前后的數據。對于插入操作，監聽得到的變化前數據為NULL，變化后數據為新增數據；對于更新操作，監聽得到修改前后數據，對于刪除操作，監聽得到的變化前數據為被刪除數據，變化后數據為NULL。所述單元格狀態緩存器負責將日志監聽器監聽到的基于行的變化數據拆分為單元格狀態。所述模式調整器負責將日志監聽器監聽到的模式變化映射到無模式數據庫。映射規則如下關系數據庫中的一對一關系映射為無模式數據庫中的關系結構，關系數據庫中的一對多或多對一關系映射為無模式數據庫中的樹型結構，關系數據庫中的多對多關系映射為無模式數據庫的圖型結構。關系數據庫數據庫名映射為無模式數據庫名，關系數據庫的表名映射為無模式數據庫集合名(Collection)，關系數據庫的列索引映射為無模式數據庫的列索引(Index)。所述單元格狀態回寫器負責將單元格狀態緩存器中的單元格狀態鍵值序對寫入到無模式數據庫。上述關系數據庫到無模式數據庫異步轉換系統所采用的轉換方法，具體工作步驟如下步驟(I):日志監聽器監聽到基于行的關系數據庫二進制日志，并進行解析，得到變化的數據和模式，若監聽到的為變化數據，轉步驟(2)，反之轉步驟(3)。步驟(2):日志監聽器將基于行的變化前后的數據拆分為單元格狀態，若單元格數據發生變化，修改單元格狀態鍵值序對V中的值和修訂版本，若單元格數據未發生變化，則不進行任何處理，按此方法將單元格狀態存儲在單元格狀態緩存器中，轉步驟(I)。步驟(3):日志監聽器對監聽到的模式變化SQL語句進行解析，將單元格狀態緩存器中的所有單元格狀態回寫到無模式數據庫，轉步驟(4)。4)根據日志監聽器監聽的模式修改SQL語句，模式調整器按源關系數據庫模式變化修改目標無模式數據庫模式，轉步驟(I)。所述步驟(3)的解析過程分為以下四個步驟步驟(3-1):若單元格狀態基礎版本為I且修訂版本為0，說明新增單元格被刪除，不做任何處理；步驟(3-2):若單元格狀態基礎版本大于I且修訂版本為0，說明新增單元格修改后被刪除，需要在無模式數據庫中刪除對應數據；步驟(3-3):若單元格狀態基礎版本為I且修訂版本不為0，說明為新增單元格，需要將單元格狀態回寫到無模式數據庫；步驟(3-4):若單元格狀態基礎版本大于O且修訂版本不為0，說明單元格被修改，需要修正無模式數據庫對應數據。上述關系數據庫到無模式數據庫異步轉換系統涉及到以下幾個術語所述單元格是指單元格狀態定義中的關系數據庫二維表中的數據。所述關系數據庫是由行列組成的數據單元格構成。按照行列定位單元格，由主鍵鍵值序對定位數據庫記錄所在行，由列名定位數據記錄所在列。每個單元格狀態定義了一個鍵值序對K — V，其中K定義為三元組〈表名，主鍵鍵值序對，列名〉，而V定義為二元組〈列值，修訂版本〉。修訂版本記錄著該單元格數據的版本信息，可以用正整數表示。新增加數據初始版本為I，每次單元格數據發生變化后，版本加I。當單元格刪除后，版本修改為O0所述單元格狀態修訂版本為單元格狀態在緩存器中的最新版本。所述單元格狀態基礎版本為單元格狀態在緩存器中的最初修訂版本。對于新增加數據，拆分為單元格狀態，其修訂版本和基礎版本為I ;對于修改數據，拆分為單元格狀態，若該單元格不在單元格狀態緩存器中，其修訂版本和基礎版本為2，若該單元格在單元格狀態緩存器中，其修訂版本為原修訂版本加I，基礎版本為原單元格狀態基礎版本；對于刪除數據，修訂版本為O。若單元格在單元格狀態緩存器中，基礎版本為原單元格基礎版本，若單元格不在單元格狀態緩存器中，基礎版本為O。本專利技術的有益效果I無需影響關系數據庫的性能就可以實現關系數據庫到無模式數據庫的異步轉換功能；2異步轉換裝置可以保證數據傳輸過程中數據的有序性；3異步數據轉換過程中不會造成關系數據庫進程的阻塞；4將關系數據庫的模式和數據通過該裝置異步到轉換到無模式數據庫，以關系數據庫為主，無模式數據庫為輔，用于解決傳統關系數據庫在大數據查詢時的I/o瓶頸問題。附圖說明圖1關系數據庫到無模式數據庫異步轉換方法及裝置的架構圖；圖2根據本文檔來自技高網...

【技術保護點】
一種關系數據庫到無模式數據庫異步轉換系統，其特征是，包括關系數據庫，所述關系數據庫將信號傳輸給日志監聽器，所述日志監聽器將信號傳輸給模式調整器，所述模式調整器將信號傳輸給無模式數據庫，所述日志監聽器還將信號傳輸給單元格狀態緩存器，所述單元格狀態緩存器將信號傳輸給單元格狀態回寫器，所述單元格狀態回寫器將信號傳輸給無模式數據庫。

【技術特征摘要】

【專利技術屬性】
技術研發人員：馬坤，楊波，陳廣偉，
申請(專利權)人：濟南大學，
類型：發明
國別省市：