數據的遷移方法和裝置制造方法及圖紙

本發明專利技術提供一種數據的遷移方法和裝置，該方法包括：獲取配置信息，配置信息包括源數據庫地址和目標數據庫地址；根據源數據庫地址連接到源數據庫，并根據目標數據庫地址連接到目標數據庫以建立與配置信息對應的遷移通道；通過遷移通道向所源數據庫發送數據遷移請求；通過遷移通道獲取源數據庫響應數據遷移請求發送的全量數據，并將全量數據通過遷移通道發送至對應的目標數據庫；通過遷移通道抽取源數據庫的增量數據，并將增量數據通過遷移通道按照數據產生的時間順序導入對應的目標數據庫。該方法能夠提高數據的遷移操作的便利性。

Data migration method and apparatus

The present invention provides a method and a device for data transfer, the method includes: obtaining configuration information, including database configuration information source address and destination address of the database; according to the source address of the database connected to the source database, and according to the target database address connected to the target database to establish the migration channel and the corresponding database configuration information; sending data transfer a request to the source through the transfer channel; get the full amount of data source database migration request response data migration through the channel, and the full amount of data through the transfer channel to send to the corresponding target database; incremental data extraction by migration of the source database, and the time sequence into the target database through incremental data migration channel according to the data the corresponding. This method can improve the convenience of data migration operation.

【技術實現步驟摘要】
數據的遷移方法和裝置
本專利技術涉及互聯網
，特別是涉及一種數據的遷移方法和裝置。
技術介紹
數據庫是按照數據結構來組織、存儲和管理數據的倉庫。隨著互聯網技術的發展，在對數據庫服務器硬件升級等場景中，數據庫的數據往往需要由一個電子設備遷移到另一個電子設備。數據庫的數據在遷移過程中，需要將原數據庫停止業務更新，將數據庫的數據復制到新的環境后再啟動服務。由于這種方式需要中斷原數據庫服務，對數據庫業務造成一定影響，操作便利性低。
技術實現思路
基于此，有必要提供操作便利性高的數據的遷移方法和裝置。為達到上述目的，本專利技術實施例采用以下技術方案：一種數據的遷移方法，包括：獲取配置信息，所述配置信息包括源數據庫地址和目標數據庫地址；根據所述源數據庫地址連接到源數據庫，并根據所述目標數據庫地址連接到目標數據庫以建立與所述配置信息對應的遷移通道；通過所述遷移通道向所源數據庫發送數據遷移請求，所述數據遷移請求攜帶有待遷移的數據表的信息；通過所述遷移通道獲取所述源數據庫響應所述數據遷移請求發送的所述數據表的全量數據，并將所述全量數據通過所述遷移通道發送至對應的目標數據庫；通過所述遷移通道抽取所述源數據庫的增量數據，并將所述增量數據通過所述遷移通道按照數據產生的時間順序導入對應的所述目標數據庫。一種數據的遷移裝置，包括：配置信息獲取模塊、遷移通道建立模塊、發送模塊、中轉模塊、抽取模塊和導入模塊；所述配置信息獲取模塊，用于獲取配置信息，所述配置信息包括源數據庫地址和目標數據庫地址；所述遷移通道建立模塊，用于根據所述源數據庫地址連接到源數據庫，并根據所述目標數據庫地址連接到目標數據庫以建立與所述配置信息對應的遷移通道；所述發送模塊，用于通過所述遷移通道向所源數據庫發送數據遷移請求，所述數據遷移請求攜帶有待遷移的數據表的信息；所述中轉模塊，用于通過所述遷移通道獲取所述源數據庫響應所述數據遷移請求發送的所述數據表的全量數據，并將所述全量數據通過所述遷移通道發送至對應的目標數據庫；所述抽取模塊，用于通過所述遷移通道抽取所述源數據庫的增量數據；所述導入模塊，用于將所述增量數據通過所述遷移通道按照數據產生的時間順序導入對應的所述目標數據庫。上述的數據的遷移方法，根據源數據地址和目標數據地址分別連接到源數據庫和目標數據庫并建立源數據庫和目標數據庫的遷移通道，通過遷移通道向源數據庫發送攜帶待遷移的數據表的信息，獲取源數據庫通過遷移通道發送全量數據并發送至對應的目標數據庫，抽取源數據庫在全量數據遷移過程中產生的增量數據并發送至對應的目標數據庫。通過根據遷移請求，先對源數據庫中的全量數據進行遷移，再對增量數據按時間順序進行抽取。即使在全量數據遷移過程產生了的新的數據，也可以通過增量數據抽取的方式進行遷移，從而保持源數據庫與目標數據庫的數據一致性。并且，由于能夠對增量數據進行抽取，從而無需中斷源數據庫的業務，實現數據的在線遷移。同時，遷移通道根據配置信息的源數據庫地址和目標數據庫地址對應生成，可同時根據不同的配置信息生成多個對應的遷移通道，并發處理多個數據庫的數據遷移，操作便利性高。附圖說明圖1為本專利技術一個實施例方案的應用環境示意圖；圖2為一個實施例的服務器的內部結構示意圖；圖3為一個實施例的數據的遷移方法的流程圖；圖4為一個實施例的數據的遷移方法的數據流向示意圖；圖5為又一個實施例的數據的遷移方法的時序說明圖；圖6為一個實施例的數據的遷移裝置的結構示意圖；圖7為又一個實施例的數據的遷移裝置的結構示意圖。具體實施方式為使本專利技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本專利技術進行進一步的詳細說明。應當理解，此處所描述的具體實施方式僅僅用以解釋本專利技術，并不限定本專利技術的保護范圍。圖1為一個實施例提供的數據遷移方法的應用環境示意圖。如圖1所示，該應用環境包括源數據庫101、中轉服務器102、目標數據庫103和應用終端104，應用終端上執行有為中轉服務器102輸入配置信息的客戶端，應用終端104與中轉服務器102通信連接，用戶在應用終端上操作，對數據遷移進行配置。配置信息通過網絡發送至中轉服務器102，配置信息包括源數據庫地址和目標數據庫地址。中轉服務器102根據配置信息連接到源數據庫101和目標數據庫103，建立源數據庫101和目標數據庫103的數據遷移通道。其中源數據庫101可以為應用程序100提供支持的數據庫，通過應用程序100寫入的數據都存儲在源數據庫101中。源數據庫101中的數據通過數據遷移通道遷移至對應的目標數據庫103中。在其它的實施方式中，目標數據庫103可以為網絡云服務器集群13中的一臺服務器，客戶端為網絡云服務器的操作平臺，用戶通過登錄網絡云服務器的操作平臺配置信息，通過中轉服務器102將源數據庫101中的數據遷移至網絡云服務器103。在完成遷移后，應用程序100的業務數據存儲在網絡云服務器103。圖2為一個實施例中的中轉服務器的內部結構示意圖。如圖2所示，中轉服務器包括通過系統總線連接的處理器、存儲介質、內存和網絡接口。其中，中轉服務器的存儲介質存儲有操作系統以及一種數據的遷移裝置，該數據的遷移裝置用于實現一種數據的遷移方法。該處理器用于提供計算和控制能力，支撐整個中轉服務器的運行。中轉服務器中的內存為存儲介質中的數據的遷移裝置運行提供環境，網絡接口用于與應用終端、源數據庫和目標數據庫進行網絡通信，接收應用終端上的客戶端對數據遷移的配置信息，根據配置信息連接到源數據庫和目標數據庫。本領域技術人員可以理解，圖2中示出的結構，僅僅是與本專利技術方案相關的部分結構的框圖，并不構成對本專利技術方案所應用于其上的終端的限定，具體的服務器可以包括比圖中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件布置。請參照圖3，在一個實施例中，提供一種數據的遷移方法，該方法運行在如圖1所示的中轉服務器102中，包括以下步驟：S302：獲取配置信息，配置信息包括源數據庫地址和目標數據庫地址。配置信息是指用戶通過客戶端輸入的對數據遷移的配置指令，包括源數據庫地址和目標數據庫地址。源數據庫地址即需要進行遷移的數據的存放地址。源數據庫地址可以為域名，也可以為數據庫的IP(InternetProtocol，互聯網協議)地址，還可以為數據庫的IP地址+端口號。目標數據庫地址是指需要遷移的數據的目標存放地址，目標數據庫地址可以為域名，也可以為數據庫的IP地址，還可以為數據庫的IP地址+端口號。在配置信息中，可為此次數據遷移配置多個目標數據庫地址，即可以將源數據庫的數據同時遷移至多個目標數據庫。用戶在應用終端的客戶端輸入配置信息，應用終端將配置信息發送至中轉服務器。本實施例中的客戶端為數據遷移平臺的客戶端，客戶端可以為平臺的網頁客戶端，也可以為平臺的應用程序終端。客戶端可以接收用戶輸入的源數據庫地址和目標數據庫地址，也可以根據用戶在平臺的用戶名查找與其關聯的源數據庫地址和目標數據庫地址，分別將查找到的源數據庫地址和目標數據庫地址展示在客戶端，供用戶選擇。S304：根據源數據庫地址連接到源數據庫，并根據目標數據庫地址連接到目標數據庫以建立與配置信息對應的遷移通道。中轉服務器在獲取到配置信息后，根據配置信息中的源數據庫地址和目標數據庫地址分別連本文檔來自技高網...

【技術保護點】
一種數據的遷移方法，其特征在于，包括：獲取配置信息，所述配置信息包括源數據庫地址和目標數據庫地址；根據所述源數據庫地址連接到源數據庫，并根據所述目標數據庫地址連接到目標數據庫以建立與所述配置信息對應的遷移通道；通過所述遷移通道向所源數據庫發送數據遷移請求，所述數據遷移請求攜帶有待遷移的數據表的信息；通過所述遷移通道獲取所述源數據庫響應所述數據遷移請求發送的所述數據表的全量數據，并將所述全量數據通過所述遷移通道發送至對應的目標數據庫；通過所述遷移通道抽取所述源數據庫的增量數據，并將所述增量數據通過所述遷移通道按照數據產生的時間順序導入對應的所述目標數據庫。

【技術特征摘要】
1.一種數據的遷移方法，其特征在于，包括：獲取配置信息，所述配置信息包括源數據庫地址和目標數據庫地址；根據所述源數據庫地址連接到源數據庫，并根據所述目標數據庫地址連接到目標數據庫以建立與所述配置信息對應的遷移通道；通過所述遷移通道向所源數據庫發送數據遷移請求，所述數據遷移請求攜帶有待遷移的數據表的信息；通過所述遷移通道獲取所述源數據庫響應所述數據遷移請求發送的所述數據表的全量數據，并將所述全量數據通過所述遷移通道發送至對應的目標數據庫；通過所述遷移通道抽取所述源數據庫的增量數據，并將所述增量數據通過所述遷移通道按照數據產生的時間順序導入對應的所述目標數據庫。2.根據權利要求1所述的方法，其特征在于，所述通過所述遷移通道抽取所述源數據庫的增量數據的步驟包括：為所述源數據庫配置代理進程，通過所述代理進程讀取并解析所述源數據庫的數據日志，得到所述源數據庫的增量信息；通過所述遷移通道從所述源數據庫中根據數據產生的時間順序抽取與所述增量信息對應的增量數據。3.根據權利要求1所述的方法，其特征在于：所述根據所述源數據庫地址連接到源數據庫的步驟包括：根據所述源數據庫地址連接到源數據庫，并向所述源數據庫發送觸發器生成指令，由所述源數據庫根據所述觸發器生成指令生成觸發器；所述通過所述遷移通道抽取所述源數據庫的增量數據的步驟包括：掃描所述觸發器的增量表，并從所述增量表中抽取增量數據。4.根據權利要求1所述的方法，其特征在于，所述配置信息包括源數據庫用戶名和密碼、目標數據庫用戶名和密碼；所述根據所述源數據庫地址連接到源數據庫，并根據所述目標數據庫地址連接到目標數據庫以建立與所述配置信息對應的遷移通道的步驟包括：向所述源數據庫發送連接請求，所述連接請求包括源數據庫地址、源數據庫用戶名和密碼，由所述源數據庫驗證通過后連接到源數據庫；向所述目標數據庫發送連接請求，所述連接請求包括目標數據庫地址、目標數據庫用戶名和密碼，由所述目標數據庫驗證通過后，連接到目標數據庫以建立與所述配置信息對應的遷移通道。5.根據權利要求2所述的方法，其特征在于：所述配置信息還包括所述源數據庫所在服務器的登錄名和密碼；所述方法還包括：根據所述源數據庫所在服務器的登錄名和密碼向所述源數據庫發送權限驗證請求，并在所述源數據庫驗證通過后，為所述源數據庫配置代理進程。6.根據權利要求1所述的方法，其特征在于，在所述根據所述源數據庫地址連接到源數據庫，并根據所述目標數據庫地址連接到目標數據庫以建立與所述配置信息對應的遷移通道的步驟之后，還包括：通過所述遷移通道向源數據庫發送表結構同步指令；通過遷移通道接收所述源數據庫響應所述表結構同步指令發送的數據表結構，并將所述數據庫表結構同步到目標...

【專利技術屬性】
技術研發人員：周瑾，葉習利，胡彬，
申請(專利權)人：騰訊科技深圳有限公司，
類型：發明
國別省市：廣東,44