數據遷移系統(tǒng)和方法技術方案

本發(fā)明專利技術公開了一種數據遷移系統(tǒng)和方法,用于在數據服務器集群之間進行數據遷移，數據為與要遷移的業(yè)務相關的目標數據，該方法包括將第一數據服務器集群中存儲的在第一時間點及該第一時間點之前寫入的目標數據導入第二數據服務器集群；獲得與在第一時間點之后寫入第一數據服務器集群的目標數據相關聯的操作日志；根據獲得的操作日志更新第二數據服務器集群中的目標數據；檢測第一數據服務器集群和第二數據服務器集群的目標數據是否已同步；以及在第一數據服務器集群和第二數據服務器集群的目標數據已同步之后，將連接數據服務器的入口地址由第一數據服務器集群的入口地址變更為第二數據服務器集群的入口地址。

【技術實現步驟摘要】
數據遷移系統(tǒng)和方法
本專利技術涉及數據存儲
，具體涉及一種數據遷移系統(tǒng)和方法。
技術介紹
MongoDB（DataBase，數據庫）是一個介于關系數據庫和非關系數據庫之間的產品，是非關系數據庫當中功能最豐富，最像關系數據庫的。他支持的數據結構非常松散，因此可以存儲比較復雜的數據類型。由于MongoDB本身性能較好，因此在業(yè)務發(fā)展的早期，開發(fā)人員會將多個小的業(yè)務部署在一個少量服務器構成的小的Mongodb集群上。當業(yè)務逐漸發(fā)展，訪問量越來越大，比如原有的某個或某幾個業(yè)務的訪問量增長迅速，形成大規(guī)模的業(yè)務，進而導致少量服務器構成的小集群已經無法滿足業(yè)務需求了，此時就需要考慮如何增加系統(tǒng)容量，來解決性能問題。目前的第一種解決方案是，基于Mongodb本身支持的動態(tài)擴展，可以簡單的通過增加數據服務器來提高性能，因此可以通過直接向目前由少量數據服務器構成的Mongodb集群中添加Mongod服務器，來解決性能問題。通過增加新的Mongod服務器，變?yōu)楦嗯_數據服務器的集群，mongodb的性能會基本線性提升。但是，這種解決方案也會帶來副作用。因為現有的數據服務器集群是為多個業(yè)務服務的，而且多個業(yè)務中可能既有小規(guī)模的業(yè)務，也有快速增長起來的大規(guī)模的業(yè)務，進而在對Mongod服務器的訪問過程中，大規(guī)模的業(yè)務可能會長期占據對Mongod服務器的訪問資源，而小規(guī)模的業(yè)務勢必爭搶不過大規(guī)模的業(yè)務，最終導致這些小規(guī)模的業(yè)務受到快速增長的大規(guī)模的業(yè)務的影響。為了避免上述第一種解決方案的副作用，逐漸出現了第二種解決方案。即考慮將業(yè)務規(guī)模擴大了的業(yè)務，從原有的mongodb集群遷移到一個全新的mongodb集群上。對于較大規(guī)模的業(yè)務，使用單獨的新集群，而不再與其他業(yè)務共用Mongod服務器。這樣，原有的多個規(guī)模較小的業(yè)務還是在原有的數據服務器集群，而快速發(fā)展成較大規(guī)模的業(yè)務單獨使用全新的數據服務器集群，于是，較大規(guī)模的業(yè)務就不會再跟較小規(guī)模的業(yè)務搶占服務器的訪問資源了。在采取上述方案的遷移過程中，首先由該業(yè)務停掉所有對mongod服務器的寫入操作，然后將現有的mongodb數據庫信息備份出來，導入到新的數據服務器集群中。最后，在將業(yè)務的數據完全切換到新的數據服務器集群后，再開啟業(yè)務對mongod服務器的寫入操作。由于切換過程中需要停掉業(yè)務的所有寫入服務，而且當數據量較大的時候，停機備份遷移的過程可能會需要幾個小時，因此在停機備份遷移的這段時間內非常影響相關業(yè)務的正常運行，影響為用戶提供正常的服務。同理，在其他非mongodb的數據服務器集群的應用環(huán)境下，也同樣存在類似問題。
技術實現思路
鑒于上述問題，提出了本專利技術以便提供一種克服上述問題或者至少部分地解決上述問題的數據遷移系統(tǒng)和方法。依據本專利技術的一個方面，提供了一種數據遷移系統(tǒng)，用于在數據服務器集群之間進行數據遷移，該系統(tǒng)至少包括第一數據服務器集群和第二數據服務器集群以及遷移設備,數據為與要遷移的業(yè)務相關的目標數據，所述遷移設備包括：初始數據導入模塊，被配置為將第一數據服務器集群中存儲的在第一時間點及該第一時間點之前寫入的目標數據導入第二數據服務器集群；同步模塊，被配置為獲得與在第一時間點之后寫入第一數據服務器集群的目標數據相關聯的操作日志，操作日志至少包括寫入第一數據服務器集群中的目標數據的內容；更新模塊，被配置為根據同步模塊獲得的操作日志更新第二數據服務器集群中的目標數據。可選的，初始數據導入模塊包括：第一初始數據導入子模塊，被配置為將第一數據服務器集群中存儲的第一時間點及該第一時間點之前寫入的目標數據導入一存儲介質；第二初始數據導入子模塊，被配置為將導入至存儲介質中的目標數據導入第二數據服務器集群。可選的，其中第一初始數據導入子模塊被配置為通過mongodump將第一數據服務器集群中存儲的第一時間點及該第一時間點之前寫入的目標數據備份至一存儲介質；以及第二初始數據導入子模塊被配置為通過mongorestore將備份至存儲介質中的目標數據導入第二數據服務器集群。可選的，第一數據服務器集群中包括主數據服務器和若干從數據服務器，遷移設備還包括：停用處理模塊，被配置為在第一時間點之后停止第一數據服務器集群中的第一從數據服務器的寫入操作；以及初始數據導入模塊，被配置為將第一數據服務器集群的第一從數據服務器中存儲的第一時間點及該第一時間點之前寫入的目標數據導入第二數據服務器集群。可選的，還包括：同步檢測模塊，被配置為檢測第一數據服務器集群和第二數據服務器集群的目標數據是否已同步；地址更新模塊，被配置為在同步檢測模塊檢測到第一數據服務器集群和第二數據服務器集群的目標數據已同步之后，將連接數據服務器的入口地址由第一數據服務器集群的入口地址變更為第二數據服務器集群的入口地址?？蛇x的，操作日志還包括如下信息中的一種或多種：寫入數據的時間戳；當寫入的數據是對原有數據的更新時，數據更新前的舊值。可選的，第一數據服務器集群為第一MongoDB集群，第二數據服務器集群為第二MongoDB集群，操作日志為MongoDB中的oplog。根據本專利技術的另一個實施例，提供了一種數據遷移方法，用于在數據服務器集群之間進行數據遷移，數據為與要遷移的業(yè)務相關的目標數據，包括：將第一數據服務器集群中存儲的在第一時間點及該第一時間點之前寫入的目標數據導入第二數據服務器集群；獲得與在第一時間點之后寫入第一數據服務器集群的目標數據相關聯的操作日志，操作日志至少包括寫入第一數據服務器集群中的目標數據的內容；根據獲得的操作日志更新第二數據服務器集群中的目標數據；檢測所述第一數據服務器集群和所述第二數據服務器集群的目標數據是否已同步；以及，在所述第一數據服務器集群和所述第二數據服務器集群的目標數據已同步之后，將連接數據服務器的入口地址由所述第一數據服務器集群的入口地址變更為所述第二數據服務器集群的入口地址。根據本專利技術的數據遷移系統(tǒng)和方法，一方面通過備份的方式將某個時間點之前的目標數據直接備份至新的數據服務器集群，另一方面利用操作日志將第一時間點之后寫入舊數據服務器集群的目標數據同步寫入到第二數據服務器集群，使得使新舊數據服務器集群基本實現了目標數據的同步，進而后續(xù)被遷移業(yè)務可以直接連接新數據服務器集群進行數據的寫入和讀取即可，在此過程中不需要停止要遷移的業(yè)務，由此解決了現有必須停機備份才能實現業(yè)務數據遷移的問題，取得了在不影響被遷移業(yè)務對外正常服務的情況下能夠完成業(yè)務數據遷移的有益效果。上述說明僅是本專利技術技術方案的概述，為了能夠更清楚了解本專利技術的技術手段，而可依照說明書的內容予以實施，并且為了讓本專利技術的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本專利技術的具體實施方式。附圖說明通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領域普通技術人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本專利技術的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：圖1示出了根據本專利技術一個實施例的用于數據服務器集群之間進行數據遷移的第一系統(tǒng)示意圖;圖2示出了根據本專利技術一個實施例的用于數據服務器集群之間進行數據遷移的第二系統(tǒng)示意圖;以及圖3示出了根據本專利技術一個實施例的數據遷移方法的流程圖。具本文檔來自技高網...

【技術保護點】
一種數據遷移系統(tǒng)，用于在數據服務器集群之間進行數據遷移，所述系統(tǒng)至少包括所述第一數據服務器集群和所述第二數據服務器集群，以及遷移設備，其中，所述數據為與要遷移的業(yè)務相關的目標數據；所述遷移設備包括：初始數據導入模塊，被配置為將第一數據服務器集群中存儲的在第一時間點及該第一時間點之前寫入的目標數據導入第二數據服務器集群；同步模塊，被配置為獲得與在所述第一時間點之后寫入所述第一數據服務器集群的目標數據相關聯的操作日志，所述操作日志至少包括寫入所述第一數據服務器集群中的目標數據的內容；以及更新模塊，被配置為根據所述同步模塊獲得的操作日志更新所述第二數據服務器集群中的目標數據。

【技術特征摘要】
1.一種數據遷移系統(tǒng)，用于在數據服務器集群之間進行數據遷移，所述系統(tǒng)至少包括第一數據服務器集群和第二數據服務器集群，以及遷移設備，其中，所述數據為與要遷移的業(yè)務相關的目標數據；所述遷移設備包括：初始數據導入模塊，被配置為將第一數據服務器集群中存儲的在第一時間點及該第一時間點之前寫入的目標數據導入第二數據服務器集群，所述將第一數據服務器集群中存儲的在第一時間點及該第一時間點之前寫入的目標數據導入第二數據服務器集群包括將所述第一數據服務器集群中第一從數據服務器中存儲的第一時間點及該第一時間點之前寫入的目標數據導入所述第二數據服務器集群，其中，所述第一數據服務器集群中包括主數據服務器和若干從數據服務器；同步模塊，被配置為獲得與在所述第一時間點之后寫入所述第一數據服務器集群的目標數據相關聯的操作日志，所述操作日志至少包括應用服務器在所述第一時間點之后每次寫入所述第一數據服務器集群中的目標數據的內容；以及更新模塊，被配置為根據所述同步模塊獲得的操作日志更新所述第二數據服務器集群中的目標數據；同步檢測模塊，被配置為基于所述第一數據服務器集群中的目標數據和所述第二數據服務器集群中的目標數據，和/或，基于與目標數據相關聯的操作日志中的寫入目標數據的時間戳、目標數據更新前、后的值，檢測所述第一數據服務器集群和所述第二數據服務器集群的目標數據是否已同步；地址更新模塊，被配置為在所述同步檢測模塊檢測到所述第一數據服務器集群和所述第二數據服務器集群的目標數據已同步之后，將連接數據服務器的入口地址由所述第一數據服務器集群的入口地址變更為所述第二數據服務器集群的入口地址。2.根據權利要求1的數據遷移系統(tǒng)，所述初始數據導入模塊包括：第一初始數據導入子模塊，被配置為將所述第一數據服務器集群中存儲的所述第一時間點及該第一時間點之前寫入的目標數據導入一存儲介質；第二初始數據導入子模塊，被配置為將所述導入至存儲介質中的目標數據導入所述第二數據服務器集群。3.根據權利要求2的數據遷移系統(tǒng)，其中，所述第一初始數據導入子模塊被配置為通過mongodump將所述第一數據服務器集群中存儲的所述第一時間點及該第一時間點之前寫入的目標數據備份至一存儲介質；以及第二初始數據導入子模塊被配置為通過mongorestore將備份至所述存儲介質中的目標數據導入所述第二數據服務器集群。4.根據權利要求1至3中任一項的數據遷移系統(tǒng)，所述遷移設備還包括：停用處理模塊，被配置為在第一時間點之后停止所述第一數據服務器集群中的第一從數據服務器的寫入操作。5.根據權利要求1至3中任一項的數據遷移系統(tǒng)，所述操作日志還包括如下信息中的一種或多種：寫入數據的時間戳；以及當寫入的數據是對原有數據的更新時，數據更新前的舊值。6.根據權利要求1至...

【專利技術屬性】
技術研發(fā)人員：桂勇哲，陳超，代兵，朱超，王超，
申請(專利權)人：北京奇虎科技有限公司，奇智軟件北京有限公司，
類型：發(fā)明
國別省市：