一種上傳數據處理系統及方法技術方案

本發明專利技術公開了一種上傳數據處理系統，該系統包括至少兩個上傳數據處理子系統，所述上傳數據處理子系統包括：用戶數據接收模塊、數據匯總模塊以及數據處理模塊；用戶數據接收模塊，用于接收用戶上傳的數據，將該數據轉發至本地子系統的數據匯總模塊以及其他子系統的數據匯總模塊；數據匯總模塊，用于接收本地子系統以及其他子系統的用戶數據接收模塊所發送的數據，將接收到的數據轉發至本地子系統的數據處理模塊；數據處理模塊，用于對數據匯總模塊發送的數據進行存儲。應用上述方案，在多IDC網站架構中，可以有效提升上傳速度。另一方面，用戶需要瀏覽自己剛剛上傳的內容時，也具有較快的響應速度。

【技術實現步驟摘要】

本專利技術涉及互聯網應用
，特別是涉及。
技術介紹
互聯網的出現，使得每條接入網絡的終端都能夠互聯互通、共享資源。但是在實際應用中，終端之間的通信速度要收到多方面因素的影響，例如接入用戶的數量、地理位置的遠近、提供接入服務的運營商是否相同，等等。針對上述問題，很多大型網站都采用多IDC(Internet Data Center,互聯網數據中心)的方案，即除了網站的主服務器之外,還在不同的地理位置、或者不同網絡中配置與主服務器具有相同內容的鏡像服務器，當用戶需要從網站獲取數據時，網站可以自動選擇一個距離用戶較近(地理距離或網絡距離)的服務器，也可以讓用戶手動選擇，根據選擇結果，建立相應服務器與用戶終端的連接，后續用戶從該服務器獲取網站數據，從而實現較快的訪問速度。 隨著互聯網的發展，除了從網站獲取數據之外，用戶的各種上傳需求也在不斷增力口。目前在多IDC網站架構中，用戶上傳數據時，數據是直接上傳至主服務器，然后網站內部再將上傳內容從主服務器同步到各個鏡像服務器。這種上傳數據處理方式的缺陷是如果用戶所處位置距離主服務器較遠，上傳速度必然會受到影響。另一方面，由于用戶在瀏覽時一般是從距離較近的服務器中獲取數據，而數據從主服務器同步到鏡像服務器又需要進一步的延遲，這就導致用戶無法立刻瀏覽到自己剛剛上傳的內容，造成較差的用戶體驗。
技術實現思路
為解決上述技術問題，本專利技術實施例提供，技術方案如下本專利技術實施例提供一種上傳數據處理系統，該系統包括至少兩個上傳數據處理子系統，所述上傳數據處理子系統包括用戶數據接收模塊、數據匯總模塊以及數據處理模塊；用戶數據接收模塊，用于接收用戶上傳的數據，將該數據轉發至本地子系統的數據匯總模塊以及其他子系統的數據匯總模塊；數據匯總模塊，用于接收本地子系統以及其他子系統的用戶數據接收模塊所發送的數據，將接收到的數據轉發至本地子系統的數據處理模塊；數據處理模塊，用于對數據匯總模塊發送的數據進行存儲。根據本專利技術的一種具體實施方式，所述系統中的不同上傳數據處理子系統，位于不同的地理位置，或者位于不同的接入網絡。根據本專利技術的一種具體實施方式，所述上傳數據處理子系統還包括用戶連接檢測模塊，用于在接收到用戶的數據上傳請求后，根據用戶終端當前的網絡接入情況，從系統中選擇與用戶終端具有較好連接質量的子系統，并將所述上傳請求轉發至所選擇的子系統。根據本專利技術的一種具體實施方式，所述用戶連接檢測模塊，具體用于根據用戶終端與子系統的地理位置距離，和/或根據用戶終端與子系統的網絡位置距離，從系統中選擇與用戶終端具有較好連接質量的子系統。根據本專利技術的一種具體實施方式，所述數據處理模塊，還用于響應用戶對所存儲數據的瀏覽請求。本專利技術實施例還提供一種上傳數據處理方法，該方法包括 用戶數據接收模塊接收用戶上傳的數據，將該數據轉發至本地子系統的數據匯總模塊以及其他子系統的數據匯總模塊；數據匯總模塊接收本地子系統以及其他子系統的用戶數據接收模塊所發送的數據，將接收到的數據轉發至本地子系統的數據處理模塊；數據處理模塊對數據匯總模塊發送的數據進行存儲。根據本專利技術的一種具體實施方式，不同的子系統位于不同的地理位置，或者位于不同的接入網絡。根據本專利技術的一種具體實施方式，所述方法還包括在接收到用戶的數據上傳請求后，根據用戶終端當前的網絡接入情況，選擇與用戶終端具有較好連接質量的子系統，并將所述上傳請求轉發至所選擇的子系統。根據本專利技術的一種具體實施方式，所述根據用戶終端當前的網絡接入情況，選擇與用戶終端具有較好連接質量的子系統，包括根據用戶終端與子系統的地理位置距離，和/ 或根據用戶終端與子系統的網絡位置距離，選擇與用戶終端具有較好連接質量的子系統。根據本專利技術的一種具體實施方式，所述方法還包括數據處理模塊利用所存儲的數據響應用戶的瀏覽請求。應用本專利技術實施所提供的方案，在多IDC網站架構中，用戶上傳數據時，數據并不上傳至主服務器，而是上傳至與用戶距離較近的服務器，與現有技術相比，可以有效提升上傳速度。另一方面，如果用戶需要立刻瀏覽自己剛剛上傳的內容，可以直接從之前接收上傳數據服務器中獲取數據，這個過程不會受到數據同步延時的影響，因此具有較快的響應速度。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術中記載的一些實施例，對于本領域普通技術人員來講，還可以根據這些附圖獲得其他的附圖。圖I為本專利技術實施例的多IDC架構示意圖；圖2為本專利技術實施例上傳數據處理裝置的一種結構示意圖3為本專利技術實施例上傳數據處理方法的一種流程圖。具體實施例方式圖I所示，為多IDC (Internet Data Center,互聯網數據中心)網站架構的一種示意圖，其中包括一個主IDC和多個鏡像IDC，每個IDC可以包含一臺服務器，更普遍的情況是以服務器群的形式，其由多個不同功能的服務器組成，包括應用服務器、計數信息服務器、產品信息服務器等。每個IDC構成一個網站子系統，并且每個鏡像IDC中所存儲的內容與主I⑶中所存儲的內容一致。其中，鏡像IDC可以按照地理區域進行劃分，例如北京IDC、上海IDC、香港IDC等等，也可以按照網絡邏輯進行劃分，例如電信IDC、聯通IDC，當然，也可以結合以上兩種劃分方式，例如北京電信IDC、北京聯通IDC等等。用戶在瀏覽網站內容時，可以根據終端所處的實際網絡接入情況，選擇具有較好連接質量的IDC，從相應的IDC獲取網站內容。然而，根據現有技術的實現方式，對于用戶上傳的數據，需要先上傳至主IDC，然后 再由網站內部將上傳內容同步到各個鏡像IDC，如圖I所示，從接入狀況來看，用戶終端300距離鏡像IDC 210最近(這里的距離可以是地理意義上的距離，也可以是網絡意義上的距離)，但是當用戶上傳數據時，仍然要將數據先上傳至主IDC 100，由于主IDC 100與用戶終端300距離較遠，因此上傳速度會收到影響。另一方面，主IDC 100接收到完整的上傳數據后，才能將數據分別同步至各個鏡像IDC，同步過程需要消耗時間，而用戶在上傳完畢后，存在希望立刻看到自己剛剛上傳內容的需求。例如，根據多IDC架構的工作原理，用戶終端300會從距離最近的鏡像IDC 210獲取數據，如果用戶發出瀏覽請求時，主IDC 100至鏡像IDC 210的數據同步還沒有完成，就會出現無法正確響應用戶瀏覽請求的情況。針對上述技術問題，本專利技術實施例提供的方案是在處理用戶上傳數據時，不區分主IDC還是鏡像IDC，而是在每個IDC中都配置處理用戶上傳數據的功能。圖2所示，為本專利技術實施例所提供的上傳數據處理系統的示意圖，該系統包括兩個或兩個以上的上傳數據處理子系統子系統，圖2中僅示意出兩個子系統的情況，分別以210和220標識。不同的子系統可以分別配置在不同的IDC中，實現數據上傳處理功能。從邏輯功能上劃分，每個子系統可以包括用戶數據接收模塊211/221、數據匯總模塊212/222以及數據處理模塊213/223 ;在實際應用中，上述模塊可以位于同一實體設備中，也可以分布在同一 IDC的不同實體設備中，而且在一個IDC中，可以包含一個或多個上述子系統。以下將對這幾個模塊的本文檔來自技高網...

【技術保護點】
一種上傳數據處理系統，其特征在于，該系統包括至少兩個上傳數據處理子系統，所述上傳數據處理子系統包括：用戶數據接收模塊、數據匯總模塊以及數據處理模塊；用戶數據接收模塊，用于接收用戶上傳的數據，將該數據轉發至本地子系統的數據匯總模塊以及其他子系統的數據匯總模塊；數據匯總模塊，用于接收本地子系統以及其他子系統的用戶數據接收模塊所發送的數據，將接收到的數據轉發至本地子系統的數據處理模塊；數據處理模塊，用于對數據匯總模塊發送的數據進行存儲。

【技術特征摘要】
1.一種上傳數據處理系統，其特征在于，該系統包括至少兩個上傳數據處理子系統，所述上傳數據處理子系統包括用戶數據接收模塊、數據匯總模塊以及數據處理模塊； 用戶數據接收模塊，用于接收用戶上傳的數據，將該數據轉發至本地子系統的數據匯總模塊以及其他子系統的數據匯總模塊； 數據匯總模塊，用于接收本地子系統以及其他子系統的用戶數據接收模塊所發送的數據，將接收到的數據轉發至本地子系統的數據處理模塊； 數據處理模塊，用于對數據匯總模塊發送的數據進行存儲。2.根據權利要求I所述的系統，其特征在于，所述系統中的不同上傳數據處理子系統，位于不同的地理位置，或者位于不同的接入網絡。3.根據權利要求I所述的系統，其特征在于，所述上傳數據處理子系統還包括 用戶連接檢測模塊，用于在接收到用戶的數據上傳請求后，根據用戶終端當前的網絡接入情況，從系統中選擇與用戶終端具有較好連接質量的子系統，并將所述上傳請求轉發至所選擇的子系統。4.根據權利要求3所述的系統，其特征在于，所述用戶連接檢測模塊，具體用于 根據用戶終端與子系統的地理位置距離， 和/或 根據用戶終端與子系統的網絡位置距離， 從系統中選擇與用戶終端具有較好連接質量的子系統。5.根據權利要求I所述的系統，...

【專利技術屬性】
技術研發人員：文維東，李哲，薛飛，
申請(專利權)人：北京百度網訊科技有限公司，
類型：發明
國別省市：