分布式文件系統及其故障處理方法技術方案

本發明專利技術公開了一種分布式文件系統及其故障處理方法，其中，該方法包括：在分布式文件系統中存在故障節點的情況下，從所述分布式文件系統中的其他節點中選擇備份節點；所述故障節點向所述備份節點發送接管請求，且所述故障節點進行重啟；所述分布式文件系統對重啟后的所述故障節點分配任務。借助于本發明專利技術的上述技術方案，通過在確定分布式文件系統中存在故障節點的情況下，從其他節點中選擇負載最輕的節點作為備份節點，向其發送接管請求，備份節點的服務進程進行服務的接管，且重啟故障節點再對其進行任務分配，能夠保證文件系統的不間斷服務，有效應對故障情況，提高分布式文件系統的可靠性。

【技術實現步驟摘要】

本專利技術涉及計算機領域，并且特別地，涉及一種。
技術介紹
為了保證分布式文件系統的高可靠性，對于分布式文件系統中的關鍵服務，如元數據服務、數據服務等，都需要通過冗余的方式來提高其可靠性。對于可靠性的實現方法，一般有兩種(I)主備方式主節點進行系統服務，備份節點不工作，處于備份狀態，一旦主節點出現故障，則將服務切換到備份節點，由備份節點提供服務，當故障節點修復完成之后，變成新的備份節點，等待后續切換；(2)熱備模式在該模式下，正常情況下，高可靠組中間的所有節點都向外提供不同的服務，同時互為備份。當某一個節點出現故障時，高可靠組中的其他節點接管故障節點的服務。現有的高可用系統，一般支持雙機高可用，通過兩個節點之間的心跳消息判定節點故障并進行備份系統的切換。或采用多機均衡方式，該方式實現中存在一個前端節點，和多個后端服務節點，前端節點負責監控后端節點，并將服務請求轉向到后端服務節點，后端服務節點定期向前端節點報告節點狀態，并對傳入的請求進行服務。多機機群方式，指多個節點組成一個高可靠性組，節點內部的某一個節點出現故障，系統內部的其他節點根據規則進行接管。現有的高可靠性系統的協議實現較為簡單，如雙機熱備份的方式只支持雙機的服務備份，多機負載均衡只支持單一的服務，同時需要復雜的前端節點的服務重定向。同時多機機群方式在實現上往往比較復雜。分布式文件系統對可靠性的需求相對復雜，在節點出現故障之后，需要通知可靠性組中相關節點準備接管，選擇一個負載低的節點接管服務；在系統恢復之后，需要進行上線處理。對于分布式文件系統的特殊環境來說，現有可靠性協議支持不足。并且，在目前的方案中，恢復后重新上線的節點不能夠投入工作，導致系統中可工作和進行后續備份的節點數量減少，既不利于提高系統的可靠性，還會導致系統的資源利用率降低。針對相關技術中分布式文件系統可靠性低、系統資源利用率差的問題，目前尚未提出有效的解決方案。
技術實現思路
針對相關技術中分布式文件系統可靠性低、系統資源利用率差的問題，本專利技術提出一種，能夠重啟故障節點且對其重新分配任務，保證文件系統的不間斷服務，有效應對故障情況，并提高分布式文件系統的可靠性和資源利用率。本專利技術的技術方案是這樣實現的根據本專利技術的一個方面，提供了一種分布式文件系統的故障處理方法，其特征在于，故障處理方法包括在分布式文件系統中存在故障節點的情況下，從分布式文件系統中的其他節點中選擇備份節點；故障節點向備份節點發送接管請求，且故障節點進行重啟；分布式文件系統對重啟后的故障節點分配任務。此外，該方法還包括通過以下方式確定分布式文件系統中的節點是否出現故障在分布式文件系統中節點的監控進程在預定周期內未收到該節點的服務進程發送的心跳消息的情況下，分布式文件系統中的其他部分或全部節點向該節點發送待響應消息；如果該節點無法對來自其他節點的待響應消息進行響應，則確定該節點為故障節點。其中，該方法進一步包括服務進程按預定周期向監控進程發送心跳消息； 監控進程實時查詢服務進程的心跳消息。另外，從分布式文件系統中的其他節點中選擇備份節點包括選擇分布式文件系統中負載最輕的節點作為備份節點接管故障節點的服務。可選地,故障節點向備份節點發送接管請求包括故障節點的服務進程通過數據網絡向分布式文件系統中的備份節點的服務進程發送接管請求。其中，在故障節點向備份節點發送接管請求之后，故障處理方法進一步包括備份節點接收接管請求，該備份節點的服務進程進行服務的接管。另外，分布式文件系統對重啟后的故障節點分配任務包括根據分布式文件系統中除了重啟后的故障節點之外其他部分或全部節點的負載對該重啟后的故障節點分配任務。根據本專利技術的另一個方面，提供了一種分布式文件系統，包括多個節點、選擇模塊、任務分配模塊；其中，選擇模塊用于在分布式文件系統中存在故障節點的情況下，從分布式文件系統中的其他節點中選擇備份節點；每個節點包括重啟操作模塊，用于在所在節點出現故障的情況下對所在節點進行重啟；任務分配模塊，用于對分布式文件系統中重啟后的故障節點分配任務。此外，該分布式文件系統還包括確定模塊，用于在分布式文件系統中節點的監控進程在預定周期內未收到該節點的服務進程發送的心跳消息、且該節點無法對來自其他節點的待響應消息進行響應的情況下，確定該節點為故障節點。其中，任務分配模塊用于根據分布式文件系統中除了重啟后的故障節點之外其他部分或全部節點的負載，對該重啟后的故障節點分配任務。本專利技術通過在確定分布式文件系統中存在故障節點的情況下，從其他節點中選擇負載最輕的節點作為備份節點，向其發送接管請求，備份節點的服務進程進行服務的接管，且重啟故障節點再對其進行任務分配，能夠保證文件系統的不間斷服務，有效應對故障情況，提高分布式文件系統的可靠性。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1是根據本專利技術實施例的分布式文件系統的故障處理方法的流程圖；圖2是根據本專利技術實施例的分布式文件系統的故障處理方法的實現原理示意圖；圖3是根據本專利技術實施例的分布式文件系統的故障處理方法中故障節點確定及通知的原理不意圖；圖4是根據本專利技術的實施例的分布式文件系統的框圖。具體實施例方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員所獲得的所有其他實施例，都屬于本專利技術保護的范圍。根據本專利技術的實施例，提供了一種分布式文件系統的故障處理方法。如圖1所示，根據本專利技術實施例的分布式文件系統的故障處理方法，包括步驟101，在分布式文件系統中存在故障節點的情況下，從分布式文件系統中的其他節點中選擇備份節點；步驟103，故障節點向備份節點發送接管請求，且故障節點進行重啟；步驟105，分布式文件系統對重啟后的故障節點分配任務。此外，該方法還可以包括通過以下方式確定分布式文件系統中的節點是否出現故障在分布式文件系統中節點的監控進程在預定周期內未收到該節點的服務進程發送的心跳消息的情況下，分布式文件系統中的其他部分或全部節點向該節點發送待響應消息；如果該節點無法對來自其他節點的待響應消息進行響應，則確定該節點為故障節點。其中，在上述方法中，服務進程按預定周期向監控進程發送心跳消息；監控進程實時查詢服務進程的心跳消息。另外，從分布式文件系統中的其他節點中選擇備份節點包括選擇分布式文件系統中負載最輕的節點作為備份節點接管故障節點的服務。可選地，故障節點向備份節點發送接管請求包括故障節點的服務進程通過數據網絡向分布式文件系統中的備份節點的服務進程發送接管請求。其中，在故障節點向備份節點發送接管請求之后，根據本專利技術的分布式文件系統的故障處理方法可以進一步包括備份節點接收接管請求，該備份節點的服務進程進行服務的接管。另外，分布式文件系統對重啟后的故障節點分配任務包括根據分布式文件系統中除了重啟后的故障節點之外其他部分或全部節點的負載對該重啟后的故障節點分配任務。根據本專利技術實施例的分本文檔來自技高網...

【技術保護點】
一種分布式文件系統的故障處理方法，其特征在于，所述故障處理方法包括：在分布式文件系統中存在故障節點的情況下，從所述分布式文件系統中的其他節點中選擇備份節點；所述故障節點向所述備份節點發送接管請求，且所述故障節點進行重啟；所述分布式文件系統對重啟后的所述故障節點分配任務。

【技術特征摘要】
1.一種分布式文件系統的故障處理方法，其特征在于，所述故障處理方法包括在分布式文件系統中存在故障節點的情況下，從所述分布式文件系統中的其他節點中選擇備份節點；所述故障節點向所述備份節點發送接管請求，且所述故障節點進行重啟；所述分布式文件系統對重啟后的所述故障節點分配任務。2.根據權利要求1所述的故障處理方法，其特征在于，進一步包括通過以下方式確定所述分布式文件系統中的節點是否出現故障在所述分布式文件系統中節點的監控進程在預定周期內未收到所述該節點的服務進程發送的心跳消息的情況下，所述分布式文件系統中的其他部分或全部節點向該節點發送待響應消息；如果該節點無法對來自其他節點的待響應消息進行響應，則確定該節點為故障節點。3.根據權利要求2所述的故障處理方法，其特征在于，進一步包括所述服務進程按預定周期向所述監控進程發送心跳消息；所述監控進程實時查詢所述服務進程的心跳消息。4.根據權利要求1所述的故障處理方法，其特征在于，從所述分布式文件系統中的其他節點中選擇備份節點包括選擇所述分布式文件系統中負載最輕的節點作為備份節點接管所述故障節點的服務。5.根據權利要求1所述的故障處理方法，其特征在于，所述故障節點向所述備份節點發送接管請求包括所述故障節點的服務進程通過數據網絡向所述分布式文件系統中的備份節點的服務進程發送接管請求。6.根...

【專利技術屬性】
技術研發人員：張攀勇，苗艷超，趙力，
申請(專利權)人：曙光信息產業北京有限公司，
類型：發明
國別省市：