一種異常處理方法和裝置制造方法及圖紙

本發明專利技術實現一種異常處理方法和裝置，包括：獲取分布式業務處理過程中發生異常的原因和位置，將發生異常的原因和位置存儲在Hadoop數據庫Hbase中。通過本發明專利技術提供的技術方案，獲取了分布式系統發生異常的原因和位置，保證了對異常的及時處理，便于后期進行程序調試和系統維護。

Exception handling method and apparatus

The invention realizes an exception handling method and device, which comprises the following steps: obtaining the cause and position of an exception occurring in the distributed service processing process and storing the reason and position of the abnormal occurrence in the Hadoop database Hbase. Through the technical scheme provided by the invention, the causes and positions of the abnormal occurrence of the distributed system are obtained, and the prompt processing of the abnormality is ensured, so that the program debugging and the system maintenance can be carried out in the later stage.

【技術實現步驟摘要】
一種異常處理方法和裝置
本專利技術涉及計算機技術，尤指一種基于Hadoop分布式的異常處理方法和裝置。
技術介紹
Hadoop是由Apache基金會所開發的分布式系統基礎架構。Hadoop分布式框架的核心設計是：分布式文件系統(HDFS，HadoopDistributedFileSystem)和映射(Map)/規約(Reduce)。其中，HDFS為海量的數據提供了存儲，Map/Reduce為海量的數據提供了計算。Map/Reduce框架是一個簡易的分布式計算軟件框架，基于Hadoop分布式架構編寫的應用程序能夠運行在由上千個商用機器組成的大型分布式集群系統上，并且能夠以一種可靠容錯性的方式并行處理超過T級別的數據集。Map/Reduce框架由一個單獨的主節點(Master)和多個集群從節點(Slave)共同組成。針對Hadoop分布式的實現，現有的系統使用集群完全分布式配置模式，在完全分布式中，Master負責調度構成一個作業的所有任務并分布到不同的Slave上，Master監控Slave的執行，并重新執行失敗的任務，Slave僅負責執行由Master指派的任務。Hadoop分布式系統中，由于Slave分布在不同的機器上，且分布在未知的線程上，當不同的Slave執行Map或者Reduce產生異常時，相關技術中通常利用異常信息獲取函數e.getMessage()對異常進行處理，但是該函數只能獲取異常的原因，但是，由于不知道異常的具體位置，導致不能及時處理異常，影響了系統運行和維護。
技術實現思路
為了解決上述技術問題，本專利技術提供了一種異常處理方法和裝置，能夠獲取分布式系統的異常的原因和位置，從而保證對發生的異常進行及時處理。為了達到本專利技術目的，本專利技術提供了一種異常處理方法，包括：獲取業務處理過程中發生異常的原因和位置；所述業務處理過程包括執行Map程序和Reduce程序；將所述獲取的原因和位置存儲在預先創建的Hadoop數據庫Hbase中；所述Hbase包括由行鍵和列簇組成的記錄異常日志事件表；其中，所述列簇包括：用于記錄業務處理過程運行失敗的相關信息的列簇Job、用于記錄業務處理過程中Map程序運行失敗的異常的原因和位置的列簇Map，以及用于記錄業務處理過程中Reduce程序運行失敗的異常的原因和位置的列簇Reduce?？蛇x地，所述獲取異常的原因和位置之前，還包括：判斷所述業務處理過程運行是否失敗，當判斷出所述業務處理過程運行失敗時將所述業務處理過程運行失敗的相關信息保存到所述Hbase中；其中，所述運行失敗的相關信息包括：所述業務處理過程運行失敗的開始時間、運行失敗的結束時間、當前運行的任務名稱、失敗的狀態。可選地，當所述業務處理過程包括組件Combiner處理時，所述方法還包括：獲取所述組件Combiner處理過程中的異常的原因和位置并存儲在所述Hbase中。可選地，所述獲取業務處理過程中的異常的原因和位置包括：利用打印異常信息函數PrintStackTrace()獲取所述異常的原因和位置?？蛇x地，所述獲取業務處理過程中的異常的原因和位置之后，所述將所述異常的原因和位置存儲在Hadoop數據庫Hbase中之前，還包括：將所述異常的原因和位置的格式轉換成字符串格式。本專利技術還提供一種異常處理裝置，其特征在于，包括獲取模塊、處理模塊；其中，獲取模塊，用于獲取業務處理過程中的異常的原因和位置；所述業務處理過程包括執行Map程序和Reduce程序；處理模塊，用于將所述異常的原因和位置存儲在預先創建的Hadoop數據庫Hbase中；所述Hbase包括由行鍵和列簇組成的記錄異常日志事件表；其中，所述列簇包括：用于記錄業務處理過程運行失敗的相關信息的列簇Job、用于記錄業務處理過程中Map程序運行失敗的異常的原因和位置的列簇Map，以及用于記錄業務處理過程中Reduce程序運行失敗的異常的原因和位置的列簇Reduce?？蛇x地，還包括判斷模塊，用于：判斷出所述業務處理過程運行失敗，通知所述獲取模塊執行獲取業務處理過程中的異常的原因和位置的步驟；通知所述處理模塊將所述業務處理過程運行失敗的相關信息保存到所述Hbase中；其中，所述運行失敗的相關信息包括：所述業務處理過程運行失敗的開始時間、運行失敗的結束時間、當前運行的任務名稱、失敗的狀態?？蛇x地，所述獲取模塊，還用于當所述業務處理過程包括組件Combiner處理時，獲取所述組件Combiner處理過程中的異常的原因和位置并存儲在所述Hbase中?？蛇x地，所述獲取模塊具體用于：利用打印異常信息函數PrintStackTrace()獲取所述異常的原因和位置?？蛇x地，所述處理模塊還用于：將所述異常的原因和位置的格式轉換成字符串格式后再執行存儲在Hadoop數據庫Hbase中的步驟。與現有技術相比，本專利技術包括：在業務處理過程中獲取發生異常的原因和位置，并將發生的異常的原因和位置保存在Hbase。通過本專利技術提供的技術方案，獲取了分布式系統發生的異常的原因和位置，保證了對異常的及時處理，便于后期進行程序調試和系統維護。本專利技術的其它特征和優點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本專利技術而了解。本專利技術的目的和其他優點可通過在說明書、權利要求書以及附圖中所特別指出的結構來實現和獲得。附圖說明附圖用來提供對本專利技術技術方案的進一步理解，并且構成說明書的一部分，與本申請的實施例一起用于解釋本專利技術的技術方案，并不構成對本專利技術技術方案的限制。圖1為本專利技術實現異常獲取方法的流程圖；圖2為本專利技術實現判斷Map/Reduce程序運行是否出現異常的流程圖；圖3為本專利技術實現異常獲取裝置的組成結構示意圖。具體實施方式為使本專利技術的目的、技術方案和優點更加清楚明白，下文中將結合附圖對本專利技術的實施例進行詳細說明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互任意組合。在附圖的流程圖示出的步驟可以在諸如一組計算機可執行指令的計算機系統中執行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執行所示出或描述的步驟。圖1為本專利技術實現異常獲取的流程圖，如圖1所示，包括：步驟100：獲取業務處理過程中發生異常的原因和位置，業務處理過程包括執行Map程序和Reduce程序；其中，在Hadoop分布式系統中可以利用Map/Reduce進行業務處理過程，即業務處理過程包括執行Map程序和Reduce程序，而由于數據源等多方面的原因，會在Map/Reduce執行過程中產生異常，從而導致Map/Reduce運行失敗，為了獲取產生的異常，本步驟中，可以利用獲取異常信息的函數，如打印異常信息函數PrintStackTrace()獲取異常的原因和位置。步驟101：將獲取的原因和位置存儲在預先創建的Hadoop數據庫Hbase中。其中，Hbase至少包括由行鍵和列簇組成的記錄異常日志事件表。本專利技術的記錄異常日志事件表的列簇至少包括：列簇job、列簇map、列簇reduce，其中，列簇job：用于記錄業務處理過程運行失敗的相關信息，比如包括：程序運行失敗的開始時間job:beginTime、程序運行失敗的結束時間job:endTime、任務的名稱j本文檔來自技高網...

【技術保護點】
一種異常處理方法，其特征在于，包括：獲取業務處理過程中發生異常的原因和位置；所述業務處理過程包括執行Map程序和Reduce程序；將所述獲取的原因和位置存儲在預先創建的Hadoop數據庫Hbase中；所述Hbase包括由行鍵和列簇組成的記錄異常日志事件表；其中，所述列簇包括：用于記錄業務處理過程運行失敗的相關信息的列簇Job、用于記錄業務處理過程中Map程序運行失敗的異常的原因和位置的列簇Map，以及用于記錄業務處理過程中Reduce程序運行失敗的異常的原因和位置的列簇Reduce。

【技術特征摘要】
1.一種異常處理方法，其特征在于，包括：獲取業務處理過程中發生異常的原因和位置；所述業務處理過程包括執行Map程序和Reduce程序；將所述獲取的原因和位置存儲在預先創建的Hadoop數據庫Hbase中；所述Hbase包括由行鍵和列簇組成的記錄異常日志事件表；其中，所述列簇包括：用于記錄業務處理過程運行失敗的相關信息的列簇Job、用于記錄業務處理過程中Map程序運行失敗的異常的原因和位置的列簇Map，以及用于記錄業務處理過程中Reduce程序運行失敗的異常的原因和位置的列簇Reduce。2.根據權利要求1所述的方法，其特征在于，所述獲取異常的原因和位置之前，還包括：判斷所述業務處理過程運行是否失敗，當判斷出所述業務處理過程運行失敗時，將所述業務處理過程運行失敗的相關信息保存到所述Hbase中；其中，所述運行失敗的相關信息包括：所述業務處理過程運行失敗的開始時間、運行失敗的結束時間、當前運行的任務名稱、失敗的狀態。3.根據權利要求1所述的方法，其特征在于：當所述業務處理過程包括組件Combiner處理時，所述方法還包括：獲取所述組件Combiner處理過程中的異常的原因和位置并存儲在所述Hbase中。4.根據權利要求1、2或3所述的方法，其特征在于，所述獲取業務處理過程中的異常的原因和位置包括：利用打印異常信息函數PrintStackTrace()獲取所述異常的原因和位置。5.根據權利要求1、2或3所述的方法，其特征在于，所述獲取業務處理過程中的異常的原因和位置之后，所述將所述異常的原因和位置存儲在Hadoop數據庫Hbase中之前，還包括：將所述異常的原因和位置的格式轉換成字符串格式。6...

【專利技術屬性】
技術研發人員：陳金添，
申請(專利權)人：努比亞技術有限公司，
類型：發明
國別省市：廣東,44