分布式定時任務調度系統技術方案

本發明專利技術提供了一種分布式定時任務調度方法，包括如下步驟：a)任務分發者系統啟動，監聽任務提交者系統的提交任務和任務執行者系統中的任務執行者的注冊；b)所述任務執行者系統啟動，自動向所述任務分發者系統注冊；c)所述任務提交者系統向所述任務分發者系統提交任務；d)所述任務分發者系統收到任務后，通知所述任務執行者系統中的已注冊的與所述任務對應的任務執行者來取走所述任務；e)所述與所述任務對應的任務執行者取走所述任務并執行所述任務。利用本發明專利技術的分布式定時任務調度系統具有管理簡單、操作方便等特點，能夠解決程序數目較多，且管理混亂等問題。

【技術實現步驟摘要】
分布式定時任務調度系統
本專利技術涉及客戶端/服務器系統的任務管理，特別涉及一種基于客戶端/服務器系統分布式定時任務調度系統。
技術介紹
客戶端/服務器結構(即Client/Server結構，簡稱C/S結構)是計算機領域中熟知的一種客戶機和服務器結構。這是一種軟件系統體系結構，可以充分利用客戶機和服務器兩端的硬件環境的優勢，將任務合理分配到客戶機(Client)端和服務器(Server)端來實現，從而降低了系統的通訊開銷。服務器端通常采用高性能的PC、工作站或小型機，并采用大型數據庫系統，如ORACLE、SYBASE、InfORMix或SQLServer。客戶端需要安裝專用的客戶端軟件。C/S結構的優點是能充分發揮客戶端PC的處理能力，很多工作可以在客戶端處理后再提交給服務器。而且，數據的儲存管理功能較為透明。目前大多數應用軟件系統都是Client/Server形式的兩層結構。在客戶端/服務器結構的系統中，經常會有許多需要重復執行的任務或程序。如：生成周報的程序需要每周執行一次、發送郵件的程序需要每天凌晨3點執行一次、分析日志的程序需要每天凌晨1點執行一次、信息采集的程序需要每兩小時執行一次等等。還有一些程序需要在特定的情況下手動觸發執行。這些以周期性重復執行的任務或程序具有如下一些相同點：需要重復執行、需要定時執行、編寫程序時需要考慮定時邏輯等。如果在客戶端/服務器結構的系統中這樣的任務或程序數目較多，就會使得客戶端/服務器結構的系統的管理十分復雜混亂，容易出錯，造成系統不穩定等問題。在現有技術中，為了解決這類重復執行的任務或程序的分配和管理問題，可以將這些需要定時重復執行的任務部署在一臺服務器上，那么這個定時任務就是整個系統的單點。然而，在單點模式下如果這臺服務器出現故障的話會影響整個服務。對于可以冗余的任務(重復運行不影響服務)，也可以部署在多臺服務器上，讓它們同時執行，這樣就可以很簡單的避免單點。但是如果任務不允許冗余，最多只能有一臺服務器執行任務，會產生互斥任務的單點問題。因此，需要一種能夠解決定時重復執行的任務的管理問題，以達到管理簡單，操作方便的目的分布式定時任務調度方法和系統。
技術實現思路
本專利技術的目的是提供一種分布式定時任務調度方法，包括如下步驟：a)任務分發者系統啟動，監聽任務提交者系統的提交任務和任務執行者系統中的任務執行者的注冊；b)所述任務執行者系統啟動，自動向所述任務分發者系統注冊；c)所述任務提交者系統向所述任務分發者系統提交任務；d)所述任務分發者系統收到任務后，通知所述任務執行者系統中的已注冊的與所述任務對應的任務執行者來取走所述任務；e)所述與所述任務對應的任務執行者取走所述任務并執行所述任務。優選地，還包括關閉所述任務分發者系統的步驟如下：h)所述任務提交者系統向任務分發者系統發送表示關閉任務分發者系統的命令；i)所述任務分發者系統停止接受任務；j)所述任務分發者系統向所述任務執行者系統發送任務集群命令；k)所述任務執行者系統將現有任務轉入集群；l)所述任務執行者系統將包括現有任務的集群返回所述任務分發者；m)所述任務分發者系統關機。優選地，在步驟b中，所述任務執行者系統向所述任務分發者系統注冊的信息包括：每個所述任務執行者的功能信息、唯一標示、最大負載、及輸入輸出參數。優選地，在步驟c中，所述任務提交者系統定時提交任務。優選地，在步驟e之后，向所述任務分發者系統返回包括表示任務執行成功或任務異常的信息。優選地，從步驟a至步驟m都采用Gearman傳輸協議，請求和響應被封裝成二進制數據包，所述二進制數據包包含一個文件頭以及數據內容。優選地，所述二進制數據包僅包含數據內容。優選地，所述文件頭的格式如下：所述文件頭為12個Byte，由4byte的MagicCode、4byte的消息類型和4byte的數據大小信息組成。優選地，所述任務提交者系統包括2個任務提交者，所述任務分發者系統包括2個任務分發者。優選地，所述任務提交者系統具有用戶界面接口。利用本專利技術的分布式定時任務調度系統具有管理簡單、操作方便等特點，能夠解決程序數目較多，且管理混亂等問題。附圖說明參考隨附的附圖，本專利技術更多的目的、功能和優點將通過本專利技術實施方式的如下描述得以闡明，其中：圖1示意性地示出了本專利技術的分布式定時任務調度系統的系統框圖；圖2示意性地示出了本專利技術的分布式定時任務調度系統的方法流程圖。圖3示意性地示出了本專利技術的分布式定時任務調度系統的關閉服務器的方法流程圖。具體實施方式通過參考示范性實施例，本專利技術的目的和功能以及用于實現這些目的和功能的方法將得以闡明。然而，本專利技術并不受限于以下所公開的示范性實施例；可以通過不同形式來對其加以實現。說明書的實質僅僅是幫助相關領域技術人員綜合理解本專利技術的具體細節。在下文中，將參考附圖描述本專利技術的實施例。在附圖中，相同的附圖標記代表相同或類似的部件，或者相同或類似的步驟。圖1示意性地示出了本專利技術的分布式定時任務調度系統的系統框圖。本專利技術的分布式定時任務調度系統100包括3個子系統：任務提交者系統110、任務分發者系統120和任務執行者系統130。各子系統之間基于自定義協議(基于TCP/IP網絡通信協議)通信。下面關于自定義協議進行解釋。本系統的自定義協議的通信規則步驟為：步驟1，任務分發者系統120啟動，監聽任務提交者系統110的提交任務和任務執行者系統130中的任務執行者的注冊；步驟2，任務執行者系統130啟動，自動向任務分發者系統120注冊，告知自己能做的哪些任務和自己的編號；步驟3，任務提交者系統110向任務分發者系統120提交任務；步驟4，任務分發者系統120收到后，通知任務執行者系統130中的已注冊的能做該任務的任務執行者來取走任務；步驟5，其中一個任務執行者取走任務，執行，并告知任務分發者系統120完成或異常。以上五個步驟每個步驟都采用的Gearman傳輸協議，請求和響應被封裝成二進制數據包，該二進制數據包包含一個文件頭以及數據內容。文件頭格式如下：文件頭為12個Byte，分別有4byte的MagicCode、4byte的消息類型和4byte的數據大小信息組成。優選地，該二進制數據包也可以僅包含數據內容。例如：MagicCode分別為，"\0REQ"或"\0RES"，"\0REQ"代表請求，"\0RES"代表響應。優選地，本系統將三個子系統，即任務提交者系統110、任務分發者系統120，以及任務執行者系統130完全解耦。從而方便系統的擴展與升級，避免單點故障，提高工作效率。該自定義協議優選設置為，通信內容以命令+數據的方式在各子系統間傳送。例如，在任務執行者系統130啟動時，會向任務分發者系統120注冊，使用SET_CLIENT_ID命令，并加上自己的ID號發送給任務分發者端。此處的向任務分發者系統120注冊的含義為，將任務執行者系統130中的各任務執行者能夠處理的任務以及各任務執行者的編號告知任務分發者。任務提交者系統110具有用戶界面接口，例如以web方式呈現的交互式頁面。用戶或管理員可以通過任務提交者系統110發起添加新任務，任務提交者系統110會將任務數據存入數據庫113。當需要提取任務數據時，任務提交者系統110會從數據庫113取出任務本文檔來自技高網...

【技術保護點】
一種分布式定時任務調度方法，其特征在于，包括如下步驟：a)任務分發者系統啟動，監聽任務提交者系統的提交任務和任務執行者系統中的任務執行者的注冊;b)所述任務執行者系統啟動，自動向所述任務分發者系統注冊；c)所述任務提交者系統向所述任務分發者系統提交任務；d)所述任務分發者系統收到任務后，通知所述任務執行者系統中的已注冊的與所述任務對應的任務執行者來取走所述任務；e)所述與所述任務對應的任務執行者取走所述任務并執行所述任務。

【技術特征摘要】
1.一種分布式定時任務調度方法，其特征在于，包括如下步驟：a)任務分發者系統啟動，監聽任務提交者系統的提交任務和任務執行者系統中的任務執行者的注冊；b)所述任務執行者系統啟動，自動向所述任務分發者系統注冊；c)所述任務提交者系統向所述任務分發者系統提交任務；d)所述任務分發者系統收到任務后，通知所述任務執行者系統中的已注冊的與所述任務對應的任務執行者來取走所述任務；e)所述與所述任務對應的任務執行者取走所述任務并執行所述任務；h)所述任務提交者系統向任務分發者系統發送表示關閉任務分發者系統的命令；i)所述任務分發者系統停止接受任務；j)所述任務分發者系統向所述任務執行者系統發送任務集群命令；k)所述任務執行者系統將現有任務轉入集群；l)所述任務執行者系統將包括現有任務的集群返回所述任務分發者；m)所述任務分發者系統關機。2.根據權利要求1所述的方法，其特征在于，在步驟b中，所述任務執行者系統向所述任務分發者系統...

【專利技術屬性】
技術研發人員：廖祿平，朱廷發，蔡敏，何正軍，
申請(專利權)人：五八同城信息技術有限公司，
類型：發明
國別省市：