本申請公開了一種分布式計算框架及分布式計算處理方法，該分布式計算框架包括：分布式計算引擎Spark驅動端、多個Spark從節點和Spring Boot模塊；Spring Boot模塊包括Spring Boot框架中容器管理的第一對象和至少一個第二對象，各第二對象各自對應一個分布式計算業務邏輯，且，各第二對象對應的分布式計算業務邏輯相互具有差異，第一對象為將Spark驅動端中的SparkSession注入到容器中得到的；第二對象，用于基于其對應的分布式計算業務邏輯，獲得分布式計算信息，調用第一對象，以使得第一對象使用Spark驅動端的驅動功能，將所述分布式計算信息發送給各Spark從節點。式計算信息發送給各Spark從節點。式計算信息發送給各Spark從節點。
【技術實現步驟摘要】
一種分布式計算框架及分布式計算處理方法
[0001]本申請涉及計算機
，更具體地說，涉及一種分布式計算框架及分布式計算處理方法。
技術介紹
[0002]目前，在企業的數據規模龐大且業務的邏輯也極為復雜的情況下，為保證數據計算的時效性，一般會基于分布式計算框架來進行大規模數據的處理及對繁雜的業務邏輯進行合理設計。
[0003]其中，目前，為了實現企業級的大規模數據處理和復雜的業務邏輯，一般需要開發人員采用原生Java編程的方式，基于Java語言編寫復雜的業務代碼開發分布式計算框架，但是，上述方式存在開發難度大，開發效率低的問題。
技術實現思路
[0004]為解決上述問題，本申請提供以下技術方案：
[0005]本申請一方面提供一種分布式計算框架，包括：分布式計算引擎Spark驅動端、多個Spark從節點和Spring Boot模塊；
[0006]所述Spring Boot模塊包括Spring Boot框架中容器管理的第一對象和至少一個第二對象，各所述第二對象各自對應一個分布式計算業務邏輯，且，各所述第二對象對應的分布式計算業務邏輯相互具有差異，所述第一對象為將所述Spark驅動端中的SparkSession注入到所述容器中得到的；
[0007]所述第二對象，用于基于其對應的分布式計算業務邏輯，獲得分布式計算信息，調用所述第一對象，以使得所述第一對象使用所述Spark驅動端的驅動功能，將所述分布式計算信息發送給各所述Spark從節點。
[0008]可選的，所述第二對象基于其對應的分布式計算業務邏輯，獲得分布式計算信息的過程，具體包括：
[0009]所述第二對象基于其對應的分布式計算業務邏輯和JPA框架獲得待廣播數據；
[0010]所述第二對象基于其對應的分布式計算業務邏輯生成任務。
[0011]可選的，所述第二對象調用所述第一對象，以使得所述第一對象使用所述Spark驅動端的驅動功能，將所述分布式計算信息發送給各所述Spark從節點的過程，具體包括：
[0012]所述第二對象若從責任鏈上獲得到與其具有依賴關系的其它第二對象發送的第一信息，則調用所述第一對象，以使得所述第一對象使用所述Spark驅動端的驅動功能，將所述任務發送給各所述Spark從節點，所述第一信息表征其它第二對象的任務已經執行完成，所述責任鏈為多個所述第二對象進行串聯連接得到的。
[0013]可選的，所述Spark從節點，用于執行所述任務，得到執行結果，并將所述執行結果持久化存儲到所述Spark從節點所在服務器的內存或硬件存儲設備中。
[0014]可選的，各所述第二對象各自對應的分布式計算業務邏輯的至少一部分為基于面
向切面編程AOP處理得到的。
[0015]本申請另一方面提供一種分布式計算處理方法，基于分布式計算框架，所述分布式計算框架包括：分布式計算引擎Spark驅動端、多個Spark從節點和Spring Boot模塊，所述Spring Boot模塊包括Spring Boot框架中容器管理的第一對象和至少一個第二對象，各所述第二對象各自對應一個分布式計算業務邏輯，且，各所述第二對象對應的分布式計算業務邏輯相互具有差異，所述第一對象為將所述Spark驅動端中的SparkSession注入到所述容器中得到的；
[0016]所述第二對象基于其對應的分布式計算業務邏輯，獲得分布式計算信息；
[0017]所述第二對象調用所述第一對象，以使得所述第一對象使用所述Spark驅動端的驅動功能，將所述分布式計算信息發送給各所述Spark從節點。
[0018]可選的，所述第二對象基于其對應的分布式計算業務邏輯，獲得分布式計算信息，包括：
[0019]所述第二對象基于其對應的分布式計算業務邏輯和JPA框架獲得待廣播數據；
[0020]所述第二對象基于其對應的分布式計算業務邏輯生成任務。
[0021]可選的，所述第二對象調用所述第一對象，以使得所述第一對象使用所述Spark驅動端的驅動功能，將所述分布式計算信息發送給各所述Spark從節點，包括：
[0022]所述第二對象若從責任鏈上獲得到與其具有依賴關系的其它第二對象發送的第一信息，則調用所述第一對象，以使得所述第一對象使用所述Spark驅動端的驅動功能，將所述任務發送給各所述Spark從節點，所述第一信息表征其它第二對象的任務已經執行完成，所述責任鏈為多個所述第二對象進行串聯連接得到的。
[0023]可選的，所述方法還包括：
[0024]所述Spark從節點執行所述任務，得到執行結果，并將所述執行結果持久化存儲到所述Spark從節點所在服務器的內存或硬件存儲設備中。
[0025]可選的，各所述第二對象各自對應的分布式計算業務邏輯的至少一部分為基于面向切面編程AOP處理得到的。
[0026]在本申請中，開發人員可以基于Spring Boot框架開發分布式計算業務邏輯，得到Spring Boot框架中容器管理的至少一個第二對象且各第二對象各自對應一個分布式計算業務邏輯，并可以將Spark驅動端中的SparkSession注入到所述容器中得到第一對象，使得Spark驅動端中的SparkSession可以由Spring Boot框架中容器進行管理，保證第二對象可以通過調用第一對象，使用Spark驅動端的驅動功能，以開發得到分布式計算框架。由于，Spring Boot框架可以簡化開發人員對分布式計算業務邏輯的開發過程，因此可以簡化分布式計算框架的開發過程，提高分布式計算框架的開發效率。
附圖說明
[0027]為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據提供的附圖獲得其他的附圖。
[0028]圖1為本申請提供的一種分布式計算框架的結構示意圖；
[0029]圖2為本申請提供的另一種分布式計算框架的結構示意圖；
[0030]圖3為本申請提供的一種分布式計算框架的實施場景示意圖；
[0031]圖4為本申請提供的再一種分布式計算框架的結構示意圖；
[0032]圖5為本申請提供的一種分布式計算處理方法的流程示意圖；
[0033]圖6為本申請提供的另一種分布式計算處理方法的流程示意圖。
具體實施方式
[0034]下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。
[0035]為使本申請的上述目的、特征和優點能夠更加明顯易懂，下面結合附圖和具體實施方式對本申請作進一步詳細的說明。
[0036本文檔來自技高網...
【技術保護點】
【技術特征摘要】
1.一種分布式計算框架，其特征在于，包括：分布式計算引擎Spark驅動端、多個Spark從節點和Spring Boot模塊；所述Spring Boot模塊包括Spring Boot框架中容器管理的第一對象和至少一個第二對象，各所述第二對象各自對應一個分布式計算業務邏輯，且，各所述第二對象對應的分布式計算業務邏輯相互具有差異，所述第一對象為將所述Spark驅動端中的SparkSession注入到所述容器中得到的；所述第二對象，用于基于其對應的分布式計算業務邏輯，獲得分布式計算信息，調用所述第一對象，以使得所述第一對象使用所述Spark驅動端的驅動功能，將所述分布式計算信息發送給各所述Spark從節點。2.根據權利要求1所述的分布式計算框架，其特征在于，所述第二對象基于其對應的分布式計算業務邏輯，獲得分布式計算信息的過程，具體包括：所述第二對象基于其對應的分布式計算業務邏輯和JPA框架獲得待廣播數據；所述第二對象基于其對應的分布式計算業務邏輯生成任務。3.根據權利要求2所述的分布式計算框架，其特征在于，所述第二對象調用所述第一對象，以使得所述第一對象使用所述Spark驅動端的驅動功能，將所述分布式計算信息發送給各所述Spark從節點的過程，具體包括：所述第二對象若從責任鏈上獲得到與其具有依賴關系的其它第二對象發送的第一信息，則調用所述第一對象，以使得所述第一對象使用所述Spark驅動端的驅動功能，將所述任務發送給各所述Spark從節點，所述第一信息表征其它第二對象的任務已經執行完成，所述責任鏈為多個所述第二對象進行串聯連接得到的。4.根據權利要求3所述的分布式計算框架，其特征在于，所述Spark從節點，用于執行所述任務，得到執行結果，并將所述執行結果持久化存儲到所述Spark從節點所在服務器的內存或硬件存儲設備中。5.根據權利要求1所述的分布式計算框架，其特征在于，各所述第二對象各自對應的分布式計算業務邏輯的至少一部分為基于面向切面編程AOP處理得到的。6.一種分布式...
【專利技術屬性】
技術研發人員：徐詩雯，林世福，
申請(專利權)人：華夏基金管理有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。