【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于存儲系統(tǒng)，尤其涉及一種基于?serverless?云函數(shù)的?lsm樹遠程合并及自適應(yīng)資源卸載調(diào)度方法。
技術(shù)介紹
1、現(xiàn)代數(shù)據(jù)存儲正面臨三個基礎(chǔ)趨勢：首先，存儲的數(shù)據(jù)量不斷增加；其次，在數(shù)據(jù)生命周期中，插入操作顯著多于查詢操作；第三，數(shù)據(jù)管理正逐步向基于云端的解決方案遷移。由于大部分工作負載具有寫密集的特性，許多應(yīng)用程序紛紛選擇了寫優(yōu)化的?log-structured?merge?tree（簡稱?lsm?樹）作為鍵值存儲系統(tǒng)。
2、lsm?樹采用分層結(jié)構(gòu)設(shè)計，通常包括一個內(nèi)存組件和多個磁盤組件，其基本思想是在內(nèi)存中批量寫入數(shù)據(jù)，然后將已排序的大塊數(shù)據(jù)寫入磁盤，以實現(xiàn)高寫入吞吐率。在這種結(jié)構(gòu)中，磁盤上的文件不會被原地修改，而是通過?compaction?操作對不同層的數(shù)據(jù)進行排序、清理過期數(shù)據(jù)，從而減少空間放大和查詢開銷。通常情況下，調(diào)用合并操作時，系統(tǒng)需要將所有涉及的文件讀取到內(nèi)存中，對其內(nèi)的鍵值對按照順序重新排序，再將結(jié)果寫回磁盤。
3、在寫負載較重的應(yīng)用場景中，隨著新數(shù)據(jù)的不斷涌入，lsm?樹會周期性觸發(fā)compaction?操作。然而，compaction?操作往往會產(chǎn)生大量?i/o?以及較高的?cpu?開銷，同時與持續(xù)到達的讀寫請求激烈搶占系統(tǒng)資源，這可能導(dǎo)致系統(tǒng)性能急劇下降，出現(xiàn)吞吐率和響應(yīng)延遲的不穩(wěn)定現(xiàn)象。因此，如何避免因周期性合并引起的臨時資源競爭，確保系統(tǒng)穩(wěn)定的吞吐量，成為亟待解決的關(guān)鍵問題。基于云平臺的鍵值存儲系統(tǒng)可以根據(jù)實際需求動態(tài)調(diào)整計算資源，在必要時提供足夠的?cpu
4、近年來，新興的?serverless?computing?為解決上述問題提供了新的思路和機遇。基于?function-as-a-service?模式的?serverless?架構(gòu)，如lambda、cloud?function、azure?function?和?openwhisk?等，其能夠根據(jù)用戶需求自動擴展服務(wù)，并采用按需付費的模型。serverless?計算中，最基本的執(zhí)行單元是函數(shù)，客戶端可以在服務(wù)提供者處注冊相應(yīng)的函數(shù)，然后通過事件或用戶請求對這些函數(shù)進行調(diào)用。這種架構(gòu)以其高彈性、高可擴展性和精準(zhǔn)的資源利用能力，為解決傳統(tǒng)?lsm?樹在云環(huán)境下的資源競爭問題帶來了全新的技術(shù)突破。但如何將serverless?云函數(shù)與lsm樹進行合理結(jié)合，并在充分利用serverless?云函數(shù)優(yōu)勢的同時不降低?lsm?樹性能，仍然是一項關(guān)鍵挑戰(zhàn)。
技術(shù)實現(xiàn)思路
1、為了解決上述技術(shù)問題，本專利技術(shù)的目的是提供一種基于serverless云函數(shù)的lsm樹遠程合并及自適應(yīng)資源卸載調(diào)度方法，通過將compaction操作細分為多個子任務(wù)，并智能判定任務(wù)的執(zhí)行位置，實現(xiàn)本地與遠程云端資源的協(xié)同調(diào)度，從而提升整個系統(tǒng)的吞吐速率和響應(yīng)穩(wěn)定性。
2、實現(xiàn)本專利技術(shù)目的的具體技術(shù)方案是：
3、一種基于serverless云函數(shù)的lsm樹遠程合并及自適應(yīng)資源卸載調(diào)度方法，該方法將傳統(tǒng)lsm樹結(jié)構(gòu)與serverless云函數(shù)技術(shù)相結(jié)合，實現(xiàn)compaction操作的動態(tài)卸載及并行合并，包括如下步驟：
4、(1)?當(dāng)lsm樹觸發(fā)compaction操作時，通過并行子壓實算法從待合并的多層數(shù)據(jù)中選擇存在鍵值重疊的?sst?文件，并將所述的?sst文件根據(jù)鍵區(qū)間劃分為若干compaction子任務(wù)提交至遠程監(jiān)測機制；
5、(2)?lsm樹云存儲將合并任務(wù)發(fā)送給遠程監(jiān)測機制，該機制根據(jù)當(dāng)前系統(tǒng)?cpu、內(nèi)存、網(wǎng)絡(luò)資源的實時利用率以及計算出的?compaction任務(wù)所需資源，動態(tài)判斷該compaction操作是否在本地節(jié)點執(zhí)行；
6、(3)?當(dāng)評估結(jié)果顯示本地資源充足時，直接在本地執(zhí)行compaction操作；否則，將compaction任務(wù)卸載至基于serverless云函數(shù)構(gòu)建的云壓實服務(wù)執(zhí)行；
7、(4)?云壓實服務(wù)接收到compaction任務(wù)后，基于與本地相同的合并函數(shù)啟動相等數(shù)量的云函數(shù)實例，從?lsm樹數(shù)據(jù)存儲中讀取對應(yīng)數(shù)據(jù)，執(zhí)行鍵值對合并，并將合并結(jié)果寫入臨時存儲；
8、(5)?在完成compaction任務(wù)后，云壓實服務(wù)通知客戶端合并任務(wù)的執(zhí)行結(jié)果；
9、(6)?客戶端在收到合并狀態(tài)信號后，從臨時存儲中讀取合并結(jié)果，寫回至sst存儲區(qū)域，同時清除臨時存儲中的中間數(shù)據(jù)，完成compaction操作。
10、進一步，所述并行子壓實算法，具體包括：
11、(1)?根據(jù)設(shè)定的compaction觸發(fā)閾值選擇待合并的?sst?文件；
12、(2)?檢測待合并sst與相鄰層?sst文件間的鍵值連續(xù)性，若存在連續(xù)重疊的鍵，則將相鄰?sst?文件同時納入合并任務(wù)；
13、(3)?按照鍵范圍進行排序和去重，并依據(jù)數(shù)據(jù)大小將合并邊界劃分為多個無重疊區(qū)域，從而構(gòu)成若干compaction子任務(wù)，以實現(xiàn)并行合并。
14、進一步，所述遠程監(jiān)測機制，具體包括：
15、(1)?采集當(dāng)前l(fā)sm樹節(jié)點各項cpu、內(nèi)存和網(wǎng)絡(luò)帶寬計算資源利用率；
16、(2)?根據(jù)compaction任務(wù)資源消耗、存儲資源占用以及讀寫操作增長率動態(tài)評估任務(wù)在本地執(zhí)行的可行性；
17、(3)?當(dāng)compaction任務(wù)所需資源低于本地剩余計算資源且不會引起后續(xù)計算競爭時，在本地執(zhí)行，否則卸載至云端。
18、進一步，所述云壓實服務(wù)，其基于serverless云函數(shù)架構(gòu)實現(xiàn)，具體包括：
19、(1)?按照平臺提供商的規(guī)則，在本地環(huán)境中開發(fā)所需的compaction功能函數(shù)并通過命令行工具部署到serverless平臺上；
20、(2)?平臺將所述功能函數(shù)對應(yīng)的url返回給lsm樹客戶端；
21、(3)?當(dāng)lsm樹中的壓實任務(wù)需要調(diào)用云壓實服務(wù)時，客戶端通過該函數(shù)的url發(fā)起調(diào)用；
22、(4)?serverless平臺根據(jù)調(diào)用請求構(gòu)建compaction函數(shù)并執(zhí)行合并功能。
23、進一步，所述云壓實服務(wù)，其具體任務(wù)包括：
24、(1)?接收來自遠程監(jiān)測機制的compaction卸載任務(wù)；
25、(2)?啟動對應(yīng)的云合并函數(shù)，對傳遞的lsm樹數(shù)據(jù)進行鍵值合并操作；
26、(3)?將合并結(jié)果暫存于臨時存儲中，并通過通信模塊實時向客戶端反饋任務(wù)執(zhí)行狀態(tài)。
27、本專利技術(shù)的有益效果包括：
28、通過對compaction任務(wù)的細粒度劃分及智能調(diào)度，本專利技術(shù)利用serverless云函本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于serverless云函數(shù)的LSM樹遠程合并及自適應(yīng)資源卸載調(diào)度方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述并行子壓實算法，具體包括：
3.根據(jù)權(quán)利要求1所述方法，其特征在于，所述遠程監(jiān)測機制，具體包括：
4.根據(jù)權(quán)利要求1所述方法，其特征在于，所述云壓實服務(wù)，其基于serverless云函數(shù)架構(gòu)實現(xiàn)，具體包括：
5.根據(jù)權(quán)利要求1所述方法，其特征在于，所述云壓實服務(wù)，其具體任務(wù)包括：
【技術(shù)特征摘要】
1.一種基于serverless云函數(shù)的lsm樹遠程合并及自適應(yīng)資源卸載調(diào)度方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述并行子壓實算法，具體包括：
3.根據(jù)權(quán)利要求1所述方法，其特征在...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：何詩雨，趙明昊，
申請(專利權(quán))人：華東師范大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。