元數據服務器下日志系統的多進程處理方法和系統技術方案

本發明專利技術公開了一種元數據服務器下日志系統的多進程處理方法，包括：將日志系統劃分為兩個進程空間；以及利用兩個進程空間分別進行不同的日志處理。通過本發明專利技術的技術方案，能夠降低日志系統和元數據服務系統之間的耦合度。

【技術實現步驟摘要】

本專利技術涉及元數據服務器領域，更具體地，涉及元數據服務器下日志系統的多進程處理方法和系統。
技術介紹
為了保證多元數據服務器的一致性和原子性，采用日志系統來完成元數據的數據存儲。通常，日志系統分為多個邏輯層次，包括從元數據服務器獲取數據形成事務、寫內存、寫日志設備和元數據磁盤等多個流水階段。現有技術將多個階段都放入一個進程，分多個階段進行流水化處理。然而，現有系統的技術使得日志系統和元數據服務系統耦合度非常大，并且這種方法使得日志系統只能用于元數據服務器上，從而不利于日志系統的擴展。針對相關技術中的問題，目前尚未提出有效的解決方案。
技術實現思路
針對相關技術中的問題，本專利技術提出元數據服務器下日志系統的多進程處理方法和系統，其能夠降低日志系統和元數據服務系統之間的耦合度，并且能夠有效擴展日志系統。根據本專利技術的一個方面，提供了一種元數據服務器下日志系統的多進程處理方法，包括將日志系統劃分為兩個進程空間；以及利用兩個進程空間分別進行不同的日志處理。更優選地，這兩個進程空間為日志進程空間和元數據進程空間。優選地，日志進程空間中的日志處理線程用于處理日志數據、保存內存處理以及保存日志設備和元數據設備處理。優選地，數據進程空間中的日志代理線程用于接收元數據服務器的事務請求。優選地，兩個進程空間之間通過網絡接口進行消息傳遞。根據本專利技術的另一方面，提供了一種元數據服務器下日志系統的多進程處理系統，包括通過劃分日志系統所獲得的兩個進程空間；以及網絡通信模塊，用于在兩個進程空間之間進行消息傳遞。更優選地，這兩個進程空間為日志進程空間和元數據進程空間。優選地，日志進程空間中的日志處理線程用于處理日志數據、保存內存處理以及日志設備和元數據設備處理，以及元數據進程空間中的日志代理線程用于接收元數據服務器的事務請求。本專利技術通過將日志系統劃分為兩個進程空間，降低了日志系統和元數據服務系統之間的耦合度，并且所劃分的兩個進程空間可以單獨作用，從而有利于日志系統的擴展。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1是根據本專利技術實施例的元數據服務器下日志系統的多進程處理方法的流程圖；以及圖2是根據本專利技術具體實施例的日志系統的示意圖。具體實施例方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員所獲得的所有其他實施例，都屬于本專利技術保護的范圍。以下結合附圖詳細描述本專利技術。圖1是根據本專利技術實施例的元數據服務器下日志系統的多進程處理方法的流程圖。參照圖1，根據本專利技術的元數據服務器下日志系統的多進程處理方法包括S102，將日志系統劃分為兩個進程空間；以及S104，利用兩個進程空間分別進行不同的日志處理。優選地，這兩個進程空間為日志進程空間和元數據進程空間。此外，日志進程空間中的日志處理線程用于處理日志數據、保存內存處理以及保存日志設備和元數據設備處理。具體來說，保存內存處理是指將日志數據寫入內存中，保存日志設備是指寫入日志設備磁盤并同步，保存元數據設備處理是指寫入元數據磁盤并同止/J/ O優選地，數據進程空間中的日志代理線程用于接收元數據服務器的事務請求。優選地，兩個進程空間之間通過網絡接口進行消息傳遞。以下參照圖2對本專利技術的實施例進行詳細描述。注意，雖然在圖2的實施例中，將日志系統劃分為兩個進程空間，但本領域技術人員應該理解，并不限于將日志系統只劃分為兩個進程空間，而是可以根據需要將日志系統劃分為兩個以上的進程空間。圖2是根據本專利技術具體實施例的日志系統的示意圖。參照圖2，將日志系統劃分為日志進程空間和元數據進程空間，并通過網絡在這兩個進程空間進行消息傳遞。具體來說，日志進程空間中的日志處理線程用來處理日志數據、保存內存處理以及保存日志設備和元數據設備處理，而元數據進程空間中的日志代理線程負責接收元數據的事務請求。。具體參見圖2，元數據進程空間中的元數據線程是接受客戶端節點的數據，經元數據線程處理后生成為日志數據，元數據進程空間中的日志代理線程負責從元數據線程獲取日志數據。此外，日志進程空間的日志處理線程負責從元數據進程空間中的日志代理線程獲取日志數據并寫入元數據磁盤中?？梢钥闯觯捎趧澐趾蟮娜罩鞠到y的一部分(如日志進程空間)可以用于其他模塊，只要該模塊能夠提供標準接口(如生成事務等)即可，如此日志系統可用于任何需要保證原子性和一致性的系統來作為其存儲系統，從而降低了日志系統和元數據服務系統的耦I=I /又 O此外，兩個進程空間使用網絡進行消息傳遞，使得日志系統的代理線程和處理線程位于不同節點。例如，日志進程空間可以單獨對其他模塊進行服務，從而有利于日志系統的擴展。還應該注意，日志系統中的日志處理線程、日志代理線程等進行的處理以及網絡通信模塊的實現均屬于本領域的公知常識，并不屬于本專利技術所要保護的范疇，因此在本文省略了其描述。綜上所述，本專利技術通過將日志系統劃分為兩個進程空間，降低了日志系統和元數據服務系統之間的耦合度，并且所劃分的兩個進程空間可以單獨作用，從而有利于日志系統的擴展。以上所述僅為本專利技術的較佳實施例而已，并不用以限制本專利技術，凡在本專利技術的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本專利技術的保護范圍之內。本文檔來自技高網...

【技術保護點】
一種元數據服務器下日志系統的多進程處理方法，其特征在于，所述方法包括：將日志系統劃分為兩個進程空間；以及利用所述兩個進程空間分別進行不同的日志處理。

【技術特征摘要】
1.一種元數據服務器下日志系統的多進程處理方法，其特征在于，所述方法包括將日志系統劃分為兩個進程空間；以及利用所述兩個進程空間分別進行不同的日志處理。2.根據權利要求1所述的方法，其特征在于，所述兩個進程空間為日志進程空間和元數據進程空間。3.根據權利要求2所述的方法，其特征在于，所述日志進程空間中的日志處理線程用于處理日志數據、保存內存處理以及保存日志設備和元數據設備處理。4.根據權利要求2所述的方法，其特征在于，所述元數據進程空間中的日志代理線程用于接收元數據服務器的事務請求。5.根據權利要求1所述的方法，其特征在于，所述兩個進...

【專利技術屬性】
技術研發人員：張東陽，李博，張玉龍，苗艷超，劉新春，邵宗有，
申請(專利權)人：曙光信息產業北京有限公司，
類型：發明
國別省市：