云計算環境下面向不確定數據源的工作流視圖構造方法技術

本發明專利技術公開了云計算環境下面向不確定數據源的工作流視圖構造方法。本發明專利技術首先讀取科學工作流的數據源圖信息，并將整個數據源圖視為一個完整的工作流視圖，檢測它的合理性。然后對數據源圖進行拆分與重構時，按照四種情形處理。最后對數據源圖中的任務節點進行再次合并與重構，直到數據源圖中無法再進行任務節點之間的合并為止，則數據源圖中最終存在的任務節點和復合任務節點將構成該數據源圖的合理性視圖。本發明專利技術所提供的檢測方法不僅考慮到了確定數據源圖中視圖的合理性，更是結合了視圖存在的期望支持度來檢測是否可以將多個任務合并為期望支持度更大的復合任務。

【技術實現步驟摘要】
本專利技術屬于科學工作流
，涉及一種面向科學工作流不確定數據源的視圖構造方法。
技術介紹
近年來，隨著計算機網絡技術飛速發展，作為新型互聯網的后端支撐基礎云計算技術已開始逐步走向人類社會生活。科學工作流是一類典型的面向海量密集型數據流、以減少計算成本為目標的應用系統，它的出現為跨多類學科和跨不同地域的科研合作提供了方便。在科學工作流系統中，海量數據密集型計算與分布式資源共享彼此間協作、無隙地進行，使得具有不同領域專業知識、地理位置分布的科研工作者可跨組織合作完成相關的科學實驗。科學工作流系統現已在各國的科研院所展開應用，并在生物信息學、社會關系分析、氣象學、物理學等多個領域都發揮了應有的作用。在云計算環境下進行科學工作流運行 時，將產生大量的中間數據和結果，對這些數據進行管理與分析有助于科研工作者對復雜、多步驟的科學實驗進行描述和分析。為了保證實驗結果的可重復性與可驗證性，許多科學工作流系統都提供了對數據源的支持。由于復雜、大規模的科學工作流系統在運行過程中將產生大量的數據源。如何對這些海量的數據源進行有效地查詢與管理現已成為科研工作者研究的重要問題之一，目前許多研究工作針對此方面展開，它們通過構造數據源視圖的方式來分析數據源，從而達到縮減數據源圖的規模和計算復雜度的目的。在數據源視圖中，科學工作流中的任務依據數據流關系，被抽象成高階的復合任務，從而達到隱藏不相關的源數據細節、降低數據源圖規模的目的，同時在視圖級進行數據查詢將有效地提高查詢效率。然而由于受數據采集的準確度和服務器的可靠性影響，當對數據源進行數據集成時，工作流數據的不確定性現象將會產生。一般說來，這樣的數據不確定性現象可用概率的形式加以量化；在此基礎上，不確定科學工作流中的數據源可被定義成活動執行的概率圖形式。目前在科學工作流視圖構建技術方面的研究尚未深入，現有工作則主要集中在確定式數據源圖方面；而面向不確定式數據源視圖的合理性檢驗與構建技術方面的相關研究工作還有待進一步開展。因此本專利技術針對此方面進行研究，提出了在不確定數據源圖中檢測視圖合理性的方法，并進一步基于任務間的數據流和局部期望支持度給出了構建不確定式視圖的方法。本專利技術方法的具體步驟是 步驟(I)讀取科學工作流的數據源圖信息，包括數據源圖中任務節點集、任務節點間的數據流邊的集合和數據流邊的存在概率。步驟(2)將整個數據源圖視為一個完整的工作流視圖，檢測它的合理性，包括 ①根據數據源圖中的每條輸入數據流必須能夠到達該數據源圖的所有輸出任務節點這一原則，來檢測數據源圖的合理性。②數據源圖中的相鄰任務節點在滿足條件①的情況下能否合并為一個新的復合任務、且新的復合任務存在概率是否小于未合并之前各任務節點的存在概率，如果合并后的新復合任務存在概率大于合并之前各任務節點的存在概率，則認為原來的數據源圖具有不合理性。若數據源圖具有合理性，則整個數據源圖被視為一個完整的工作流視圖。步驟(3)若步驟(2)中整個數據源圖將作為一個工作流視圖被檢測為不合理的，則按照以下兩種情況重新構造該數據源圖的合理性視圖 i)若數據源圖因為不符合步驟(2)中的條件①，則對該數據源圖按照步驟(4)進行拆分重構，從數據源圖里面重新構造出合理性的視圖。ii)若數據源圖不符合步驟(2)中的條件②，則找出數據源圖中存在那些相鄰任務節點這些相鄰任務節點在滿足條件①的情況下能合并為一個新的復合任務、且新復合任務存在概率大于未合并之前各任務節點的存在概率，并將這些相鄰的任務節點進行合并。 步驟(4)對數據源圖進行拆分與重構時，按照如下情形處理 情形I、對某一任務節點，若它有且僅有一個相鄰的前序節點，且該任務節點與該前序節點合并后生成的復合任務的概率期望支持度大于該任務節點及前序節點的概率期望支持度，則該任務節點與其前序節點可以合并為合理的復合任務節點。情形2、若對于某一任務節點，若它僅有一個相鄰的后續節點，且該任務節點與其后續節點合并后生成的復合任務的概率期望支持度大于該任務節點及前序節點的概率期望支持度，則該任務節點可與其后續節點合并為合理的復合任務。情形3、若某一任務節點有多個相鄰前序節點，若這些前序節點中存在著某個任務節點，使得從其它前序節點出發的數據流邊都能到達該前序任務節點，并且從該前序任務節點出發的、所有沒有指向該任務節點的數據流邊的概率和小于用戶給定的經驗閾值，則可對從該前序任務節點出發的、所有沒有指向該任務節點的數據流邊進行嘗試性刪除，并將這些前序節點與該任務節點進行嘗試性合并，如果合并之后的復合任務的概率期望支持度大于合并前各任務節點的概率期望支持度，則這樣的合并是可行的，且合并生成的復合任務是合理的。情形4、若數據源圖中某幾個任務節點具有相同的相鄰前序任務集，且這些前序任務節點中的每一個節點同時所具有相同的相鄰后續任務集，此外若這些任務節點與它們的前序任務集合并后生成的復合任務的概率期望支持度大于合并前的這些任務節點各自的概率期望支持度，則這些任務節點與它們的相鄰前序任務節點可以合并為一個合理的復合任務。步驟(5)重復步驟(3)對數據源圖中的任務節點進行合并與重構，直到數據源圖中無法再進行任務節點之間的合并為止，則數據源圖中最終存在的任務節點和復合任務節點將構成該數據源圖的合理性視圖。本專利技術所提供的云計算環境下面向不確定數據源的工作流視圖構造方法由一組功能模塊組成，它們包括數據源圖信息讀入模塊、視圖遍歷檢測模塊和不合理視圖拆分重構模塊。數據源圖信息讀入模塊讀入科學工作流不確定數據源圖視圖的詳細信息。包括數據源圖的節點數目，邊的數目，節點與節點、節點與邊之間的關系，邊的存在概率。視圖所包含的節點以及邊。視圖遍歷檢測模塊將對輸入的數據源圖進行檢測，首先將整個數據源圖視為一個完整的視圖，依據數據源圖的輸入數據流必須到達數據源圖的所有輸出任務節點，并對數據源圖中的任務節點的概率期望支持度進行檢測。若檢測出是不合理的，則數據源圖作為下一個模塊的輸入。不合理數據源圖拆分重構模塊對輸入的數據源圖進行拆分重構。本模塊首先對輸入的數據源圖進行遍歷，統計該數據源圖的輸入節點和輸出接點，并分別存放于輸入節點集合和輸出節點集合中，從輸出節點中的某一任務節點開始，依次遍歷該節點的前序節點，如果符合合并規則就將該節點與其前序合并為一個復合任務，直至遍歷到輸入節點集合中的節點，按照此方法依次遍歷輸出節點集合中剩余的復合任務。與傳統方法相比，本專利技術所提供的檢測方法不僅考慮到了確定數據源圖中視圖的合理性，更是結合了視圖存在的期望支持度來檢測是否可以將多個任務合并為期望支持度更大的復合任務。··在不合理視圖檢測環節對實際科學工作流數據源圖做出直接映射，考慮了實際情景中可能出現的各種情況。在對不合理視圖拆分重構過程中總結了四種不同的合并規則，對于減少合理視圖數目具有很重要的作用。具體實施例方式 相關概念及符號說明 G ={VG, Eg, hg, Li):不確定數據源 Vg :不確定數據源圖中節點集合； Eg :不確定數據源圖中邊的集合 G :不確定數據源圖中邊的概率集合； Lq :不確定數據源圖中節點Vg、Eg的標簽； K:不確定數據源圖中的視 復合任務； Hpiyi, I):復合任務Z7中的節點Vj本文檔來自技高網...

【技術保護點】
云計算環境下面向不確定數據源的工作流視圖構造方法，其特征在于該方法的具體步驟：步驟（1）讀取科學工作流的數據源圖信息，包括數據源圖中任務節點集、任務節點間的數據流邊的集合和數據流邊的存在概率；？步驟（2）將整個數據源圖視為一個完整的工作流視圖，檢測它的合理性，包括：①根據數據源圖中的每條輸入數據流必須能夠到達該數據源圖的所有輸出任務節點這一原則，來檢測數據源圖的合理性；②數據源圖中的相鄰任務節點在滿足條件①的情況下能否合并為一個新的復合任務、且新的復合任務存在概率是否小于未合并之前各任務節點的存在概率，如果合并后的新復合任務存在概率大于合并之前各任務節點的存在概率，則認為原來的數據源圖具有不合理性；若數據源圖具有合理性，則整個數據源圖被視為一個完整的工作流視圖；步驟（3）若步驟(2)中整個數據源圖將作為一個工作流視圖被檢測為不合理的，則按照以下兩種情況重新構造該數據源圖的合理性視圖：i)若數據源圖因為不符合步驟（2）中的條件①，則對該數據源圖按照步驟(4)進行拆分重構，從數據源圖里面重新構造出合理性的視圖；ii)若數據源圖不符合步驟（2）中的條件②，則找出數據源圖中存在那些相鄰任務節點：這些相鄰任務節點在滿足條件①的情況下能合并為一個新的復合任務、且新復合任務存在概率大于未合并之前各任務節點的存在概率，并將這些相鄰的任務節點進行合并；步驟(4)對數據源圖進行拆分與重構時，按照如下情形處理：情形1、對某一任務節點，若它有且僅有一個相鄰的前序節點，且該任務節點與該前序節點合并后生成的復合任務的概率期望支持度大于該任務節點及前序節點的概率期望支持度，則該任務節點與其前序節點可以合并為合理的復合任務節點；情形2、若對于某一任務節點，若它僅有一個相鄰的后續節點，且該任務節點與其后續節點合并后生成的復合任務的概率期望支持度大于該任務節點及前序節點的概率期望支持度，則該任務節點可與其后續節點合并為合理的復合任務；情形3、若某一任務節點有多個相鄰前序節點，若這些前序節點中存在著某個任務節點，使得從其它前序節點出發的數據流邊都能到達該前序任務節點，并且從該前序任務節點出發的、所有沒有指向該任務節點的數據流邊的概率和小于用戶給定的經驗閾值，則可對從該前序任務節點出發的、所有沒有指向該任務節點的數據流邊進行嘗試性刪除，并將這些前序節點與該任務節點進行嘗試性合并，如果合并之后的復合任務的概率期望支持度大于合并前各任務節點的概率期望支持度，則這樣的合并是可行的，且合并生成的復合任務是合理的；？情形4、若數據源圖中某幾個任務節點具有相同的相鄰前序任務集，且這些前序任務節點中的每一個節點同時所具有相同的相鄰后續任務集，此外若這些任務節點與它們的前序任務集合并后生成的復合任務的概率期望支持度大于合并前的這些任務節點各自的概率期望支持度，則這些任務節點與它們的相鄰前序任務節點可以合并為一個合理的復合任務；步驟（5）重復步驟（3）對數據源圖中的任務節點進行合并與重構，直到數據源圖中無法再進行任務節點之間的合并為止，則數據源圖中最終存在的任務節點和復合任務節點將構成該數據源圖的合理性視圖。...

【技術特征摘要】
1.云計算環境下面向不確定數據源的工作流視圖構造方法，其特征在于該方法的具體步驟 步驟(I)讀取科學工作流的數據源圖信息，包括數據源圖中任務節點集、任務節點間的數據流邊的集合和數據流邊的存在概率； 步驟(2)將整個數據源圖視為一個完整的工作流視圖，檢測它的合理性，包括 ①根據數據源圖中的每條輸入數據流必須能夠到達該數據源圖的所有輸出任務節點這一原則，來檢測數據源圖的合理性； ②數據源圖中的相鄰任務節點在滿足條件①的情況下能否合并為一個新的復合任務、且新的復合任務存在概率是否小于未合并之前各任務節點的存在概率，如果合并后的新復合任務存在概率大于合并之前各任務節點的存在概率，則認為原來的數據源圖具有不合理性； 若數據源圖具有合理性，則整個數據源圖被視為一個完整的工作流視圖； 步驟(3)若步驟(2)中整個數據源圖將作為一個工作流視圖被檢測為不合理的，則按照以下兩種情況重新構造該數據源圖的合理性視圖 i)若數據源圖因為不符合步驟(2)中的條件①，則對該數據源圖按照步驟(4)進行拆分重構，從數據源圖里面重新構造出合理性的視圖； )若數據源圖不符合步驟(2)中的條件②，則找出數據源圖中存在那些相鄰任務節點這些相鄰任務節點在滿足條件①的情況下能合并為一個新的復合任務、且新復合任務存在概率大于未合并之前各任務節點的存在概率，并將這些相鄰的任務節點進行合并；步驟(4)對數據源圖進行拆分與重構時，按照如下情形處理 情形I、對某一任務節點，若它有且僅有一個相鄰的前序節點，且該任務節點與該前序節點合并后...

【專利技術屬性】
技術研發人員：胡海洋，劉占晨，
申請(專利權)人：杭州電子科技大學，
類型：發明
國別省市：