本發(fā)明專利技術(shù)公開(kāi)了一種針對(duì)拓?fù)潢P(guān)系并行計(jì)算的矢量目標(biāo)集劃分方法。矢量目標(biāo)拓?fù)潢P(guān)系并行計(jì)算屬于非計(jì)算密集型算法,其并行計(jì)算中主要的計(jì)算資源消耗是判斷矢量目標(biāo)間最小包圍矩形是否相交,而拓?fù)溆?jì)算只占小部分計(jì)算資源。因此,矢量目標(biāo)劃分的重點(diǎn)不是顧及矢量目標(biāo)的幾何復(fù)雜性,而是考慮各進(jìn)程中矢量目標(biāo)數(shù)量的均衡。針對(duì)矢量目標(biāo)拓?fù)潢P(guān)系并行計(jì)算采用高效的均衡劃分法分配數(shù)據(jù)至各進(jìn)程,使進(jìn)程間矢量目標(biāo)數(shù)量均衡即任務(wù)負(fù)載均衡。利用本發(fā)明專利技術(shù)可實(shí)現(xiàn)進(jìn)程間計(jì)算負(fù)載高度均衡,進(jìn)而提高算法效率,為單機(jī)多核、眾核和高性能集群環(huán)境的海量數(shù)據(jù)的拓?fù)潢P(guān)系軟件的開(kāi)發(fā)與服務(wù)提供一種高效的矢量數(shù)據(jù)劃分方法。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于并行計(jì)算領(lǐng)域,特別是涉及到一種針對(duì)矢量目標(biāo)拓?fù)潢P(guān)系并行計(jì)算的矢量目標(biāo)集均衡劃分方法。
技術(shù)介紹
拓?fù)潢P(guān)系是空間目標(biāo)在延展、移動(dòng)、旋轉(zhuǎn)等變換下保持不變的一種定性關(guān)系,它在空間數(shù)據(jù)的組織、分析、查詢等方面有著十分重要的作用。拓?fù)潢P(guān)系在空間推理和空間查詢上也扮演著非常重要的角色,是地理信息系統(tǒng)的重要內(nèi)容。隨著空間數(shù)據(jù)量爆炸式的增長(zhǎng),傳統(tǒng)的空間關(guān)系串行算法已不能滿足大規(guī)模空間數(shù)據(jù)分析與需求,亟待利用計(jì)算機(jī)并行體系架構(gòu)發(fā)展一種并行算法,才能滿足大規(guī)模矢量目標(biāo)(空間數(shù)據(jù))空間關(guān)系快速計(jì)算與分析的應(yīng)用需求。矢量目標(biāo)拓?fù)潢P(guān)系并行算法由3部分組成1)多邊形目標(biāo)集的預(yù)處理;2)多邊形目標(biāo)集劃分;3)多邊形目標(biāo)拓?fù)潢P(guān)系計(jì)算與判斷。多邊形目標(biāo)集預(yù)處理并行算法的預(yù)處理是指對(duì)多邊形數(shù)據(jù)進(jìn)行并行排序,排序的原則是以多邊形目標(biāo)的頂點(diǎn)數(shù)為參數(shù)進(jìn)行排序。多邊形目標(biāo)集劃分多邊形目標(biāo)集的劃分是拓?fù)潢P(guān)系并行算法的重點(diǎn)和難點(diǎn)問(wèn)題。影響并行算法的效率的一個(gè)重要方面是并行計(jì)算過(guò)程中的負(fù)載均衡。拓?fù)潢P(guān)系并行算法設(shè)計(jì)需考慮兩方面問(wèn)題一是矢量目標(biāo)的空間特性,二是矢量目標(biāo)集的劃分。拓?fù)潢P(guān)系并行算法為非計(jì)算密集型算法,根據(jù)其并行算法的特征,對(duì)其數(shù)據(jù)劃分可采取相應(yīng)方法。目前并行算法的矢量目標(biāo)集劃分方法主要有輪轉(zhuǎn)劃分法[1]、范圍劃分法[1_3]、散列劃分法[1’4]、混合劃分法[1’5]、空間曲線劃分法[6’7]等,但這些已有劃分方法都不能針對(duì)拓?fù)潢P(guān)系算法的特點(diǎn)來(lái)保障拓?fù)潢P(guān)系并行算法中各進(jìn)程的任務(wù)負(fù)載均衡,影響了計(jì)算效率。因此,本專利技術(shù)針對(duì)拓?fù)潢P(guān)系算法的特點(diǎn),設(shè)計(jì)了新的劃分方法,實(shí)現(xiàn)了對(duì)大規(guī)模矢量目標(biāo)集的拓?fù)潢P(guān)系計(jì)算負(fù)載均衡,提高了矢量目標(biāo)空間關(guān)系計(jì)算的效率。參考文獻(xiàn)[I]趙春宇.高性能并行GIS中矢量空間數(shù)據(jù)存取與處理關(guān)鍵技術(shù)研究[D].武漢武漢大學(xué),2006.[2]Ann Chervenak, Ian Foster, Carl Kesselman, Charles Salisbury,Steven Tueck. The data grid Towards an architecture for the distributedmanagement andanalysis of large scientific datasets[J]. Journal of Network andComputerApplication. 2000,23 :187 200.[3]http://docs. oracle, com/cd/B28359_01/server. 11l/b32024/partition.htm[4] Chengwen Liu, Hao Chen, A Hash Partition Strategy for Distributed QueryProcessing[C],the 5th International Conference on ExtendingDatabaseTechnology(EDBT),Avignon, France,1996,1057 :371-387.[5]Shahram Ghandeharizadeh, David J. DeWitt, Hybrid-range partitioningstrategy a new declustering strategy for multiprocessor databases machines[C],Proceedings of the sixteenth international conference on Very large databases,Brisbane, Australia,1990,481-492[6]王永杰孟令奎趙春宇.基于Hilbert空間排列碼的海量空間數(shù)據(jù)劃分算法研究[J].武漢大學(xué)學(xué)報(bào)信息科學(xué)版,2007, 32 (7) :650 653.[7]田光.并行計(jì)算環(huán)境中矢量空間數(shù)據(jù)的劃分策略研究與實(shí)現(xiàn)[D].中國(guó)地質(zhì)大學(xué),2011.
技術(shù)實(shí)現(xiàn)思路
(一)算法步驟本專利技術(shù)提供了。據(jù)其拓?fù)潢P(guān)系并行計(jì)算特點(diǎn),本專利技術(shù)采用·了顧及目標(biāo)數(shù)量的矢量目標(biāo)集均衡劃分方法將目標(biāo)集劃分至不同進(jìn)程,使拓?fù)潢P(guān)系并行計(jì)算各進(jìn)程任務(wù)均衡(如圖1所示)。1.顧及目標(biāo)數(shù)量的矢量目標(biāo)集均衡劃分方法(以下簡(jiǎn)稱均衡劃分法)矢量目標(biāo)拓?fù)潢P(guān)系(點(diǎn)目標(biāo)拓?fù)潢P(guān)系、線目標(biāo)拓?fù)潢P(guān)系和面目標(biāo)拓?fù)潢P(guān)系)并行計(jì)算屬于非計(jì)算密集型算法,其在并行計(jì)算中主要的計(jì)算資源消耗是判斷矢量目標(biāo)的最小包圍矩形是否相交,拓?fù)溆?jì)算只消耗小部分計(jì)算資源。因此,矢量目標(biāo)集劃分的重點(diǎn)不是要關(guān)注矢量目標(biāo)的幾何復(fù)雜性,而是要重點(diǎn)關(guān)注各進(jìn)程中矢量目標(biāo)數(shù)量的均衡。均衡劃分法根據(jù)進(jìn)程數(shù)P將矢量目標(biāo)集(數(shù)量η)均衡地劃分為P份,各個(gè)進(jìn)程得到η/ρ個(gè)矢量目標(biāo)集。具體過(guò)程如圖2所示I)矢量目標(biāo)集中對(duì)象數(shù)量為η,根據(jù)矢量目標(biāo)集中對(duì)象的頂點(diǎn)數(shù)(圖2Α中的數(shù)字為對(duì)象頂點(diǎn)數(shù)Vi)按照(式I)計(jì)算各矢量目標(biāo)的權(quán)值Wi,各進(jìn)程依據(jù)對(duì)象的權(quán)值采用排序算法對(duì)矢量目標(biāo)集進(jìn)行序列化(如圖2Β);Wi = f (Vi) (I ^ i ^ η)式 I2)每次分配的矢量目標(biāo)子集數(shù)量為I (O < I彡|n/(kXp) | ,2彡k < n/p,且k為偶數(shù)),已分配對(duì)象集的次數(shù)為m(0彡m彡k);3)按照矢量目標(biāo)集序列化的順序,每次將P個(gè)數(shù)量為I且序列號(hào)相鄰的子矢量目標(biāo)集Sm{sml, sm2, sm3, ......,sm(pX1)}(即pX I個(gè)對(duì)象)分配到不同進(jìn)程,若m為奇數(shù),則分配的順序是S1 — Spxl,若為偶數(shù)則分配的順序?yàn)镾pxl — Sl。此分配方式重點(diǎn)是顧及各進(jìn)程中對(duì)象數(shù)目均衡,也顧及到了矢量目標(biāo)的幾何復(fù)雜度(頂點(diǎn)數(shù))均衡(因?yàn)槭噶磕繕?biāo)集是依據(jù)權(quán)值Vi排序,奇數(shù)次與偶數(shù)次分配時(shí)順序相反,如式2中所示進(jìn)程P1第m次分配為Smi,第m+1次分配的為S(m+1) (ρΧΗ),進(jìn)程p2第m次分配為S+m),第m+1次分配的為S(m+1)i,則各進(jìn)程分配的矢量目標(biāo)集幾何復(fù)雜度基本均衡),如圖2C ;Smi+S(m+1) (ρχι- ) Sm(pX1_i)+S(^1)i 式 24)將最后不足P個(gè)數(shù)量為I的矢量目標(biāo)集(數(shù)量為n-mXpXl),將其按照2)步驟均衡劃分給各進(jìn)程,直至所有的矢量目標(biāo)都劃分至各進(jìn)程(二)有益效果1、利用本專利技術(shù),針對(duì)拓?fù)潢P(guān)系算法特點(diǎn)采用顧及目標(biāo)數(shù)量的矢量目標(biāo)集均衡劃分方法,將矢量目標(biāo)集均衡劃分至不同的進(jìn)程,使進(jìn)程間的任務(wù)實(shí)現(xiàn)負(fù)載均衡,提高了并行計(jì)算效率,其并行效率大于60% ;2、利用本專利技術(shù),采用單機(jī)多核、眾核級(jí)高性能集群硬件環(huán)境,可開(kāi)發(fā)高性能并行計(jì)算軟件,實(shí)現(xiàn)對(duì)海量空間數(shù)據(jù)進(jìn)行高效空間關(guān)系分析。四附圖說(shuō)明圖1拓?fù)潢P(guān)系并行算法特點(diǎn)及其對(duì)應(yīng)矢量目標(biāo)集的劃分方法圖2顧及目標(biāo)數(shù)量的矢量目標(biāo)集均衡劃分方法圖3應(yīng)用均衡劃分方法案例的矢量目標(biāo)集五具體實(shí)施例方式針對(duì)拓?fù)潢P(guān)系并行計(jì)算的矢量目標(biāo)集劃分方法,以下提供案例對(duì)本專利技術(shù)進(jìn)行說(shuō)明。(一 )顧及目標(biāo)數(shù)量的矢量目標(biāo)集均衡劃分方法案例本專利技術(shù)利用均衡劃分法把數(shù)據(jù)分配到不同進(jìn)程,計(jì)算矢量目標(biāo)之間是否有重疊(拓?fù)潢P(guān)系中的一種),并輸出查詢得到的空間目標(biāo)ID。本案例的矢量目標(biāo)集為某地區(qū)691,442塊宗地(本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
根據(jù)權(quán)利要求1所述對(duì)于針對(duì)拓?fù)潢P(guān)系并行計(jì)算并顧及目標(biāo)數(shù)量的矢量目標(biāo)集均衡劃分方法,其特征在于,包含以下2個(gè)特征:1)以各矢量目標(biāo)頂點(diǎn)數(shù)(vi)為權(quán)值(wi)的參數(shù)(wi=f(vi)(1≤i≤n),n為矢量目標(biāo)數(shù)目),根據(jù)各矢量目標(biāo)的wi大小對(duì)矢量目標(biāo)集進(jìn)行序列化,劃分?jǐn)?shù)量相同的矢量目標(biāo)子集至各進(jìn)程,使進(jìn)程間的任務(wù)負(fù)載均衡。2)在分配的過(guò)程中,根據(jù)分配次數(shù)m的奇偶性,將矢量目標(biāo)集Sm{s1,s2,s3,……,sp}分配到不同進(jìn)程;若m為奇數(shù),則分配的順序是s1→sp(即權(quán)值從大到小(或從小到大));若m為偶數(shù),則分配的順序?yàn)閟p→s1(即權(quán)值從小到大(或從大到小))。
【技術(shù)特征摘要】
1.一種針對(duì)拓?fù)潢P(guān)系并行計(jì)算的矢量目標(biāo)集劃分方法,其特征主要在于 針對(duì)拓?fù)潢P(guān)系并行計(jì)算并顧及目標(biāo)數(shù)量的矢量目標(biāo)集均衡劃分方法;根據(jù)權(quán)利要求1所述對(duì)于針對(duì)拓?fù)潢P(guān)系并行計(jì)算并顧及目標(biāo)數(shù)量的矢量目標(biāo)集均衡劃分方法,其特征在于,包含以下2個(gè)特征 .1)以各矢量目標(biāo)頂點(diǎn)數(shù)(Vi)為權(quán)值(Wi)的參數(shù)(Wi= f (Vi) (1≤i≤n) ,n為矢量目標(biāo)數(shù)目),根據(jù)各...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員:吳立新,楊宜舟,郭甲騰,
申請(qǐng)(專利權(quán))人:吳立新,楊宜舟,郭甲騰,
類型:發(fā)明
國(guó)別省市:
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。