一種矩陣數(shù)據(jù)元素標(biāo)識(shí)連續(xù)化方法和系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開了一種矩陣數(shù)據(jù)元素標(biāo)識(shí)連續(xù)化方法和系統(tǒng)，涉及計(jì)算機(jī)領(lǐng)域。所述方法包括：針對(duì)N個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中被分配給該計(jì)算節(jié)點(diǎn)的矩陣分塊的數(shù)據(jù)元素；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)預(yù)置的數(shù)據(jù)標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的數(shù)據(jù)標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)，并接收剩余N-1個(gè)計(jì)算節(jié)點(diǎn)發(fā)送的數(shù)據(jù)標(biāo)識(shí)，獲得由所述計(jì)算節(jié)點(diǎn)進(jìn)行處理的最終數(shù)據(jù)標(biāo)識(shí)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)所述最終數(shù)據(jù)標(biāo)識(shí)進(jìn)行連續(xù)化，獲得與每個(gè)數(shù)據(jù)標(biāo)識(shí)相應(yīng)的第一標(biāo)識(shí)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)將第一標(biāo)識(shí)與原數(shù)據(jù)標(biāo)識(shí)的對(duì)應(yīng)關(guān)系通知給其他計(jì)算節(jié)點(diǎn)。對(duì)于大規(guī)模的矩陣數(shù)據(jù)，可以通過各個(gè)計(jì)算節(jié)點(diǎn)并行的進(jìn)行連續(xù)化，加快了連續(xù)化的速度，提高了數(shù)據(jù)處理效率。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及計(jì)算機(jī)領(lǐng)域，特別是涉及一種矩陣數(shù)據(jù)元素標(biāo)識(shí)連續(xù)化方法和系統(tǒng)。
技術(shù)介紹
在大規(guī)模并行計(jì)算中，很重要一類計(jì)算是矩陣或向量的計(jì)算。通常描述矩陣采用(Rowkey, colkey, value)的三元組(其中Rowkey, colkey分別為行標(biāo)、列標(biāo)，value為實(shí)際存儲(chǔ)的數(shù)據(jù)內(nèi)容)，這樣可以采用稀疏的存儲(chǔ)方式，從而減少存儲(chǔ)空間。用戶再將矩陣按照行(Rowkey)或者列(colkey)進(jìn)行劃分，將數(shù)據(jù)散布到多個(gè)計(jì)算結(jié)點(diǎn)(也即計(jì)算服務(wù)器)上，從而達(dá)到并行計(jì)算的目的。通常為了唯一標(biāo)識(shí)矩陣中每個(gè)數(shù)據(jù)元素，輸入的Rowkey和colkey采用位數(shù)較多(64位，128位)的簽名。而在實(shí)際的計(jì)算過程中，Rowkey和colkey僅作為一個(gè)下標(biāo)，并不需要很多的位數(shù)。因此為了減少節(jié)點(diǎn)內(nèi)存存儲(chǔ)空間，并且方便計(jì)算時(shí)順序訪問，常常要對(duì)key和colkey進(jìn)行連續(xù)的id化，即將Rowkey和colkey都轉(zhuǎn)換為連續(xù)的O-N的整數(shù)列?，F(xiàn)有技術(shù)中，存在一種對(duì)矩陣數(shù)據(jù)的的存儲(chǔ)標(biāo)識(shí)進(jìn)行id化的方法是串行id化方法，即采用一個(gè)計(jì)算節(jié)點(diǎn)，逐個(gè)獲取矩陣中的數(shù)據(jù)元素將其行標(biāo)和列標(biāo)進(jìn)行id化，但是該種方法處理效率低，時(shí)間長。
技術(shù)實(shí)現(xiàn)思路
鑒于上述問題，提出了本專利技術(shù)以便提供一種克服上述問題或者至少部分地解決上述問題的一種矩陣數(shù)據(jù)元素標(biāo)識(shí)連續(xù)化裝置和相應(yīng)的一種矩陣數(shù)據(jù)元素標(biāo)識(shí)連續(xù)化方法。依據(jù)本專利技術(shù)的一個(gè)方面，提供了一種矩陣數(shù)據(jù)元素標(biāo)識(shí)連續(xù)化方法，包括針對(duì)N個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中被分配給該計(jì)算節(jié)點(diǎn)的矩陣分塊的數(shù)據(jù)元素；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)預(yù)置的數(shù)據(jù)標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的數(shù)據(jù)標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)，并接收剩余N-1個(gè)計(jì)算節(jié)點(diǎn)發(fā)送的數(shù)據(jù)標(biāo)識(shí)，獲得由所述計(jì)算節(jié)點(diǎn)進(jìn)行處理的最終數(shù)據(jù)標(biāo)識(shí)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)所述最終數(shù)據(jù)標(biāo)識(shí)進(jìn)行連續(xù)化，獲得與每個(gè)數(shù)據(jù)標(biāo)識(shí)相應(yīng)的第一標(biāo)識(shí)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)將第一標(biāo)識(shí)與原數(shù)據(jù)標(biāo)識(shí)的對(duì)應(yīng)關(guān)系通知給其他計(jì)算節(jié)點(diǎn)。可選的，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中被分配給該計(jì)算節(jié)點(diǎn)的矩陣分塊的數(shù)據(jù)元素包括每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中按行分塊的數(shù)據(jù)元素，或者按列分塊的數(shù)據(jù)元素?？蛇x的，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)預(yù)置的數(shù)據(jù)標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的數(shù)據(jù)標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)包括每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)閾值的列標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的列標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)；并接收其他N-1個(gè)計(jì)算節(jié)點(diǎn)發(fā)送的列標(biāo)識(shí)?？蛇x的，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)所述最終數(shù)據(jù)標(biāo)識(shí)進(jìn)行連續(xù)化，獲得與每個(gè)數(shù)據(jù)標(biāo)識(shí)相應(yīng)的第一標(biāo)識(shí)包括每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)本地的行標(biāo)識(shí)生成行標(biāo)識(shí)向量,并對(duì)行標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)行標(biāo)識(shí)相應(yīng)的第一行標(biāo)識(shí)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)對(duì)本地的列標(biāo)識(shí)進(jìn)行去重并生成列標(biāo)識(shí)向量，并對(duì)列標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)列標(biāo)識(shí)相應(yīng)的第一列標(biāo)識(shí)?？蛇x的，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)將第一標(biāo)識(shí)與原數(shù)據(jù)標(biāo)識(shí)的對(duì)應(yīng)關(guān)系通知給其他計(jì)算節(jié)點(diǎn)包括每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)第一列標(biāo)識(shí)與原列標(biāo)識(shí)的對(duì)應(yīng)關(guān)系，將第一列標(biāo)識(shí)通知給其他計(jì)算節(jié)點(diǎn)?？蛇x的，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)預(yù)置的數(shù)據(jù)標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的數(shù)據(jù)標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)包括每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)閾值的行標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的行標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)；并接收其他計(jì)算節(jié)點(diǎn)發(fā)送的行標(biāo)識(shí)。可選的，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)所述最終數(shù)據(jù)標(biāo)識(shí)進(jìn)行連續(xù)化，獲得與每個(gè)數(shù)據(jù)標(biāo)識(shí)相應(yīng)的第一標(biāo)識(shí)包括每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)本地的列標(biāo)識(shí)生成行標(biāo)識(shí)向量,并對(duì)列標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)列標(biāo)識(shí)相應(yīng)的第一列標(biāo)識(shí)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)對(duì)本地的行標(biāo)識(shí)進(jìn)行去重并生成行標(biāo)識(shí)向量,并對(duì)行標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)行標(biāo)識(shí)相應(yīng)的第一行標(biāo)識(shí)?？蛇x的，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)將第一標(biāo)識(shí)與原數(shù)據(jù)標(biāo)識(shí)的對(duì)應(yīng)關(guān)系通知給其他計(jì)算節(jié)點(diǎn)包括每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)第一行標(biāo)識(shí)與原行標(biāo)識(shí)的對(duì)應(yīng)關(guān)系，將第一行標(biāo)識(shí)通知給其他計(jì)算節(jié)點(diǎn)?？蛇x的,所述對(duì)向量進(jìn)行連續(xù)化包括每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)i統(tǒng)計(jì)待計(jì)算的標(biāo)識(shí)總數(shù)Ni，并將所述總數(shù)通知給其他計(jì)算節(jié)點(diǎn)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)各計(jì)算節(jié)點(diǎn)待計(jì)算的標(biāo)識(shí)總數(shù)Ni，計(jì)算本節(jié)點(diǎn)起始的第一標(biāo)識(shí)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)本節(jié)點(diǎn)的起始的第一標(biāo)識(shí),對(duì)本節(jié)點(diǎn)的標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得相應(yīng)的第一標(biāo)識(shí)。依據(jù)本專利技術(shù)的另一個(gè)方面，提供一種矩陣數(shù)據(jù)元素標(biāo)識(shí)連續(xù)化系統(tǒng)，包括N個(gè)計(jì)算節(jié)點(diǎn)；所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)包括數(shù)據(jù)讀取模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中被分配給該計(jì)算節(jié)點(diǎn)的矩陣分塊的數(shù)據(jù)元素；散步和接收模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)預(yù)置的數(shù)據(jù)標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的數(shù)據(jù)標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)，并接收剩余N-1個(gè)計(jì)算節(jié)點(diǎn)發(fā)送的數(shù)據(jù)標(biāo)識(shí)，獲得由所述計(jì)算節(jié)點(diǎn)進(jìn)行處理的最終數(shù)據(jù)標(biāo)識(shí)；連續(xù)化模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)所述最終數(shù)據(jù)標(biāo)識(shí)進(jìn)行連續(xù)化，獲得與每個(gè)數(shù)據(jù)標(biāo)識(shí)相應(yīng)的第一標(biāo)識(shí)；通知模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)將第一標(biāo)識(shí)與原數(shù)據(jù)標(biāo)識(shí)的對(duì)應(yīng)關(guān)系通知給其他計(jì)算節(jié)點(diǎn)?？蛇x的，所述數(shù)據(jù)讀取模塊進(jìn)一步適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中按行分塊的數(shù)據(jù)元素，或者按列分塊的數(shù)據(jù)元素?？蛇x的，當(dāng)每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中按行分塊的數(shù)據(jù)元素時(shí)，所述散步和接收模塊包括列散步和接收模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)閾值的列標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的列標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)；并接收其他N-1個(gè)計(jì)算節(jié)點(diǎn)發(fā)送的列標(biāo)識(shí)。 可選的，所述連續(xù)化模塊包括第一行連續(xù)化模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)本地的行標(biāo)識(shí)生成行標(biāo)識(shí)向量，并對(duì)行標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)行標(biāo)識(shí)相應(yīng)的第一行標(biāo)識(shí)；第一列連續(xù)化模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)對(duì)本地的列標(biāo)識(shí)進(jìn)行去重并生成列標(biāo)識(shí)向量，并對(duì)列標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)列標(biāo)識(shí)相應(yīng)的第一列標(biāo)識(shí)?？蛇x的，所述通知模塊包括第一通知模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)第一列標(biāo)識(shí)與原列標(biāo)識(shí)的對(duì)應(yīng)關(guān)系，將第一列標(biāo)識(shí)通知給其他計(jì)算節(jié)點(diǎn)?？蛇x的，當(dāng)每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中按列分塊的數(shù)據(jù)元素時(shí)，所述散步和接收模塊包括行散步和接收模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)閾值的行標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的行標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)；并接收其他計(jì)算節(jié)點(diǎn)發(fā)送的行標(biāo)識(shí)。可選的，所述連續(xù)化模塊包括第二列續(xù)化模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)本地的列標(biāo)識(shí)生成行標(biāo)識(shí)向量，并對(duì)列標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)列標(biāo)識(shí)相應(yīng)的第一列標(biāo)識(shí)；第二行續(xù)化模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)對(duì)本地的行標(biāo)識(shí)進(jìn)行去重并生成行標(biāo)識(shí)向量，并對(duì)行標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)行標(biāo)識(shí)相應(yīng)的第一行標(biāo)識(shí)?？蛇x的，所述通知模塊包括第二通知模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)第一行標(biāo)識(shí)與原行標(biāo)識(shí)的對(duì)應(yīng)關(guān)系，將第一行標(biāo)識(shí)通知給其他計(jì)算節(jié)點(diǎn)?？蛇x的，所述第一列續(xù)化模塊、第一行續(xù)化模塊、第二列續(xù)化模塊、第二行續(xù)化模塊包括統(tǒng)計(jì)模塊，適于每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)i統(tǒng)計(jì)待計(jì)算的標(biāo)識(shí)總數(shù)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種矩陣數(shù)據(jù)元素標(biāo)識(shí)連續(xù)化方法，其特征在于，包括：針對(duì)N個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中被分配給該計(jì)算節(jié)點(diǎn)的矩陣分塊的數(shù)據(jù)元素；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)預(yù)置的數(shù)據(jù)標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的數(shù)據(jù)標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)，并接收剩余N?1個(gè)計(jì)算節(jié)點(diǎn)發(fā)送的數(shù)據(jù)標(biāo)識(shí)，獲得由所述計(jì)算節(jié)點(diǎn)進(jìn)行處理的最終數(shù)據(jù)標(biāo)識(shí)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)所述最終數(shù)據(jù)標(biāo)識(shí)進(jìn)行連續(xù)化，獲得與每個(gè)數(shù)據(jù)標(biāo)識(shí)相應(yīng)的第一標(biāo)識(shí)；每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)將第一標(biāo)識(shí)與原數(shù)據(jù)標(biāo)識(shí)的對(duì)應(yīng)關(guān)系通知給其他計(jì)算節(jié)點(diǎn)。

【技術(shù)特征摘要】
1.一種矩陣數(shù)據(jù)元素標(biāo)識(shí)連續(xù)化方法，其特征在于，包括 針對(duì)N個(gè)計(jì)算節(jié)點(diǎn)，每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中被分配給該計(jì)算節(jié)點(diǎn)的矩陣分塊的數(shù)據(jù)元素； 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)預(yù)置的數(shù)據(jù)標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的數(shù)據(jù)標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)，并接收剩余N-1個(gè)計(jì)算節(jié)點(diǎn)發(fā)送的數(shù)據(jù)標(biāo)識(shí)，獲得由所述計(jì)算節(jié)點(diǎn)進(jìn)行處理的最終數(shù)據(jù)標(biāo)識(shí)； 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)所述最終數(shù)據(jù)標(biāo)識(shí)進(jìn)行連續(xù)化，獲得與每個(gè)數(shù)據(jù)標(biāo)識(shí)相應(yīng)的第一標(biāo)識(shí)； 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)將第一標(biāo)識(shí)與原數(shù)據(jù)標(biāo)識(shí)的對(duì)應(yīng)關(guān)系通知給其他計(jì)算節(jié)點(diǎn)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中被分配給該計(jì)算節(jié)點(diǎn)的矩陣分塊的數(shù)據(jù)元素包括 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)讀取矩陣數(shù)據(jù)中按行分塊的數(shù)據(jù)元素，或者按列分塊的數(shù)據(jù)元素。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)預(yù)置的數(shù)據(jù)標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的數(shù)據(jù)標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)包括 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)閾值的列標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的列標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)；并接收其他N-1個(gè)計(jì)算節(jié)點(diǎn)發(fā)送的列標(biāo)識(shí)。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)所述最終數(shù)據(jù)標(biāo)識(shí)進(jìn)行連續(xù)化，獲得與每個(gè)數(shù)據(jù)標(biāo)識(shí)相應(yīng)的第一標(biāo)識(shí)包括 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)本地的行標(biāo)識(shí)生成行標(biāo)識(shí)向量，并對(duì)行標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)行標(biāo)識(shí)相應(yīng)的第一行標(biāo)識(shí)； 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)對(duì)本地的列標(biāo)識(shí)進(jìn)行去重并生成列標(biāo)識(shí)向量，并對(duì)列標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)列標(biāo)識(shí)相應(yīng)的第一列標(biāo)識(shí)。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)將第一標(biāo)識(shí)與原數(shù)據(jù)標(biāo)識(shí)的對(duì)應(yīng)關(guān)系通知給其他計(jì)算節(jié)點(diǎn)包括 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)第一列標(biāo)識(shí)與原列標(biāo)識(shí)的對(duì)應(yīng)關(guān)系，將第一列標(biāo)識(shí)通知給其他計(jì)算節(jié)點(diǎn)。6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)預(yù)置的數(shù)據(jù)標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的數(shù)據(jù)標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)包括 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)閾值的行標(biāo)識(shí)散步規(guī)則，將所讀取的數(shù)據(jù)元素中的行標(biāo)識(shí)保留在本地或者發(fā)送到相應(yīng)的計(jì)算節(jié)點(diǎn)；并接收其他計(jì)算節(jié)點(diǎn)發(fā)送的行標(biāo)識(shí)。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)所述最終數(shù)據(jù)標(biāo)識(shí)進(jìn)行連續(xù)化，獲得與每個(gè)數(shù)據(jù)標(biāo)識(shí)相應(yīng)的第一標(biāo)識(shí)包括 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)本地的列標(biāo)識(shí)生成行標(biāo)識(shí)向量，并對(duì)列標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)列標(biāo)識(shí)相應(yīng)的第一列標(biāo)識(shí)； 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)對(duì)本地的行標(biāo)識(shí)進(jìn)行去重并生成行標(biāo)識(shí)向量，并對(duì)行標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得與每個(gè)行標(biāo)識(shí)相應(yīng)的第一行標(biāo)識(shí)。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)將第一標(biāo)識(shí)與原數(shù)據(jù)標(biāo)識(shí)的對(duì)應(yīng)關(guān)系通知給其他計(jì)算節(jié)點(diǎn)包括 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)第一行標(biāo)識(shí)與原行標(biāo)識(shí)的對(duì)應(yīng)關(guān)系，將第一行標(biāo)識(shí)通知給其他計(jì)算節(jié)點(diǎn)。9.根據(jù)權(quán)利要求4或7所述的方法，其特征在于，所述對(duì)向量進(jìn)行連續(xù)化包括 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)i統(tǒng)計(jì)待計(jì)算的標(biāo)識(shí)總數(shù)Ni，并將所述總數(shù)通知給其他計(jì)算節(jié)點(diǎn)； 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)各計(jì)算節(jié)點(diǎn)待計(jì)算的標(biāo)識(shí)總數(shù)Ni，計(jì)算本節(jié)點(diǎn)起始的第一標(biāo)識(shí)； 每個(gè)參與計(jì)算的計(jì)算節(jié)點(diǎn)根據(jù)本節(jié)點(diǎn)的起始的第一標(biāo)識(shí)，對(duì)本節(jié)點(diǎn)的標(biāo)識(shí)向量進(jìn)行連續(xù)化，獲得相應(yīng)的第一標(biāo)識(shí)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：齊路，何銳邦，唐會(huì)軍，
申請(qǐng)(專利權(quán))人：北京奇虎科技有限公司，奇智軟件北京有限公司，
類型：發(fā)明
國別省市：