本發(fā)明專利技術(shù)涉及一種基于最小依賴的細(xì)粒度科研數(shù)據(jù)融合系統(tǒng)，該系統(tǒng)主要通過利用數(shù)據(jù)的最小依賴，采用主動(dòng)式登記的方式，增強(qiáng)數(shù)據(jù)源所有者參與的主動(dòng)性，降低數(shù)據(jù)源參與者的技術(shù)難度，解決一些較小且不完整數(shù)據(jù)源的數(shù)據(jù)融合問題。系統(tǒng)采用一種分布式結(jié)構(gòu)，使系統(tǒng)具有良好的擴(kuò)展性；以最小依賴、基礎(chǔ)數(shù)據(jù)模式和基礎(chǔ)數(shù)據(jù)表的融合系統(tǒng)的數(shù)據(jù)邏輯層為數(shù)據(jù)源映射關(guān)系提供了一種靈活的機(jī)制。系統(tǒng)應(yīng)用層的系統(tǒng)交互管理服務(wù)器和數(shù)據(jù)發(fā)布服務(wù)器分別為不同用戶提供了可視化的數(shù)據(jù)管理、登記、訪問的方法。存儲(chǔ)著系統(tǒng)的信息融合服務(wù)器不間斷運(yùn)行，保證數(shù)據(jù)的及時(shí)性，同時(shí)融合規(guī)則的靈活使用也大大提高了融合的智能性和系統(tǒng)數(shù)據(jù)的準(zhǔn)確性。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及的是信息
的系統(tǒng)，具體的說是基于最小依賴的細(xì)粒度科研數(shù)據(jù)融合系統(tǒng)，用于有目標(biāo)地收集Internet上科學(xué)研究方面的數(shù)據(jù)。
技術(shù)介紹
信息融合系統(tǒng)是對(duì)多源異構(gòu)數(shù)據(jù)提供統(tǒng)一的存儲(chǔ)、查詢和管理的系統(tǒng)。由于數(shù)據(jù)在不同的數(shù)據(jù)源中有不同的表示方式，所以需要針對(duì)各個(gè)數(shù)據(jù)源設(shè)定特定的數(shù)據(jù)獲取方法，并對(duì)這些數(shù)據(jù)加以整合，形成具有實(shí)用意義的數(shù)據(jù)。當(dāng)前，數(shù)據(jù)融合的數(shù)據(jù)來源是由數(shù)據(jù)融合系統(tǒng)方主動(dòng)查找，并且在找到的數(shù)據(jù)源模式和融合系統(tǒng)的目標(biāo)模式之間建立映射關(guān)系。這種方式具有很大的被動(dòng)性，容易忽略一些較小的、零散的、未被廣泛知曉的數(shù)據(jù)源，例如科研課題發(fā)布信息。同時(shí)，當(dāng)前使用的數(shù)據(jù)映射方法需要較為專業(yè)的知識(shí)，這在某種程度上也就造成了普通的數(shù)據(jù)源提供者加入數(shù)據(jù)融合系統(tǒng)、為數(shù)據(jù)融合系統(tǒng)提供數(shù)據(jù)的難度。因此，為了從根本上解決多源異構(gòu)數(shù)據(jù)融合系統(tǒng)的靈活性、可擴(kuò)展性和簡(jiǎn)單易用性，需要研發(fā)一個(gè)開放的，使數(shù)據(jù)源所有者可以主動(dòng)參與的，并且能夠?yàn)閺V大使用者提供服務(wù)的新數(shù)據(jù)融合系統(tǒng)。 經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，中國(guó)專利申請(qǐng)?zhí)?00710042896. X，專利技術(shù)名稱基于海量交通信息的融合系統(tǒng)，公開號(hào)CN101075227，該專利的數(shù)據(jù)融合系統(tǒng)中，主要考慮到若干個(gè)集中的數(shù)據(jù)源，提供專業(yè)應(yīng)用人員使用；其并沒有考慮到當(dāng)數(shù)據(jù)源是一些較小，較零散，且數(shù)據(jù)源來源多樣的情況。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)和系統(tǒng)的不足，提供基于最小依賴的細(xì)粒度科研數(shù)據(jù)融合系統(tǒng)，保證系統(tǒng)的開放性，增強(qiáng)數(shù)據(jù)源所有者參與的主動(dòng)性，降低數(shù)據(jù)源參與者的技術(shù)難度。本專利技術(shù)采用基于路徑的數(shù)據(jù)導(dǎo)航技術(shù)，使其能夠在網(wǎng)絡(luò)環(huán)境下為不同信息來源提供一種靈活，高效的數(shù)據(jù)融合系統(tǒng)，解決當(dāng)前信息集成系統(tǒng)不能對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行細(xì)粒度分析和提取的問題；同時(shí)采用開放式結(jié)構(gòu)，可視化的基礎(chǔ)數(shù)據(jù)表映射技術(shù)，使所有潛在的數(shù)據(jù)提供者都可以加入該數(shù)據(jù)融合系統(tǒng)，為系統(tǒng)提供數(shù)據(jù)的支持。同時(shí)對(duì)信息融合系統(tǒng)進(jìn)行模塊化構(gòu)造，以解決數(shù)據(jù)融合系統(tǒng)重復(fù)開發(fā)，共享性差等問題，推動(dòng)數(shù)據(jù)融合的應(yīng)用和發(fā)展。本專利技術(shù)采用以下方案實(shí)現(xiàn)一種基于最小依賴的細(xì)粒度科研數(shù)據(jù)融合系統(tǒng)，其特征在于包括數(shù)據(jù)采集服務(wù)器、信息融合服務(wù)器、映射及依賴管理服務(wù)器、系統(tǒng)交互管理服務(wù)器以及數(shù)據(jù)發(fā)布服務(wù)器；其中系統(tǒng)交互管理服務(wù)器和信息融合服務(wù)器之間以及系統(tǒng)交互管理服務(wù)器和映射及依賴管理服務(wù)器之間分別通過網(wǎng)絡(luò)連接；信息融合服務(wù)器分別與映射及依賴管理服務(wù)器、數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)發(fā)布服務(wù)器、系統(tǒng)交互服務(wù)器連接；所述數(shù)據(jù)采集服務(wù)器是能夠以指定方式訪問網(wǎng)絡(luò)上的數(shù)據(jù)庫(kù)、HTML、XML數(shù)據(jù)，并獲取相應(yīng)信息的計(jì)算機(jī)；所述映射及依賴管理服務(wù)器是專門用于存儲(chǔ)和管理數(shù)據(jù)源、系統(tǒng)最小依賴集和數(shù)據(jù)源模式到該融合系統(tǒng)基礎(chǔ)數(shù)據(jù)模式映射關(guān)系的計(jì)算機(jī)；所述信息融合服務(wù)器是從映射及依賴管理服務(wù)器獲取數(shù)據(jù)源信息，調(diào)度數(shù)據(jù)采集服務(wù)器，獲取數(shù)據(jù)采集服務(wù)器返回結(jié)果，并進(jìn)行數(shù)據(jù)融合處理的計(jì)算機(jī)；所述系統(tǒng)交互管理服務(wù)器是為管理用戶和數(shù)據(jù)源用戶提供數(shù)據(jù)融合系統(tǒng)可視化操作界面的計(jì)算機(jī)；所述數(shù)據(jù)發(fā)布服務(wù)器是指專門用于接受數(shù)據(jù)用戶請(qǐng)求，并把結(jié)果反饋給數(shù)據(jù)用戶的計(jì)算機(jī)。本專利技術(shù)系統(tǒng)具有良好的擴(kuò)展性和簡(jiǎn)單易用性。本專利技術(shù)系統(tǒng)采用分布式系統(tǒng)架構(gòu)，各個(gè)服務(wù)器遵循既定的通信接口，系統(tǒng)的各個(gè)組成部分可以放置于同一臺(tái)服務(wù)器，也可以是分布式環(huán)境下多臺(tái)服務(wù)器，使系統(tǒng)可以適應(yīng)不同規(guī)模的應(yīng)用。系統(tǒng)中各類服務(wù)器可以進(jìn)行增加、擴(kuò)展，使系統(tǒng)能夠適應(yīng)更大的吞吐量。整個(gè)系統(tǒng)通過系統(tǒng)交互管理服務(wù)器提供統(tǒng)一的用戶注冊(cè)、維護(hù)數(shù)據(jù)源維護(hù)、管理用戶管理整個(gè)系統(tǒng)的門戶；數(shù)據(jù)發(fā)布服務(wù)器提供統(tǒng)一的數(shù)據(jù)用戶數(shù)據(jù)請(qǐng)求調(diào)用接口和可視化Web頁(yè)面，方便數(shù)據(jù)用戶使用。本專利技術(shù)系統(tǒng)具有良好的開放性，使數(shù)據(jù)源用戶可以主動(dòng)參與數(shù)據(jù)融合系統(tǒng)的建·設(shè)。現(xiàn)有數(shù)據(jù)集成系統(tǒng)通常是有目標(biāo)的獲取數(shù)據(jù)源，并有系統(tǒng)管理用戶建立兩者之間數(shù)據(jù)的映射關(guān)系。而本專利技術(shù)系統(tǒng)則是通過基礎(chǔ)數(shù)據(jù)模式，由數(shù)據(jù)源用戶在系統(tǒng)上注冊(cè)自身數(shù)據(jù)源，并且建立數(shù)據(jù)源和系統(tǒng)基礎(chǔ)數(shù)據(jù)模式之間的映射關(guān)系。這種做法使系統(tǒng)能夠集中成千上萬具有少量數(shù)據(jù)的用戶為整個(gè)系統(tǒng)的服務(wù)，從而達(dá)到數(shù)據(jù)數(shù)據(jù)源的多樣性。本專利技術(shù)系統(tǒng)具有良好的靈活性，可以使數(shù)據(jù)用戶根據(jù)自身的需要從數(shù)據(jù)融合系統(tǒng)基礎(chǔ)數(shù)據(jù)模式的基礎(chǔ)上重組得到自身要求格式。本專利技術(shù)系統(tǒng)所采集數(shù)據(jù)都是以基礎(chǔ)數(shù)據(jù)表加以存儲(chǔ)的，用戶可以從這些小的存儲(chǔ)表中進(jìn)行選擇、投影、連接操作，從而得到滿足自身需要的數(shù)據(jù)格式。本專利技術(shù)提出一種基于細(xì)粒度的數(shù)據(jù)融合方法。該方法以數(shù)據(jù)之間的最小依賴為中心，從最小依賴構(gòu)造融合信息數(shù)據(jù)庫(kù)的基礎(chǔ)數(shù)據(jù)模式和基礎(chǔ)數(shù)據(jù)表。當(dāng)數(shù)據(jù)源用戶登記數(shù)據(jù)時(shí)，需要根據(jù)數(shù)據(jù)源數(shù)據(jù)的具體含義，以及數(shù)據(jù)之間的依賴關(guān)系，把數(shù)據(jù)分解為更細(xì)粒度的數(shù)據(jù)表，并映射到基礎(chǔ)數(shù)據(jù)表上。當(dāng)數(shù)據(jù)用戶在使用時(shí)，則以數(shù)據(jù)融合系統(tǒng)中的基礎(chǔ)數(shù)據(jù)表為基礎(chǔ)，按照自身的需求進(jìn)行組合操作。由于所有數(shù)據(jù)都是按照依賴關(guān)系進(jìn)行最小化分解，所以在采集數(shù)據(jù)和發(fā)布數(shù)據(jù)時(shí)都具有很好的靈活性。本專利技術(shù)的特點(diǎn)和效果 I)數(shù)據(jù)組織的靈活性和參與的廣泛性對(duì)于任何一個(gè)數(shù)據(jù)源，只要該數(shù)據(jù)源上數(shù)據(jù)的模式分解能夠滿足某一基礎(chǔ)數(shù)據(jù)模式，那么該數(shù)據(jù)源便可以為系統(tǒng)貢獻(xiàn)自己的信息。反之，任何復(fù)雜的數(shù)據(jù)要求，都可以從基礎(chǔ)數(shù)據(jù)表中組合出來，這兩方面極大提高了該專利技術(shù)系統(tǒng)數(shù)據(jù)來源的廣泛性和應(yīng)用的靈活性。2)數(shù)據(jù)的高效性和準(zhǔn)確性一旦數(shù)據(jù)源用戶登記了數(shù)據(jù)源的基本信息，并建立起映射關(guān)系，數(shù)據(jù)融合系統(tǒng)就會(huì)間隔一定時(shí)間訪問數(shù)據(jù)源，獲取數(shù)據(jù)源數(shù)據(jù)的變化，更新已有融合數(shù)據(jù)，這樣避免了數(shù)據(jù)用戶請(qǐng)求數(shù)據(jù)時(shí)才進(jìn)行數(shù)據(jù)采集花費(fèi)的時(shí)間，大大提高系統(tǒng)數(shù)據(jù)服務(wù)的高效性。而系統(tǒng)不定期的訪問數(shù)據(jù)源，更新數(shù)據(jù)，這也就保證了系統(tǒng)所提供數(shù)據(jù)的準(zhǔn)確性； 3)系統(tǒng)的開放性本專利技術(shù)系統(tǒng)具有很強(qiáng)的開放性，系統(tǒng)的數(shù)據(jù)源用戶可以自主加入系統(tǒng)，為系統(tǒng)提供相關(guān)數(shù)據(jù)；同時(shí)，數(shù)據(jù)用戶可以方便的從系統(tǒng)獲得數(shù)據(jù)服務(wù)。由于更多用戶的參與，使整個(gè)系統(tǒng)成為一個(gè)開放的系統(tǒng)，具有更多的信息來源，也為更多用戶提供服務(wù)。4)很強(qiáng)的擴(kuò)展性本專利技術(shù)系統(tǒng)可以把各部分功能集中在一臺(tái)服務(wù)器上，也可以是在網(wǎng)絡(luò)中的多臺(tái)服務(wù)器，同時(shí)，系統(tǒng)還可以根據(jù)數(shù)據(jù)源多少、數(shù)據(jù)用戶的多少增加數(shù)據(jù)發(fā)布服務(wù)器、信息融合服務(wù)器和數(shù)據(jù)采集服務(wù)器以應(yīng)對(duì)吞吐規(guī)模的變化。5)使用及管理方便本專利技術(shù)系統(tǒng)的數(shù)據(jù)源參與、系統(tǒng)管理等都通過系統(tǒng)交互管理服務(wù)器的Web頁(yè)面直觀呈現(xiàn)；而數(shù)據(jù)請(qǐng)求操作不但可以通過Web頁(yè)面，也可以通過程序接口獲取數(shù)據(jù)，返回的數(shù)據(jù)使用XML描述。這使系統(tǒng)管理和應(yīng)用不受地域限制，可以在任意可以上網(wǎng)的計(jì)算機(jī)上執(zhí)行，同時(shí)人機(jī)交互界面友好，操作簡(jiǎn)單。附圖說明圖I為本專利技術(shù)系統(tǒng)整體架構(gòu)示意圖。 圖2為信息融合服務(wù)器主要模塊及交互圖。圖3為映射及依賴管理服務(wù)器主要模塊連接示意圖。圖4為數(shù)據(jù)發(fā)布服務(wù)器主要模塊連接示意圖。具體實(shí)施例方式本專利技術(shù)的數(shù)據(jù)融合系統(tǒng)包括數(shù)據(jù)采集服務(wù)器、信息融合服務(wù)器、映射及依賴管理服務(wù)器、系統(tǒng)交互管理服務(wù)器以及數(shù)據(jù)發(fā)布服務(wù)器。其中系統(tǒng)交互管理服務(wù)器和信息融合服務(wù)器之間，系統(tǒng)交互管理服務(wù)器和映射及依賴管理服務(wù)器之間分別通過網(wǎng)絡(luò)連接。信息融合服務(wù)器以通信方式分別與映射及依賴管理服務(wù)器、數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)發(fā)布服務(wù)器、系統(tǒng)交互服務(wù)器連接。其中上述數(shù)據(jù)采集服務(wù)器是指能夠以指定方式訪問網(wǎng)絡(luò)上的數(shù)據(jù)庫(kù)、H本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種基于最小依賴的細(xì)粒度科研數(shù)據(jù)融合系統(tǒng)，其特征在于：包括數(shù)據(jù)采集服務(wù)器、信息融合服務(wù)器、映射及依賴管理服務(wù)器、系統(tǒng)交互管理服務(wù)器以及數(shù)據(jù)發(fā)布服務(wù)器；其中系統(tǒng)交互管理服務(wù)器和信息融合服務(wù)器之間以及系統(tǒng)交互管理服務(wù)器和映射及依賴管理服務(wù)器之間分別通過網(wǎng)絡(luò)連接；信息融合服務(wù)器分別與映射及依賴管理服務(wù)器、數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)發(fā)布服務(wù)器、系統(tǒng)交互服務(wù)器連接；所述數(shù)據(jù)采集服務(wù)器是能夠以指定方式訪問網(wǎng)絡(luò)上的數(shù)據(jù)庫(kù)、HTML、XML數(shù)據(jù)，并獲取相應(yīng)信息的計(jì)算機(jī)；所述映射及依賴管理服務(wù)器是專門用于存儲(chǔ)和管理數(shù)據(jù)源、系統(tǒng)最小依賴集和數(shù)據(jù)源模式到該融合系統(tǒng)基礎(chǔ)數(shù)據(jù)模式映射關(guān)系的計(jì)算機(jī)；所述信息融合服務(wù)器是從映射及依賴管理服務(wù)器獲取數(shù)據(jù)源信息，調(diào)度數(shù)據(jù)采集服務(wù)器，獲取數(shù)據(jù)采集服務(wù)器返回結(jié)果，并進(jìn)行數(shù)據(jù)融合處理的計(jì)算機(jī)；所述系統(tǒng)交互管理服務(wù)器是為管理用戶和數(shù)據(jù)源用戶提供數(shù)據(jù)融合系統(tǒng)可視化操作界面的計(jì)算機(jī)；所述數(shù)據(jù)發(fā)布服務(wù)器是指專門用于接受數(shù)據(jù)用戶請(qǐng)求，并把結(jié)果反饋給數(shù)據(jù)用戶的計(jì)算機(jī)。
【技術(shù)特征摘要】
1.一種基于最小依賴的細(xì)粒度科研數(shù)據(jù)融合系統(tǒng)，其特征在于包括數(shù)據(jù)采集服務(wù)器、信息融合服務(wù)器、映射及依賴管理服務(wù)器、系統(tǒng)交互管理服務(wù)器以及數(shù)據(jù)發(fā)布服務(wù)器；其中系統(tǒng)交互管理服務(wù)器和信息融合服務(wù)器之間以及系統(tǒng)交互管理服務(wù)器和映射及依賴管理服務(wù)器之間分別通過網(wǎng)絡(luò)連接；信息融合服務(wù)器分別與映射及依賴管理服務(wù)器、數(shù)據(jù)采集服務(wù)器、數(shù)據(jù)發(fā)布服務(wù)器、系統(tǒng)交互服務(wù)器連接； 所述數(shù)據(jù)采集服務(wù)器是能夠以指定方式訪問網(wǎng)絡(luò)上的數(shù)據(jù)庫(kù)、HTML、XML數(shù)據(jù)，并獲取相應(yīng)信息的計(jì)算機(jī)； 所述映射及依賴管理服務(wù)器是專門用于存儲(chǔ)和管理數(shù)據(jù)源、系統(tǒng)最小依賴集和數(shù)據(jù)源模式到該融合系統(tǒng)基礎(chǔ)數(shù)據(jù)模式映射關(guān)系的計(jì)算機(jī)； 所述信息融合服務(wù)器是從映射及依賴管理服務(wù)器獲取數(shù)據(jù)源信息，調(diào)度數(shù)據(jù)采集服務(wù)器，獲取數(shù)據(jù)采集服務(wù)器返回結(jié)果，并進(jìn)行數(shù)據(jù)融合處理的計(jì)算機(jī)； 所述系統(tǒng)交互管理服務(wù)器是為管理用戶和數(shù)據(jù)源用戶提供數(shù)據(jù)融合系統(tǒng)可視化操作界面的計(jì)算機(jī)； 所述數(shù)據(jù)發(fā)布服務(wù)器是指專門用于接受數(shù)據(jù)用戶請(qǐng)求，并把結(jié)果反饋給數(shù)據(jù)用戶的計(jì)算機(jī)。2.根據(jù)權(quán)利要求I所述的基于最小依賴的細(xì)粒度科研數(shù)據(jù)融合系統(tǒng)，其特征在于所述的信息融合服務(wù)器包括數(shù)據(jù)融合引擎、融合信息數(shù)據(jù)庫(kù)、查詢處理模塊、融合規(guī)則管理模塊以及融合規(guī)則數(shù)據(jù)庫(kù)；其中數(shù)據(jù)融合引擎和映射和依賴管理服務(wù)器相連，用于獲取映射信息和數(shù)據(jù)源信息；數(shù)據(jù)融合引擎和融合規(guī)則數(shù)據(jù)庫(kù)相連，用于處理采集器返回?cái)?shù)據(jù)的融合問題；融合規(guī)則管理模塊和融合規(guī)則數(shù)據(jù)庫(kù)相連，為融合規(guī)則的管理提供接口 ；融合規(guī)則管理模塊和系統(tǒng)交互管理服務(wù)器相連，用于響應(yīng)管理用戶對(duì)融合規(guī)則的管理；數(shù)據(jù)融合引擎和融合信息數(shù)據(jù)庫(kù)相連，用于存儲(chǔ)融合結(jié)果；數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)和數(shù)據(jù)發(fā)布服務(wù)器相連，把數(shù)據(jù)融合結(jié)果反饋給用戶。3.根據(jù)權(quán)利要求I所述的基于最小依賴的細(xì)粒度科研數(shù)據(jù)融合系統(tǒng)，其特征在于所述映射及依賴管理服務(wù)器包括映射規(guī)則及依賴關(guān)系數(shù)據(jù)庫(kù)、映射規(guī)則存取模塊以及映射規(guī)則管理模塊；其中映射規(guī)則存取模塊則為信息融合服務(wù)器提供了訪問映射規(guī)則及依賴關(guān)系數(shù)據(jù)庫(kù)的接口 ；映射規(guī)則管理模塊是為系統(tǒng)交互管理服務(wù)器提供管理映射規(guī)則及依賴關(guān)系數(shù)據(jù)庫(kù)的接口。4.根據(jù)權(quán)利要求I所述的基于最小依賴的細(xì)粒度科研數(shù)據(jù)融...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：賴會(huì)霞，張仕，
申請(qǐng)(專利權(quán))人：福建師范大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。