溫馨提示：您尚未登錄，請(qǐng)點(diǎn) 登陸 后下載，如果您還沒有賬戶請(qǐng)點(diǎn) 注冊(cè) ，登陸完成后，請(qǐng)刷新本頁查看技術(shù)詳細(xì)信息。
本發(fā)明公開了一種基于scrapy爬蟲框架的數(shù)據(jù)采集系統(tǒng)及方法，包括：爬蟲隊(duì)列模塊和爬蟲執(zhí)行模塊；爬蟲隊(duì)列模塊包括爬蟲種子隊(duì)列、爬蟲種子處理單元和爬蟲任務(wù)隊(duì)列；爬蟲種子隊(duì)列用于存儲(chǔ)爬蟲任務(wù)；爬蟲種子處理單元用于對(duì)爬蟲種子隊(duì)列中的爬蟲任務(wù)進(jìn)行去...該專利屬于青島海洋科學(xué)與技術(shù)國家實(shí)驗(yàn)室發(fā)展中心所有，僅供學(xué)習(xí)研究參考，未經(jīng)過青島海洋科學(xué)與技術(shù)國家實(shí)驗(yàn)室發(fā)展中心授權(quán)不得商用。