一種搜索引擎評估系統以及管理技術方案

本發明專利技術公開了一種搜索引擎評估系統以及管理，包括由測試管理模塊、抓取模塊、解析模塊、Mola數據庫、任務切分模塊、MySql數據庫、評估模塊、任務分發模塊、任務池、答題監控模塊和結果導出模塊組成的搜索引擎評估系統，還包括搜索引擎評估系統管理。本發明專利技術，提高了網絡交易評價、考試過程和結果以及學習狀況檢驗的真實性，防止作弊現象的發生，及時篩選控制任務的數量和難度，控制交易評價者、考試和學習人員的進度，防止交易評價者多次重復評價、考試和學習人員多領取題目，惡意搶題現象時有發生，保證評價、考試和學習的質量。

Search engine evaluation system and management

The invention discloses a search engine evaluation system and management, including test management module, crawling module, analysis module, Mola database, MySql database, task segmentation module, evaluation module, task distribution module, task pool, answer monitoring module and the module which results in search engine evaluation system, including search management engine evaluation system. The present invention, improve the authenticity of the network transaction process and the result of evaluation and examination and learning situation inspection, to prevent the occurrence of the phenomenon of cheating, timely screening number and difficulty of control, control, examination and evaluation of business personnel learning progress, prevent the transaction evaluation of repeated evaluation, examination and study personnel to receive the title, malicious grab questions have occurred, to ensure the quality evaluation and examination and study.

【技術實現步驟摘要】

本專利技術涉及搜索引擎評估
，尤其涉及一種搜索引擎評估系統以及管理。
技術介紹
隨著互聯網絡的不斷發展，人們在網絡上從事的交易、考試和學習越來越多，對交易的結果或學習狀態評價審核不一，由于網絡管理部規范，任務發布人員或答題人員，對網絡答題的篩選評價沒有相應的管理，容易出現作弊燈情況出現，為了保障網絡交易的評價、考試和學習的真實性和效率，提出一種搜索引擎評估系統以及管理。
技術實現思路
本專利技術的目的是為了解決現有技術中存在的缺點，而提出的一種搜索引擎評估系統以及管理。為了實現上述目的，本專利技術采用了如下技術方案：一種搜索引擎評估系統，其特征在于：包括由測試管理模塊、抓取模塊、解析模塊、Mola數據庫、任務切分模塊、MySql數據庫、評估模塊、任務分發模塊、任務池、答題監控模塊和結果導出模塊組成的搜索引擎評估系統，所述測試管理模塊分別與抓取模塊、MySql數據庫和任務切分模塊連接，所述抓取模塊分別與MySql數據庫和解析模塊連接，所述解析模塊與Mola數據庫連接，所述MySql數據庫分別與任務切分模塊、任務分發模塊、任務池、答題監控模塊、評估模塊和結果導出模塊連接，所述任務池分別與任務分發模塊和答題監控模塊連接；所述測試管理模塊用于接收任務發布人員的創建測試，并創建測試的名稱、測試的內容（一般是query、url、text等）、對可以做測試人的要求、參加測試的人數、每個測試包中題目的數量、以及抓取的相關信息等，所述抓取模塊用于抓取所需要的網頁數據，包括抓取的出口，抓取的內容、抓取的配置、是否做解析，所述解析模塊用于在抓取的網頁中嵌入一些打分項，所述Mola數據庫用于儲存抓取好的網頁，所述任務切分模塊將整個測試切分成創建測試時設置的小包，并輸入測試題目，所述評估模塊用于監控眾包人員做題的效果，防止作弊人員，所述任務分發模塊會根據創建測試人的要求選擇合適的眾包答題人員，并且將測試題目發送至答題人的任務池中，所述任務池用于眾包答題人員在登錄后領取任務，所述答題監控模塊用于實時的保存做題的結果，所述結果導出模塊用于導出測試的結果，所述MySql數據庫用于存儲測試管理模塊發送的信息、測試題目和測試的結果。一種搜索引擎評估系統管理，其特征在于：包括S1創建測試和測試管理、S2抓取網頁和抓取統計、S3任務切分和任務分發、S4評估和準確率計算、S5標注結果保存、S6眾包人員等級控制和S7易錯題反饋，其步驟為：S1、任務發布者在前端頁面填入必須填寫的信息，如上面功能需求所述，然后點擊保存，后臺程序驗證任務發布者權限、驗證填寫內容是否合法后，將測試必須的信息寫入數據庫中。返回給任務發布者可以查看測試信息配置頁面，如果任務發布者確認無誤可以點擊返回進入測試管理頁面，如果任務發布者需要修改測試信息，則點擊修改按鈕進入修改頁面進行修改測試的相關信息，如果測試已經發布，則一些信息無法修改，只能修改與發布任務后無關的信息。修改完成后點擊保存，保存測試的配置信息。S2、在一個測試創建成功后，首先要進行的任務就是抓取測試中的所有頁面，把一個測試中的所有url從query表中選取出來，經過拼接，將url和query_id封裝成json串發送給抓取服務提供端，等待抓取服務抓取完畢后，會回調評估系統，通知評估系統哪些題目已經抓取好，哪些沒有抓取好，評估系統會發送郵件給測試發布人，測試發布人登錄系統，如果認為抓取的效果可以接受則進入任務發布階段，如果認為抓取結果不可接受，可以點擊重抓，評估系統會將所有的抓取失敗的url和query_id重新封裝成json串發送給抓取服務提供端。讓抓取服務端進行抓?。痪W頁抓取的監控，是對抓取系統服務性能的衡量，是評估系統的保證，網頁抓取監控模塊每周回發送一份周報，統計一周內抓取網頁的總數、成功率、平均抓取時間等信息。S3、抓取完成后，系統會調用任務切分模塊，任務切分模塊會選擇所有抓取成功的題目，將這些題目打散和監控題目混合在一起，然后從數據庫中讀取測試發布者對任務切分的配置，將所有的任務切分成小塊。每次眾包評估者在任務池中只領取一個小包的任務，完成后繼續認領其他小包的任務，同一個眾包評估者只能認領同一個小包任務一次。待所有小包任務都收回后，系統通過任務發布者提供的腳本統計出最終的結果。S4、在任務切分的過程中，如果選擇了插入監控的方式，會在切分成小任務包后隨機插入一些監控題目，監控題目來自監控題庫，監控題目的數量占小包任務數的10%。在眾包標注者標注小包題目提交后，系統會運行準確率檢查程序，計算眾包標注者對小包中的監控題目和監控題目標注答案的差異，通過計算一致率來計算出眾包標注者對本次標注的標注質量，標注的準確率會記錄在標注人和小包關聯的表中；自動監控是指不需要人工插入監控答案，通過評估全部眾包標注者對小包題目的標注來評估每個標注人對小包標注的質量。在標注人數大于一般的時候眾包標注者每次提交標注答案都會運行評估腳本，評估腳本的目的是評估所有參與此次小包標注的人的標注質量以及小包的題目最終統計答案的可靠程度。對標注質量差的人的答案，采取刪除的策略，對可靠程度低的題目會發回任務池進行重新標注，評估腳本運行后也會產生每個標注者的正確率，這個正確率也會被記錄在標注人和小包關聯的表中。S5、接受到前端的保存請求時，進行基本的權限判斷，是否是授權用戶，授權用戶即誰有權限可以標注打分——眾包評估人員、答案提供人員，如果不是，返回并且提示非法授權用戶，如果是，繼續保存。如果用戶對打分結果進行修改的話，首先要清除用戶以前的打分記錄，如果是提供標準答案的標注人的數據，還要刪除這個評估題目之前的打分結果，使標注答案標準化。 S6、把外包人員分為高中初3個等級，監控人員可以設定多個或更少的等級，系統根據外包評測人員上一周期的準確率分配等級，升降級限制：無跨級升降，即，當某一等級下完成的任務平均準確率大大高于或低于臨近等級頭時，只做臨近頭銜的升級或降級，準確率計算：每完成一定的任務量后計算一次周期準確率，用于調整評估者頭銜。 S7、外包用戶登錄系統后，若是上周曾經做過監控任務（帶有全部正確答案），則在每周的周一至周三看以查看監控任務中打分錯誤的題目，周三之后則不能查看，周四至周日，則不統計上周是否有錯題，即便有錯題，也不予以顯示。優選的，所述任務分發模塊進行了進一步的優化，將標注一致率超過半數以上的題目收回，不在發布到任務池。本專利技術的有益效果：通過設計的搜索引擎評估系統以及管理，提高了網絡交易評價、考試過程和結果以及學習狀況檢驗的真實性，防止作弊現象的發生，及時篩選控制任務的數量和難度，控制交易評價者、考試和學習人員的進度，防止交易評價者多次重復評價、考試和學習人員多領取題目，惡意搶題現象時有發生，保證評價、考試和學習的質量。附圖說明圖1為本專利技術提出的一種搜索引擎評估系統以及管理的結構示意圖。具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。參照圖1，一種搜索引擎評估系統，其特征在于：包括由測試管理模塊、抓取模塊、解析模塊、Mola數據庫、任務切分模塊、MySql數據庫、評估模塊、任務分發模塊、任務池、答題監控模塊和結果導本文檔來自技高網...

【技術保護點】
一種搜索引擎評估系統，其特征在于：包括由測試管理模塊、抓取模塊、解析模塊、Mola數據庫、任務切分模塊、MySql數據庫、評估模塊、任務分發模塊、任務池、答題監控模塊和結果導出模塊組成的搜索引擎評估系統，所述測試管理模塊分別與抓取模塊、MySql數據庫和任務切分模塊連接，所述抓取模塊分別與MySql數據庫和解析模塊連接，所述解析模塊與Mola數據庫連接，所述MySql數據庫分別與任務切分模塊、任務分發模塊、任務池、答題監控模塊、評估模塊和結果導出模塊連接，所述任務池分別與任務分發模塊和答題監控模塊連接；所述測試管理模塊用于接收任務發布人員的創建測試，并創建測試的名稱、測試的內容（一般是query、url、text等）、對可以做測試人的要求、參加測試的人數、每個測試包中題目的數量、以及抓取的相關信息等，所述抓取模塊用于抓取所需要的網頁數據，包括抓取的出口，抓取的內容、抓取的配置、是否做解析，所述解析模塊用于在抓取的網頁中嵌入一些打分項，所述Mola數據庫用于儲存抓取好的網頁，所述任務切分模塊將整個測試切分成創建測試時設置的小包，并輸入測試題目，所述評估模塊用于監控眾包人員做題的效果，防止作弊人員，所述任務分發模塊會根據創建測試人的要求選擇合適的眾包答題人員，并且將測試題目發送至答題人的任務池中，所述任務池用于眾包答題人員在登錄后領取任務，所述答題監控模塊用于實時的保存做題的結果，所述結果導出模塊用于導出測試的結果，所述MySql數據庫用于存儲測試管理模塊發送的信息、測試題目和測試的結果。...

【技術特征摘要】
1.一種搜索引擎評估系統，其特征在于：包括由測試管理模塊、抓取模塊、解析模塊、Mola數據庫、任務切分模塊、MySql數據庫、評估模塊、任務分發模塊、任務池、答題監控模塊和結果導出模塊組成的搜索引擎評估系統，所述測試管理模塊分別與抓取模塊、MySql數據庫和任務切分模塊連接，所述抓取模塊分別與MySql數據庫和解析模塊連接，所述解析模塊與Mola數據庫連接，所述MySql數據庫分別與任務切分模塊、任務分發模塊、任務池、答題監控模塊、評估模塊和結果導出模塊連接，所述任務池分別與任務分發模塊和答題監控模塊連接；所述測試管理模塊用于接收任務發布人員的創建測試，并創建測試的名稱、測試的內容（一般是query、url、text等）、對可以做測試人的要求、參加測試的人數、每個測試包中題目的數量、以及抓取的相關信息等，所述抓取模塊用于抓取所需要的網頁數據，包括抓取的出口，抓取的內容、抓取的配置、是否做解析，所述解析模塊用于在抓取的網頁中嵌入一些打分項，所述Mola數據庫用于儲存抓取好的網頁，所述任務切分模塊將整個測試切分成創建測試時設置的小包，并輸入測試題目，所述評估模塊用于監控眾包人員做題的效果，防止作弊人員，所述任務分發模塊會根據創建測試人的要求選擇合適的眾包答題人員，并且將測試題目發送至答題人的任務池中，所述任務池用于眾包答題人員在登錄后領取任務，所述答題監控模塊用于實時的保存做題的結果，所述結果導出模塊用于導出測試的結果，所述MySql數據庫用于存儲測試管理模塊發送的信息、測試題目和測試的結果。2.一種搜索引擎評估系統管理，其特征在于：包括S1創建測試和測試管理、S2抓取網頁和抓取統計、S3任務切分和任務分發、S4評估和準確率計算、S5標注結果保存、S6眾包人員等級控制和S7易錯題反饋，其步驟為：S1、任務發布者在前端頁面填入必須填寫的信息，如上面功能需求所述，然后點擊保存，后臺程序驗證任務發布者權限、驗證填寫內容是否合法后，將測試必須的信息寫入數據庫中；返回給任務發布者可以查看測試信息配置頁面，如果任務發布者確認無誤可以點擊返回進入測試管理頁面，如果任務發布者需要修改測試信息，則點擊修改按鈕進入修改頁面進行修改測試的相關信息，如果測試已經發布，則一些信息無法修改，只能修改與發布任務后無關的信息；修改完成后點擊保存，保存測試的配置信息；S2、在一個測試創建成功后，首先要進行的任務就是抓取測試中的所有頁面，把一個測試中的所有url從query表中選取出來，經過拼接，將url和query_id封裝成json串發送給抓取服務提供端，等待抓取服務抓取完畢后，會回調評估系統，通知評估系統哪些題目已經抓取好，哪些沒有抓取好，評估系統會發送郵件給測試發布人，測試發布人登錄系統，如果認為抓取的效果可以接受則進入任務發布階段，如果認為抓取結果不可接受，可以點擊重抓，評估系統會將所有的抓取失敗的url和...

【專利技術屬性】
技術研發人員：方明，葉劍鳴，劉貴全，
申請(專利權)人：合肥赑歌數據科技有限公司，
類型：發明
國別省市：安徽;34