搜索控制方法和系統技術方案

本發明專利技術提出了一種搜索控制方法和系統。所述方法包括：獲取與用戶請求相對應的用戶質量標簽，用戶質量標簽是根據用戶使用歷史得到的；以及至少基于用戶質量標簽給出與用戶請求相對應的搜索結果。由此，可以根據用戶的質量等級返回相應等級的搜索結果。另外，還可以根據搜索系統的當前流量來調整針對部分或全部用戶的搜索服務等級。

Search control method and system

The invention provides a search control method and system. The method comprises: acquiring user quality labels corresponding to the user request, the user quality label is used according to the user history; and at least based on the quality of the user label given with user request corresponding to the search results. As a result, the corresponding level of search results can be returned according to the quality grade of the user. In addition, the search service level for some or all of the users can also be adjusted according to the current traffic of the search system.

【技術實現步驟摘要】
搜索控制方法和系統
本專利技術涉及網絡技術，尤其涉及一種搜索控制方法和系統。
技術介紹
搜索服務方需要夜以繼日地為網絡用戶提供各種各類的搜索服務。搜索后臺是一個復雜的系統，每一次查詢都會涉及到數百個節點的服務，耗費大量的機器資源。為了保證提供優質的搜索服務，搜索服務方需要識別爬蟲，將其剔除搜索系統以保護優質資源。在傳統的搜索系統中，爬蟲識別功能單一，通常是統計IP或者用戶ID等信息的訪問頻率等。如果訪問頻率高于某個閾值則返回一個輸入驗證碼的頁面，只有當用戶輸入了正確的驗證碼時才能繼續正常的訪問服務。這樣的策略過于簡單，沒有針對搜索業務的場景進行優化，也沒有針對不同級別的用戶提供有針對性的服務內容，并且頻繁返回驗證碼頁面會導致用戶的體驗下降。
技術實現思路
鑒于如上至少一個問題，本專利技術提出了一種新的搜索控制方案。該控制方案能夠基于用戶的使用歷史對正常用戶進行分級，并且能夠在日常搜索場景中根據需要對不同級別的用戶返回不同的搜索結果內容。在系統發生災難時，能夠有選擇地保障高優用戶的搜索體驗。另外，本專利技術的搜索控制方案優化了各類服務器、存儲器和運營維護之間的關系，從而提升了搜索系統抗風險和防爬取的能力。根據本專利技術的一個方面，提出了一種搜索控制方法，包括：獲取與用戶請求相對應的用戶質量標簽，所述用戶質量標簽是根據用戶使用歷史得到的；以及至少基于所述用戶質量標簽給出與所述用戶請求相對應的搜索結果。這樣，能夠根據一個用戶的使用歷史對該用戶進行標記，并且根據該標記決定要返回給該用戶的搜索結果。優選地，用戶質量標簽可以是對離線日志中用戶的歷史使用記錄進行行為特征分析得到的標簽。由此，能夠合理獲取使用記錄并加以分析，就能夠得到更為準確的用戶質量標簽，從而能夠提供更有針對性的服務。優選地，用戶質量標簽可以是根據用戶使用歷史對用戶進行分級的標簽，并且向用戶返回的搜索結果的質量可由上述分級來決定。由此，確保搜索能力在不同級別用戶之間更為合理的分配。優選地，返回的搜索結果可以包括與搜索請求相對應的具有不同質量級別的搜索結果，具有不同質量級別的搜索結果可以包括懲罰性搜索結果，而懲罰性搜索結果可以包括要求輸入驗證碼或是拒絕搜索。由此，通過對搜索結果的分級，并且加入懲罰性結果，能夠進一步對優質和惡意用戶給出有針對性的反饋，從而提升系統效率。優選地，還可以根據用戶請求確定如下的至少一項：用戶位于白名單中，和發出用戶請求的應用不屬于搜索控制目標，以及基于如上確定的至少一項，避免對用戶請求給出懲罰性搜索結果。通過為特定用戶或特定應用發放白名單，能夠確保一些重要用戶和服務的照常進行。優選地。還可以根據用戶請求確定如下的至少一項：所述用戶請求包括爬蟲標記，所述用戶位于黑名單中，和所述用戶未通過正常用戶驗證，以及基于如上確定的至少一項，對所述用戶請求給出懲罰性搜索結果。由此，能夠針對惡意用戶給出懲罰性措施。優選地，基于所述用戶質量標簽和實時集群搜索狀態給出與所述用戶請求相對應的搜索結果。由此，能夠根據搜索系統的整體狀態調整返回的搜索結果。優選地，在實時集群搜索狀態指示搜索服務故障或擁塞時，優先保證針對用戶質量標簽指示的高級別用戶給出的搜索結果的質量等級。由此，實現在搜索資源受限時的合理資源分配。優選地，可以基于用戶質量標簽以及與用戶請求相關的預定周期內的搜索頻率給出與所述用戶請求相對應的搜索結果，并且與用戶請求相關的預定周期內的搜索頻率包括如下的至少一項：所述用戶的IP或cookie在預定周期內的搜索頻率；送入所述用戶請求的上層站點在預定周期內的搜索頻率；和預定周期內特定搜索意圖下的搜索頻率。由此，除了常規的IP或cookie判斷之外，還能夠根據搜索渠道和意圖進行搜索控制，從而提升了搜索控制所涉及的維度。根據本專利技術的另一個方面，提出了一種搜索控制系統，包括一個或多個核心服務器和數據存儲系統，其中，所述一個或多個核心服務器用于：根據所述用戶請求從所述數據存儲系統獲取用戶質量標簽，所述用戶質量標簽是根據用戶使用歷史得到的；至少基于所述用戶質量標簽給出與所述用戶請求相對應的搜索結果。優選地，用戶質量標簽可以是所述核心服務器對所述數據存儲系統存儲的離線日志中用戶的歷史使用記錄進行行為特征分析得到的標簽。優選地，用戶質量標簽可以是根據用戶使用歷史對用戶進行分級的標簽，并且核心服務器可以給出向特定用戶給出質量級別與其級別相匹配的搜索結果。優選地，本專利技術的搜索控制系統還可以包括一個或多個統計服務器，所述一個或多個統計服務器可以統計搜索系統的實時集群搜索狀態，并且，所述一個或多個核心服務器可以基于從所述統計服務器獲取的實時集群搜索狀態決定返回給各個用戶的各個搜索結果的質量級別。例如，一個或多個核心服務器可以在所述實時集群搜索狀態指示搜索服務故障或擁塞時，優先保證針對用戶質量標簽指示的高級別用戶給出的搜索結果的質量等級。優選地，本專利技術的搜索控制系統還可以包括還包括一個或多個統計服務器，所述一個或多個統計服務器統計與所述用戶請求相關的預定周期內的搜索頻率，所述搜索頻率包括如下的至少一項：所述用戶的IP或cookie在預定周期內的搜索頻率；送入所述用戶請求的上層站點在預定周期內的搜索頻率；和預定周期內特定搜索意圖下的搜索頻率，并且所述一個或多個統計服務器將統計結果存入所述數據存儲系統，并且針對特定項目在預定周期內的搜索頻率由一個特定統計服務器統計，所述一個或多個核心服務器根據從所述統計服務器獲取的所述搜索頻率，給出與所述用戶請求相對應的搜索結果，另外，一個或多個核心服務器也可以根據特定參數來決定使用或是避免使用懲罰。一個或多個核心服務器可以是個數可擴展的并行服務器。數據存儲系統則可以包括數據存儲路徑存儲部以及分布式的數據存儲部。附圖說明通過結合附圖對本公開示例性實施方式進行更詳細的描述，本公開的上述以及其它目的、特征和優勢將變得更加明顯，其中，在本公開示例性實施方式中，相同的參考標號通常代表相同部件。圖1示出了根據本專利技術一個實施例的搜索控制方法的流程圖。圖2示出了根據本專利技術一個實施例的搜索控制系統的示意圖。圖3示出了根據本專利技術原理的搜索控制系統的一個具體應用例的示意圖。圖4示出了圖3所示搜索控制系統的一個具體應用流程的示意圖。圖5示出了命令行工具的一個例子。具體實施方式下面將參照附圖更詳細地描述本公開的優選實施方式。雖然附圖中顯示了本公開的優選實施方式，然而應該理解，可以以各種形式實現本公開而不應被這里闡述的實施方式所限制。相反，提供這些實施方式是為了使本公開更加透徹和完整，并且能夠將本公開的范圍完整地傳達給本領域的技術人員。搜索服務方需要夜以繼日地為網絡用戶提供各種各類的搜索服務。搜索后臺是一個復雜的系統，每一次查詢都會涉及到數百個節點的服務，耗費大量的機器資源。尤其對于全網搜索服務提供方而言，其搜索服務面對著復雜多樣的用戶環境。由于沒有賬號體系，搜索服務的使用幾乎沒有成本。一些惡意使用者能夠輕易地監控搜索內容并抓取大量優質數據。為了保證提供優質的搜索服務，本專利技術提供了一種QoS(QualityofService)系統，其能夠更為準確地識別爬蟲，將其剔除搜索服務以保護優質資源。另外，本專利技術的系統和方案還會根據大數據對正常用戶分級，讓不同級別的用戶獲取到不同的內本文檔來自技高網...

【技術保護點】
一種搜索控制方法，包括：獲取與用戶請求相對應的用戶質量標簽，所述用戶質量標簽是根據用戶使用歷史得到的；以及至少基于所述用戶質量標簽給出與所述用戶請求相對應的搜索結果。

【技術特征摘要】
1.一種搜索控制方法，包括：獲取與用戶請求相對應的用戶質量標簽，所述用戶質量標簽是根據用戶使用歷史得到的；以及至少基于所述用戶質量標簽給出與所述用戶請求相對應的搜索結果。2.如權利要求1所述的方法，其中，所述用戶質量標簽是對離線日志中用戶的歷史使用記錄進行行為特征分析得到的標簽。3.如權利要求1所述的方法，其中，所述用戶質量標簽是根據用戶使用歷史對用戶進行分級的標簽，并且至少基于所述用戶質量標簽給出與所述用戶請求相對應的搜索結果包括：給出與所述用戶請求相對應的、具有與所述用戶質量標簽相匹配的質量級別的搜索結果。4.如權利要求1所述的方法，其中，所述搜索結果包括具有不同質量級別的搜索結果，所述具有不同質量級別的搜索結果包括懲罰性搜索結果，所述懲罰性搜索結果包括要求輸入驗證碼或是拒絕搜索。5.如權利要求4所述的方法，還包括：根據所述用戶請求確定如下的至少一項：所述用戶位于白名單中，和發出所述用戶請求的應用不屬于搜索控制目標，以及基于如上確定的至少一項，避免對所述用戶請求給出懲罰性搜索結果。6.如權利要求4所述的方法，還包括：根據所述用戶請求確定如下的至少一項：所述用戶請求包括爬蟲標記，所述用戶位于黑名單中，和所述用戶未通過正常用戶驗證，以及基于如上確定的至少一項，對所述用戶請求給出懲罰性搜索結果。7.如權利要求1所述的方法，其中，基于所述用戶質量標簽和實時集群搜索狀態給出與所述用戶請求相對應的搜索結果。8.如權利要求7所述的方法，其中，在所述實時集群搜索狀態指示搜索服務故障或擁塞時，優先保證針對所述用戶質量標簽指示的高級別用戶給出的搜索結果的質量等級。9.如權利要求1所述的方法，其中，基于所述用戶質量標簽以及與所述用戶請求相關的預定周期內的搜索頻率給出與所述用戶請求相對應的搜索結果，并且與所述用戶請求相關的預定周期內的搜索頻率包括如下的至少一項：所述用戶的IP或cookie在預定周期內的搜索頻率；送入所述用戶請求的上層站點在預定周期內的搜...

【專利技術屬性】
技術研發人員：丁亦川，張強，張添翼，
申請(專利權)人：廣東神馬搜索科技有限公司，
類型：發明
國別省市：廣東,44