一種菜品檢測方法技術

本發明專利技術提出了一種菜品檢測方法，包括以下步驟：1）輸入待檢測的圖像；2）使用預先訓練的卷積神經網絡提取圖像特征；3）以特征圖中每個元素在原圖中對應位置為中心，給出提議區域；4）根據每個提議區域中心對應的特征向量判斷該區域是否為物體；5）如果提議區域是物體，則使用SPPNET提取該區域的特征；6）根據區域特征做回歸，計算更準確的bounding?box，同時判斷該區域是否為菜品。本發明專利技術的方法可以有效降低輸出的錯誤率，獲得更好的使用體驗。

Method for detecting dishes

The present invention provides a method for detecting food, which comprises the following steps: 1) image input to be detected; 2) image feature extraction using convolutional neural network training in advance; 3) with each feature map elements in the original image corresponding to the position as the center, proposed area; 4) to judge whether the area is the object according to the feature vector for each region corresponding to the center of the proposal; 5) if the proposed area is the object, is the feature extraction of the region using SPPNET regression; 6) according to the regional characteristics, the more accurate calculation of the bounding box, at the same time to determine whether the area for food. The method of the invention can effectively reduce the error rate of output and obtain better use experience.

【技術實現步驟摘要】
一種菜品檢測方法
本專利技術屬于計算機圖像處理領域，具體來說涉及一種快速檢測圖像中的菜品區域的技術。
技術介紹
在使用圖像識別菜品種類的任務中，通常識別系統的返回結果只限定于菜品種類，并且局限于菜品這一大類，對于并不包含菜品的圖片其返回結果也僅限于識別程序所包含的種類。如果提交給識別系統的圖像并不包含菜品，系統并不能對圖像是否包含菜品做出判斷，仍會返回最有可能的菜品種類，從而產生錯誤的結果。
技術實現思路
因此，本專利技術提供一種從圖像中檢測菜品所在區域的方案，可檢測出圖像中包含的一個或多個菜品，并分別給出每個菜品所在區域的左上角坐標x,y以及寬度w和高度h，在圖像中不包含菜品的情況下則無返回結果。具體來說，本專利技術采用了以下技術方案：一種菜品檢測方法，其特征在于，所述方法包括以下步驟：1）輸入待檢測的圖像；2）使用預先訓練的卷積神經網絡提取圖像特征；3）以特征圖中每個元素在原圖中對應位置為中心，給出提議區域；4）根據每個提議區域中心對應的特征向量判斷該區域是否為物體；5）如果提議區域是物體，則使用SPPNET提取該區域的特征；6）根據區域特征做回歸，計算更準確的boundingbox，同時判斷該區域是否為菜品。在以上方法中，步驟2）提取圖像特征的步驟包括：首先將待檢測圖像轉換為224*224像素作為特征提取網絡的輸入，然后做5層卷積，每層卷積核分別為7*7、5*5、3*3、3*3、3*3，并且對每層提取的特征圖的局部區域做最大值池化，得到大小為51*39，每個位置256維的特征圖，該256維向量即為該位置對應原圖局部區域的特征向量。進一步，步驟3）給出提議區域的步驟包括：以特征圖中每個元素在原圖中的對應位置為中心，以原圖大小為1000*600為標準，給出三種尺度128、256、512，三種比例1:1、1:2、2:1，共九個提議區域。更進一步，步驟4）判斷是否為物體的步驟包括：如果原圖中的boundingbox和提議區域重合部分超過70%則認為該區域包含物體，否則認為不包含，對圖像作標簽；使用提議區域中心對應的特征向量作為特征；使用特征和標簽訓練一個全連接的神經網絡來判斷該區域是否為物體。接著，步驟5）包括：在提議區域是物體的情況下，在特征圖上找到待提取特征的局部圖像對應的區域，將該區域分別以4*4、2*2、1*1三種比例將特征圖進行分割，對分割好的每一塊做最大值池化，提取該區塊的256維特征，將各區塊提取出的特征連接到一起，最終得到4*4*256+2*2*256+1*1*256=5376維特征。更進一步，步驟6）包括：將通過SPPNET提取出的區域特征向量作為輸入，以該區域屬于菜品和背景的可能性作為輸出，訓練一個神經網絡，通過該神經網絡進行判斷。在以上步驟時，判斷是否屬于菜品時，當為菜品的可能性為90%時將該物體判斷為菜品。附圖說明圖1為本專利技術方法的流程示意圖；圖2為本專利技術方法步驟中所用到的提議區域示意圖。具體實施方式在使用圖像識別菜品種類的任務中，通常識別系統的返回結果只限定于菜品種類。如果提交給識別系統的圖像并不包含菜品，系統并不能對圖像是否包含菜品做出判斷，仍會返回最有可能的菜品種類，從而產生錯誤的結果。因此，本專利技術提供一種從圖像中檢測菜品所在區域的方案，可檢測出圖像中包含的一個或多個菜品，并分別給出每個菜品所在區域的左上角坐標x,y以及寬度w和高度h，在圖像中不包含菜品的情況下則無返回結果。在本文采用的技術之前，傳統的物體檢測領域的主流方法是DPM(Deformablepartsmodels)。DPM在VOC2007數據集上達到了43%的mAP（MeanAveragePrecision，平均正確率均值，在物體檢測領域為多個不同物體的檢測的準確率的平均值），運算效率可以接近實時（30fps~100fps)。隨后出現的RCNN引入了卷積神經網絡作為特征提取方法，并提出了一套物體檢測框架，即提議區域→特征提取→分類和boundingbox調整。該方法在準確率上有所突破，在VOC2007上達到了53.5%的mAP。然而由于需要對每個提議區域做特征提取，該算法非常耗時，根據提議區域數量的不同，該算法需要幾十秒到上百秒不等的運算時間。由于RCNN提取的提議區域存在大量重疊部分，因此提議區域的特征提取存在大量重復計算。針對這一點，fastRCNN引入了SPPNET，使得只需要對原圖像整體提取一次特征，就可以計算出所有提議區域的特征向量。該算法極大地降低了運行時間，處理一張圖片需要的時間被縮短到2s左右，并且檢測的mAP也被提高到了70%。fastRCNN雖然降低了RCNN的運行時間，但仍然難以滿足實時性的要求，而其運行效率的瓶頸在于提議可能為物體的區域這一步驟。本專利技術最終采用的fasterRCNN在這一方面做出了改進，提出了RPN(regionproposalnetwork)來給出提議區域，結合fastRCNN的方法，在保證準確率不受影響的情況下，將運行時間壓縮至可以滿足實時性的要求。根據fasterRCNN選取的特征提取網絡的不同，其運行效率可達到5-20fps不等，雖然不及DPM的運行效率，但該方法在準確率上有極大的優勢，并且在本專利技術的應用場景，即菜品檢測問題中，fasterRCNN的運行效率已經足夠。本專利技術提出的圖像中菜品區域的檢測技術是為了配合菜品識別技術而開發。常見的菜品識別技術可分類的種類有限，并且局限于菜品這一大類，對于并不包含菜品的圖片其返回結果也僅限于識別程序所包含的種類。也就是對于并不包含菜品的圖片，識別程序仍然會返回某個菜品的名稱，從而造成令人費解的結果。本專利技術提出的菜品檢測方法可以在識別程序執行之前判斷圖像中是否包含菜品，篩選掉不包含菜品的圖像；同時可以給出菜品所在區域的boundingbox，可以讓菜品識別程序針對更準確的菜品區域進行識別，提高識別的準確率。本專利技術解決的技術問題屬于計算機視覺中的物體檢測問題。物體檢測問題的主要任務是在圖像中求出指定物體所在區域的boundingbox。本專利技術采用的技術方案即為物體檢測領域的RCNN技術。RCNN經歷了三個階段的發展，即RCNN,fastRCNN,fasterRCNN三個發展階段。三個發展階段均采用RCNN的技術框架，逐步將各模塊的功能使用神經網絡實現，期間算法的準確率和運行效率都有明顯提升。RCNN主要由四個功能模塊組成：使用第三方工具給出可能為物體的區域(regionproposal)；使用卷積神經網絡提取提議區域的圖像特征；使用SVM，根據提取出的提議區域的特征向量判斷該區域的分類；同時使用提議區域的特征向量對物體的boundingbox做回歸，得出更準確的boundingbox。fastRCNN對RCNN的改進主要有：(1)引入SPPNET提取提議區域的特征。SPPNET是一項用于從不同尺寸和比例的圖像中提取出相同維度特征的技術。RCNN對每個提議區域都要通過卷積神經網絡提取特征，運算量很大，非常耗時。引入SPPNET技術后，只需對整幅圖像提取一次特征，然后使用SPPNET分別對每個提議區域提取特征即可。(2)判斷提議區域的種類，使用神經網絡替代SVM作為分類器。最后，fasterRCNN將提議區域也使用神經網絡實現，將整個本文檔來自技高網...

【技術保護點】
一種菜品檢測方法，其特征在于，所述方法包括以下步驟：1）輸入待檢測的圖像；2）使用預先訓練的卷積神經網絡提取圖像特征；3）以特征圖中每個元素在原圖中對應位置為中心，給出提議區域；4）根據每個提議區域中心對應的特征向量判斷該區域是否為物體；5）如果提議區域是物體，則使用SPPNET提取該區域的特征；6）根據區域特征做回歸，計算更準確的bounding?box，同時判斷該區域是否為菜品。

【技術特征摘要】
1.一種菜品檢測方法，其特征在于，所述方法包括以下步驟：1）輸入待檢測的圖像；2）使用預先訓練的卷積神經網絡提取圖像特征；3）以特征圖中每個元素在原圖中對應位置為中心，給出提議區域；4）根據每個提議區域中心對應的特征向量判斷該區域是否為物體；5）如果提議區域是物體，則使用SPPNET提取該區域的特征；6）根據區域特征做回歸，計算更準確的boundingbox，同時判斷該區域是否為菜品。2.如權利要求1所述的菜品檢測方法，其特征在于，步驟2）提取圖像特征的步驟包括：首先將待檢測圖像轉換為224*224像素作為特征提取網絡的輸入，然后做5層卷積，每層卷積核分別為7*7、5*5、3*3、3*3、3*3，并且對每層提取的特征圖的局部區域做最大值池化，得到大小為51*39，每個位置256維的特征圖，該256維向量即為該位置對應原圖局部區域的特征向量。3.如權利要求2所述的菜品檢測方法，其特征在于，步驟3）給出提議區域的步驟包括：以特征圖中每個元素在原圖中的對應位置為中心，以原圖大小為1000*600為標準，給出三種尺度128、256、512，三種比例1:1、1:2、2:1...

【專利技術屬性】
技術研發人員：吳斌，歐烈川，劉瀟，
申請(專利權)人：南京江南博睿高新技術研究院有限公司，
類型：發明
國別省市：江蘇,32