一種實時疲勞提示的方法及裝置制造方法及圖紙

本發明專利技術公開了一種實時疲勞提示的方法及裝置。該方法包括：實時監測用戶面部狀態視頻信息；發送視頻信息到處理單元；判斷用戶是否處于疲勞狀態；記錄下用戶每個時刻的狀態，若用戶在一分鐘內疲勞狀態次數超過閥值則發出聲音或者其它提示。一種實時疲勞提示裝置，該裝置包括：監測單元、存儲單元、輸出單元、視頻處理單元及接口總成，監測單元，存儲單元及輸出單元通過接口總成與視頻處理單元相連接。本發明專利技術的優點是：通過非接觸方式連續監測用戶的面部狀態，在用戶處于疲勞狀態下提醒用戶注意休息并提供長期的用戶狀態歷史信息，幫助用戶提高學習或工作效率，同時利于用戶避免過度疲勞，保持健康工作習慣。

【技術實現步驟摘要】
一種實時疲勞提示的方法及裝置
本專利技術涉及電子產品領域，尤其涉及一種實時疲勞提示的方法及裝置。
技術介紹
疲勞是一種生理、心理異常狀態，其表現是:大腦反應遲鈍，頭麻木或者疼痛，注意力分散，思維滯緩，長期在疲勞狀態下工作、學習效率低下，對用戶十分不利。基于圖像的疲勞檢測算法主要是通過定位并跟蹤眼睛及嘴巴。判斷眼睛睜開、閉合狀態以及嘴巴的張開程度進行判斷。但是眼睛瞳孔的精確定位存在困難容易受光照等環境的影響，對嘴巴狀態的判斷也存在相似的困難。為了定位眼睛及嘴巴，還需要首先定位人臉。需要一種簡單快速的人臉識別方法，因為表情識別階段需要進 行大量計算，因此在人臉定位階段應當盡量節省計算時間。本專利技術從攝像頭捕捉的圖像，使用基于整數運算的BM_LBP描述符搜索人臉，該方法快速有效，可以節省計算資源用于進行疲勞狀態的判斷。本專利技術把整個面部表情作為整體進行疲勞表情判斷，并且依據整體的統計信息而非依據眼球、嘴巴的幾何形狀，因此簡化了判斷過程并且提高了對光照等外部條件變化下判斷用戶疲勞的魯棒性。
技術實現思路
本專利技術從監測單元捕捉的圖像實時檢測出用戶的疲勞狀態，采用基于整數運算的BM_LBP描述符搜索人臉，該方法快速有效并且可以節省計算資源用于進行疲勞狀態的判斷。本專利技術把整個面部表情作為整體進行疲勞表情判斷，并且依據整體的統計信息而非依據眼球、嘴巴的幾何形狀，因此簡化了判斷過程并且提高了對光照等外部條件變化下判斷用戶疲勞的魯棒性。為解決現有技術問題，設計了一種實時疲勞提示的方法，該方法包括以下步驟:I)實時采集用戶面部狀態視頻信息；2)發送視頻信息到視頻處理單元；3)判斷用戶是否處于疲勞狀態；4)提示用戶注意休息。進一步地，判斷用戶是否處于疲勞狀態包括如下步驟:3-1)使用級聯分類器識別出視頻信息里的用戶面部；3-2)將用戶面部圖像尺寸歸一化，然后使用主成分分析法(PCA)提取面部主成分特征；3-3)根據面部主成分信息，采用基于Fisher線性判別的方法(LDA)判斷當前用戶是否處于疲勞狀態；3-4)連續記錄用戶的狀態，若用戶在設定時間內出現的疲勞狀態次數超過設定的疲勞次數提示閥值η則進行提醒。進一步地，使用級聯分類器識別出視頻信息里的用戶面部的步驟如下:3-1-1)采用多區塊局部二值模式(MB_LBP)算子作為特征描述符；3-1-2)讀取在計算機上離線訓練的瀑布型級聯分類器；3-1-3)以24X24的窗口在監視畫面進行滑動掃描，在每一個窗口均使用級聯分類器判斷該窗口位置是否是人臉，若是人臉則標記出人臉位置；3-1-4)將窗口放大1.2倍重復上述掃描檢測，標記較大的人臉位置，重復5次將搜索到的人臉位置進行合并；進一步地，將用戶面部圖像尺寸歸一化，然后使用主成分分析法(PCA)提取面部主成分特征的步驟如下:3-2-1)對搜索到的人臉進行尺度歸一化為56X56像素；3-2-2)對歸一化后的人臉圖像進行直方均衡化等預處理；3-2-3)將圖像矩陣按行拉直成為3136維的列向量gamma ；3-2-4)對拉直后的列向量進行投影:y = W/ ( gamma -Ψ)其中W1為PCA投影矩陣，Ψ為平均臉，投影后I降低到20維； 3-2-5)使用PCA法離線計算W1及Ψ ;進一步地，根據面部主成分信息，采用基于Fisher線性判別的方法(LDA)判斷當前用戶是否處于疲勞狀態的步驟如下:3-3-1)對主主成分y進行投影z = W2Ty，其中W2是僅有一列的矩陣，ζ為標量；3-3-2)ζ>0即可認為是疲勞狀態，增加一個閥值Θ給用戶設置以滿足不同需求，閥值Θ越高則誤判越少更加準確，閥值Θ越低則漏判越少更加敏感。ζ> Θ判斷處于疲勞狀態；3-3-3)使用標記有非疲勞狀態(第一類)及疲勞狀態(第二類)的人臉圖片根據線性判別的方法離線訓練，以得到投影矩陣W2。進一步地，該方法還包括以下步驟:在存儲單元存儲用戶狀態信息，保存用戶每次學習或工作狀態的歷史記錄，幫助用戶改善學習或工作計劃。一種實時疲勞提示的裝置，該裝置包括:監測單元，負責實時采集用戶面部狀態視頻信息并發送視頻信息到視頻處理單元；視頻處理單元，負責通過圖像算法處理判斷用戶是否處于疲勞狀態，若用戶在設定時間內出現的疲勞狀態次數超過設定的疲勞次數提示閥值η則進行提醒；輸出單元，負責聲音及圖像的輸出包括發出聲音提示用戶及顯示相關信息；存儲單元負責保存記錄用戶歷史信息；接口總成，負責視頻處理單元與外部設備的連接及通訊。進一步地，所述視頻處理單元為ARM處理器及DSP數字信號處理器。進一步地，所述輸出單元為IXD顯示器及揚聲器。進一步地，所述裝置還包括:存儲單元，所述存儲單元為內置閃存及外部數字存儲卡。上述判斷用戶是否處于疲勞狀態的方法步驟3-1)所述級聯分類器需要通過Adaboost離線訓練；步驟3-2)所述PCA提取面部主成分需要離線進行PCA訓練；3_3)所述LDA判斷當前用戶是否處于疲勞狀態需要離線進行LDA訓練。Adaboost訓練用以檢測人臉。使用人臉圖片(正樣本)及背景圖片(負樣本)通過Adaboost算法得到級聯分類器。使用MB_LBP編碼作為Adaboost算法中的弱分類器的輸入，使用CART算法生成的二叉樹作為弱分類器，也就是說，在Adaboost訓練中使用分類與回歸樹(CART)作為弱分類器，該弱分類器以MB_LBP特征的bit位進行分類。MB-LBP根據3X3個相連接的共9個連續矩形區域，按中心區灰度值之和與8個相鄰矩形區灰度值之和的比較，采用和局部二值模式(LBP)相似的方法得到編碼。MB_LBP編碼的數值大小沒有意義而是表示總共256種不同狀態中的一種。[0041 ] 使用CART樹對樣本分類得到弱分類器fm (X) e -1,1使正樣本映射為I，負樣本映射為-1。CART樹的構建根據Gini指標，MB_LBP編碼8個二進制位中使得整個CART樹Gini指標降低量最大的二進制位作為分裂點選取依據。PCA訓練根據大量人臉圖片樣本計算平均臉Ψ及投影矩陣Wp投影矩陣W1由樣本協方差矩陣C前20個最大特征值對應的特征向量組成。用以從人臉圖像提取主成分并降維。 LDA訓練將人臉圖片樣本分為兩類，即非疲勞狀態(第一類樣本)和疲勞狀態(第二類樣本)。根據PCA訓練的結果將人臉提取主成分y = W/ ( gamma -Ψ)，對樣本主成分y進行訓練。根據樣本的分類，計算類間散射矩陣Sb和類內散射矩陣Sw。矩陣S/SB最大特征值對應的特征向量組成投影矩陣W2。投影矩陣W2用以進行分類投影，z = W2Ty實現類間分布最大化，而類內分布最小化。該方法實時檢測包括以下步驟:從CCD采集用戶視頻流的一幀到緩存，提取亮度信息得到灰度圖像；用24X24的窗口在灰度圖像中進行滑動掃描搜索人臉，窗口連續放大5次以檢測不同尺度的人臉，檢測完后合并人臉位置；根據人臉位置提取用戶面部圖像，并將尺度縮放到56X56像素。對面部圖像進行直方均衡化處理然后提取主成分y = W11 ( gamma - Ψ);將主成分投影到一維得到疲勞值z = ff2Ty ；連續記錄用戶疲勞值z，若在一分鐘內ζ > Θ的次數達到一定數量則發出聲音提醒。在本專利技術中，我們設定的疲勞監測時間范圍以I分鐘為本文檔來自技高網...

【技術保護點】
一種實時疲勞提示的方法，其特征在于，該方法包括以下步驟：實時采集用戶面部狀態視頻信息；發送視頻信息到視頻處理單元；判斷用戶是否處于疲勞狀態；提示用戶注意休息。

【技術特征摘要】
1.一種實時疲勞提示的方法，其特征在于，該方法包括以下步驟: 實時采集用戶面部狀態視頻信息； 發送視頻信息到視頻處理單元； 判斷用戶是否處于疲勞狀態； 提示用戶注意休息。2.根據權利要求1的一種實時疲勞提示的方法，其特征在于，判斷用戶是否處于疲勞狀態包括如下步驟: 使用級聯分類器識別出視頻信息里的用戶面部； 將用戶面部圖像尺寸歸一化，然后使用主成分分析法(PCA)提取面部主成分特征；根據面部主成分信息，采用基于Fisher線性判別的方法(LDA)判斷當前用戶是否處于疲勞狀態； 在存儲單元連續記錄用戶的狀態信息，若用戶在設定時間內出現的疲勞狀態次數超過設定的疲勞次數提示閥值η則進行提醒。3.根據權利要求1或2之一所述的一種實時疲勞提示的方法，其特征在于，使用級聯分類器識別出視頻信息里的用戶面部的步驟如下: 采用多區塊局部二值模式(MB_LBP)算子作為特征描述符； 讀取在計算機上離線訓練的瀑布型級聯分類器。 以24X24的窗口在監視畫面進行滑動掃描，在每一個窗口均使用級聯分類器判斷該窗口位置是否是人臉，若是人臉則標記出人臉位置； 將窗口放大1.2倍重復上述掃描檢測，標記較大的人臉位置，重復5次。將搜索到的人臉位置進行合并。4.根據權利要求1或2之一所述的一種實時疲勞提示的方法，其特征在于:將用戶面部圖像尺寸歸一化，然后使用主成分分析法提取面部主成分特征的步驟如下: 對搜索到的人臉進行尺度歸一化為56X56像素； 對歸一化后的人臉圖像進行直方均衡化等預處理； 將圖像矩陣按行拉直成為3136維的列向量g...

【專利技術屬性】
技術研發人員：劉東，
申請(專利權)人：湖南紐思曼導航定位科技有限公司，
類型：發明
國別省市：湖南;43