一種基于視覺的兒童食指指點表達需求行為觀測系統技術方案

本發明專利技術公開了一種基于視覺的兒童食指指點表達需求行為觀測系統；包括控制模塊，所述控制模塊上電性連接有驅動模塊，所述驅動模塊上電性連接有第一攝像機和第二攝像機，所述第一攝像機和所述第二攝像機上電性連接有圖像處理模塊，所述圖像處理模塊上電性連接有數據處理模塊，還包括有兩把椅子、一個玩具和一張桌子，所述桌子放置在檢測空間的內部，兩把所述椅子放置在所述桌子的兩端，所述玩具放置在所述桌子的上部，所述第一攝像機和所述第二攝像機分別設置在所述桌子的正上方和后側方；本發明專利技術是基于多個傳感器視覺系統將更有利于綜合捕捉行為細節，自動檢測判斷兒童食指指點表達需求的行為，從而精準評價兒童食指指點表達需求技能。需求技能。需求技能。

【技術實現步驟摘要】
一種基于視覺的兒童食指指點表達需求行為觀測系統


[0001]本專利技術屬于兒童需求行為觀測
，具體涉及一種基于視覺的兒童食指指點表達需求行為觀測系統。

技術介紹

[0002]食指指點行為在普通兒童發育過程中自然發展形成，靈活應用于社交溝通場景。由于該行為發展的自然而然，常常被父母或帶養人忽略。而在部分兒童中食指指點行為出現發育延遲或障礙，是早期識別社交行為發育異常的重要指標。食指指點行為是一種通常在社交活動中，用來將自己或他人的注意力引導向某物的手勢，是人類獨有的、通用的手勢，是語言交流的基礎。包含手指指向，并結合視覺在人與物品中的轉換獲取他人參與兒童對某一事物的興趣，形成共同注意。在全人與人的互動中，測評人員很難同時捕捉兒童手部姿勢、頭部、眼神轉換信息，準確評價指點行為完成水平。
[0003]因此，基于多傳感器視覺系統將更有利于綜合捕捉行為細節，利用手勢識別技術、指向檢測技術、視線估計技術，自動檢測判斷兒童食指指點表達需求的行為，從而精準評價兒童食指指點表達需求技能。

技術實現思路

[0004]本專利技術的目的在于提供一種基于視覺的兒童食指指點表達需求行為觀測系統，以解決上述
技術介紹
中提出的問題。
[0005]為實現上述目的，本專利技術提供如下技術方案：一種基于視覺的兒童食指指點表達需求行為觀測系統，包括控制模塊，所述控制模塊上電性連接有驅動模塊，所述驅動模塊上電性連接有第一攝像機和第二攝像機，所述第一攝像機和所述第二攝像機上電性連接有圖像處理模塊，所述圖像處理模塊上電性連接有數據處理模塊，所述數據處理模塊與所述控制模塊電性連接，所述控制模塊用于實現對系統進行控制調節，并且實現對數據信息進行計算處理，所述驅動模塊用于實現對所述第一攝像機和所述第二攝像機的運行進行驅動，所述處理模塊用于實現對數據信息進行計算處理，所述圖像處理模塊用于實現對所述第一攝像機和所述第二攝像機采集的圖像信息進行處理；
[0006]還包括有兩把椅子、一個玩具和一張桌子，所述桌子放置在檢測空間的內部，兩把所述椅子放置在所述桌子的兩端，所述玩具放置在所述桌子的上部，所述第一攝像機和所述第二攝像機分別設置在所述桌子的正上方和后側方，所述玩具是醫師用來吸引兒童注意力，進而觸發食指指點表達需求行為，所述第一攝像機和所述第二攝像機用于拍攝記錄下整個范式評估過程，所述第二攝像機的拍攝視頻用于食指指點表達需求范式中檢測醫師頭部位置和兒童視線方向，所述第一攝像機的拍攝視頻用于檢測所述玩具和兒童手部位置，以及兒童的手勢和指向。
[0007]優選的，所述控制模塊上電性連接有調壓模塊，所述調壓模塊上電性連接有供電模塊，所述供電模塊采用的是市電網，所述調壓模塊中包括有降壓電路、整流電路、穩壓電
路、濾波電路和防浪涌電路，所述降壓電路用于實現對所述市電網的高電壓進行降低，所述整流電路用于實現對所述市電網的交流電壓進行轉成直流電壓，所述穩壓電路和所述濾波電路分別用于實現對電壓進行穩定和實現對直流電壓中的交流電壓進行濾除，所述防浪涌電路用于防止電壓沖擊峰值過大損壞后續電子設備。
[0008]優選的，所述控制模塊上電性連接有通訊模塊，所述通訊模塊上電性連接有上位機，所述通訊模塊用于實現對數據進行上傳到所述上位機，完成數據信息的通訊傳輸，所述通訊模塊采用的是無線通訊、光纖通訊和藍牙通訊中的一種或者多種。
[0009]優選的，所述控制模塊上電性連接有輔助模塊，所述輔助模塊中包括有顯示屏、控制按鍵、聲光警示器和存儲模塊，所述顯示屏用于實現對數據信息進行顯示，所述控制按鍵用于實現控制調節操作，所述聲光警示器用于在出現異常情況下進行報警，所述存儲模塊中包括有用于存儲系統運行程序體的ROM存儲器、用于存儲系統運行日志的RAM存儲器和用于實現緩沖存儲的緩存器。
[0010]優選的，所述圖像處理模塊中包括有圖像特征采集子模塊、圖像灰度處理子模塊、去噪子模塊和AI學習子模塊，所述AI學習子模塊用于學習圖像處理技術，使得所述圖像特征采集子模塊、所述圖像灰度處理子模塊、所述去噪子模塊能夠有效的實現對圖像進行計算處理。
[0011]優選的，所述數據處理模塊中包括有用于實現對數據信息進行接收的采集電路、用于實現對數據信息進行模數轉換的轉換電路、用于實現對數據信息進行濾除雜波的濾波電路和用于實現對數據信息進行放大的增益電路。
[0012]優選的，當醫師使用所述玩具后，并將玩具放置在所述桌子后，檢測兒童手指指向與玩具的關系和兒童視線方向與醫師眼部的關系，將二者耦合在一起最終判定兒童的食指指點表達需求的行為，且自動監測方法主要分為三個部分，分別為指向識別、視線估計和耦合評估；
[0013]所述第一攝像機用于實現指向識別的檢測，且識別的檢測方法是對于所述第一攝像機的視頻流操作的，用于確定兒童手勢和指向；
[0014]所述第一攝像機用于實現指向識別的檢測包括有以下步驟：
[0015]S1、目標物檢測：首先，采集兒童測試過程中第一攝像機的視頻數據，然后標注出兒童手部位置、手勢和玩具位置，形成食指指點范式下目標檢測數據集，利用自建數據集訓練目標檢測網絡，將訓練好的模型對第一攝像機的拍攝視頻進行目標檢測，獲得兒童手部中心位置O和玩具中心位置O1；
[0016]S2、兒童手勢識別：在自建目標檢測數據集的基礎上，進一步對兒童的手勢進行標注，將手勢類別分為三種，然后，利用卷積神經網絡完成對于兒童手勢的訓練和分類；
[0017]S3、指向信息檢測：指向識別結合了手部指向t1和前臂指向t2，手部指向技術是在兒童手部目標檢測的基礎上，對手部圖像中與指向相關的關鍵點進行檢測，從而獲得手部指向，兩種不同的指向手勢，與指向相關的關鍵點不同，食指指點手勢的指向t1為從食指掌指關節到食指指尖；五指張開手勢的指向t1為從中指的掌指關節到中指指尖，前臂指向t2定義為從肘關節到腕關節的指向向量，利用基于深度學習的人體骨架點檢測方法檢測視頻中人體骨架點，獲得手部指向t1和前臂指向t2；
[0018]S4、意圖指向確定：在手部指向t1和前臂指向t2的基礎上，將二者構成的扇形區域Z
定義為指向區域，扇形區域Z的角平分線定義為意圖指向t，手部識別框中心O與玩具中心O1連線與意圖指向向量t的夾角θ，表征兒童指向偏離目標的程度；
[0019]所述第二攝像機的視頻流是用于視線估計的檢測，用于檢測范式評估過程中，兒童的注意力方向；所述第二攝像機的視頻流對視線估計檢測的方法如下：
[0020]S5、人臉檢測：人臉檢測技術基于深度神經網絡檢測出圖像中人臉的位置，獲得人臉區域的圖像；
[0021]S6、基于面部外觀的視線估計：視線估計技術利用了基于外觀的視線估計方法，獲得第二攝像機的圖像中的兒童視線方向，該視線方向p結合了兒童的頭部姿態和兒童眼部狀態，較準確的表示兒童視線方向；
[0022]S7、兒童視線確定：同時，利用人體關鍵點檢測方法獲得醫師頭部位置，兒童眼部中心C與醫師頭部中心C1位置連線方向與兒童視線方向p與的夾角表本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于視覺的兒童食指指點表達需求行為觀測系統，包括控制模塊，其特征在于：所述控制模塊上電性連接有驅動模塊，所述驅動模塊上電性連接有第一攝像機和第二攝像機，所述第一攝像機和所述第二攝像機上電性連接有圖像處理模塊，所述圖像處理模塊上電性連接有數據處理模塊，所述數據處理模塊與所述控制模塊電性連接，所述控制模塊用于實現對系統進行控制調節，并且實現對數據信息進行計算處理，所述驅動模塊用于實現對所述第一攝像機和所述第二攝像機的運行進行驅動，所述處理模塊用于實現對數據信息進行計算處理，所述圖像處理模塊用于實現對所述第一攝像機和所述第二攝像機采集的圖像信息進行處理；還包括有兩把椅子、一個玩具和一張桌子，所述桌子放置在檢測空間的內部，兩把所述椅子放置在所述桌子的兩端，所述玩具放置在所述桌子的上部，所述第一攝像機和所述第二攝像機分別設置在所述桌子的正上方和后側方，所述玩具是醫師用來吸引兒童注意力，進而觸發食指指點表達需求行為，所述第一攝像機和所述第二攝像機用于拍攝記錄下整個范式評估過程，所述第二攝像機的拍攝視頻用于食指指點表達需求范式中檢測醫師頭部位置和兒童視線方向，所述第一攝像機的拍攝視頻用于檢測所述玩具和兒童手部位置，以及兒童的手勢和指向。2.根據權利要求1所述的一種基于視覺的兒童食指指點表達需求行為觀測系統，其特征在于：所述控制模塊上電性連接有調壓模塊，所述調壓模塊上電性連接有供電模塊，所述供電模塊采用的是市電網，所述調壓模塊中包括有降壓電路、整流電路、穩壓電路、濾波電路和防浪涌電路，所述降壓電路用于實現對所述市電網的高電壓進行降低，所述整流電路用于實現對所述市電網的交流電壓進行轉成直流電壓，所述穩壓電路和所述濾波電路分別用于實現對電壓進行穩定和實現對直流電壓中的交流電壓進行濾除，所述防浪涌電路用于防止電壓沖擊峰值過大損壞后續電子設備。3.根據權利要求1所述的一種基于視覺的兒童食指指點表達需求行為觀測系統，其特征在于：所述控制模塊上電性連接有通訊模塊，所述通訊模塊上電性連接有上位機，所述通訊模塊用于實現對數據進行上傳到所述上位機，完成數據信息的通訊傳輸，所述通訊模塊采用的是無線通訊、光纖通訊和藍牙通訊中的一種或者多種。4.根據權利要求1所述的一種基于視覺的兒童食指指點表達需求行為觀測系統，其特征在于：所述控制模塊上電性連接有輔助模塊，所述輔助模塊中包括有顯示屏、控制按鍵、聲光警示器和存儲模塊，所述顯示屏用于實現對數據信息進行顯示，所述控制按鍵用于實現控制調節操作，所述聲光警示器用于在出現異常情況下進行報警，所述存儲模塊中包括有用于存儲系統運行程序體的ROM存儲器、用于存儲系統運行日志的RAM存儲器和用于實現緩沖存儲的緩存器。5.根據權利要求1所述的一種基于視覺的兒童食指指點表達需求行為觀測系統，其特征在于：所述圖像處理模塊中包括有圖像特征采集子模塊、圖像灰度處理子模塊、去噪子模塊和AI學習子模塊，所述AI學習子模塊用于學習圖像處理技術，使得所述圖像特征采集子模塊、所述圖像灰度處理子模塊、所述去噪子模塊能夠有效的實現對圖像進行計算處理。6.根據權利要求1所述的一種基于視覺的兒童食指指點表達需求行為觀測系統，其特征在于：所述數據處理模塊中包括有用于實現對數據信息進行接收的采集電路、用于實現對數據信息進行模數轉換的轉換電路、用于實現對數據信息進行濾除雜波的濾波電路和用
于實現對數據信息進行放大的增益電路。7.根據權利要求1所述的一種基于視覺的兒童食指指點表達需求行為觀測系統，其特征在于：當醫師使用所述玩具后，并將玩具放置在所述桌子后，檢測兒童手指指向與玩具的關系和兒童視線方向與醫師眼部的關系，將二者耦合在一起最終判定兒童的食指指點表達需求的行為，且自動監測方法主要分為三個部分，分別為指向識別、視線估計和耦合評估；所述第一攝像機用于實現指向識別的檢測，且識別的檢測方法是對于所述第一攝像機的視頻流操作的，用于確定兒童手勢和指向；所述第一攝像機用于實現指向識別的檢測包...

【專利技術屬性】
技術研發人員：徐秀，徐瓊，李慧萍，周秉睿，劉洪海，王志永，
申請(專利權)人：復旦大學附屬兒科醫院，
類型：發明
國別省市：