人機互動的視覺偵測與辨識技術

Visual detection and recognition techniques for

Human-computer interaction

 

隨著視覺技術的進步,許多人機互動的機制即可應用視覺偵測與辨識的技術來達成;例如,

 a. 門禁監控

 b. 身分認證

 c. 家用電器遙控

 d. 電子遊樂器搖控

 e. 車上儀表操控、非關安全手勢操控

 f.  電子寵物互動

 g. 移動機器人互動 (含自動跟隨)

 h. 老人兒童看護

 i.  安全監控、..

在本研究中,我們所擬定的研究議題有:

 1臉部偵測與特徵分析

 2. 臉部辨識 (recognition)

 3. 臉部表情 (expression) 分類

 4. 臉部情緒 (emotion) 辨識

 5手指與動作 (finger gesture) 辨識

 6手勢與動作 (gesture) 辨識

 7身體姿態動作 (body gesture) 偵測與辨識

 8. 臉部表情動作 (face motion) 合成

 9身體姿態動作 (body gesture) 合成

對於靜態或動態臉部影像,一套自動化的人臉辨識系統的主要工作在於,利用已建立之臉部影像資料庫,來指認出一個或多個人,以作身份之識別。為了達成這個目的,首先必須將臉部從影像中擷取出來,其次則是作臉部特徵擷取,以作為比較之根據;因此臉部影像處理即包含:(i) 頭部位置偵測及外框擷取,(ii) 臉部影像的正規化,及 (iii) 臉部特徵擷取等工作項目。臉部影像動態分析的目的是要從臉部影像序列中獲取動作參數,達成“以臉部特徵及變形參數作單張臉部影像比對”及“以臉部特徵及表情/動作的描述參數作連續多張臉部影像辨識”等工作。

在人臉辨識這個研究領域中,最大的困難點在於人臉具有豐富的表情/動作變化,其他如髮型變化、配戴眼鏡,或化妝等因素,都會影響辨識的準確度。因此,建構一套具高辨識率及高準確度的人臉辨識系統,是具有相當的挑戰性。本研究重點是利用立體臉部模型中,因表情/動作變化而產生的特徵點移動,以參數來描述其變形 (deformation),以作為比對的依據。也就是說,我們除了考慮單張影像中臉部變形的辨識外,我們也要考慮連續多張影像的臉部變形辨識。

臉部表情及肢體動作偵測與辨識 的目的除了可以提供智慧型玩具及數位學習的互動介面外,還可以合成表情及動作做:電腦動畫、影視角色扮演、角色替換、互動遊戲人機介面、網路購物、網路服飾//美髮預覽。

另外配合先進安全車輛視覺偵測技術研究,我們也在發展駕駛昏睡狀態偵測的技術。

部份研究成果:臉部影像處理、臉部影像動態分析、臉部辨識

 

臉部辨識

 

 

臉部表情偵測