多相機聯合監視、偵測、辨識、與追蹤技術

Multi-camera joint surveillance, detection, recognition,

and tracking

 

近年來,基於人身財物的安全與保全需求,自動化即時監視系統 (real-time surveillance system) 的研究正快速的成長。一個即時監視系統可以幫助我們自動監視屋內、銀行、車站、廣場、停車場等室內戶外空間;甚至於面臨老人社會的到來,居家護照的監視與追蹤更顯得重要。

監視與追蹤的意義是以相機 (camera) 連續拍攝影像,偵測影像中移動的物件 (人、動物、物體、車輛等) ,近而連續追蹤該物件,並通報及警示。監視與追蹤的研究大致有下列幾種不同難易層次的相機型態:(i) 相機不動,(ii) 相機固定轉動,(iii) 相機任意轉動,(iv) 相機鏡頭可變焦,(v) 相機可移動、及 (vi) 相機可任意轉動移動變焦。到 2004 年為止,自動化即時監視與追蹤的研究還沒有重大的就,即使在上述最簡單的相機型態 (相機不動) 下,仍有一些技術上的問題需要解決;例如,光線的改變會造成運動偵測的錯誤、樹枝搖晃及水面波動會被誤認為是移動物件、顏色不易區分或當物件相互遮蔽時會使得追蹤失敗等;因此目前相關研究的重點就是發展一個系統能解決上述這些問題。另外,一個實用的監視與追蹤系統也必須能夠克服不同天候狀況 (晴天、陰天、多雲、黃昏、及晚上),不同環境及背景 (室內、戶外、建築物、樹葉、道路、螢幕、及水面),不同物體 (人、汽車、腳踏車、魚) 等因素的影響。

移動物件的偵測是整個監視追蹤系統中最重要的一個步驟。在我們的研究中,我們利用背景相減的方法去偵測出移動的物體。首先我們利用約 300 張影像建立初始化的適應性背景。我們利用簡單群聚搜尋 (simple cluster-seeking) 的演算法將背景上的每一個像點 (pixel) 分成若干個高斯分佈。再利用此背景與接下來所拍攝的影像做背景相減 (background subtraction) 找出移動的像點。接者我們利用色彩及亮度資訊移除陰影 (shadow) 及雜訊,並利用形態學的 opening 運算子移除孤立雜點,利用 形態學的closing 運算子填補前景物件內部的空洞。最後利用連結區塊 (connected component) 法將鄰近點結合成一個個前景物件,並移除像點太少的前景物件。經過移動物體的偵測步驟後,我們再以移動物體的外形輪廓、顏色、紋理來追蹤前景移動物件。我們首先利用前景物件的色彩及形狀資訊去描述此前景物件。並利用簡易型的卡濾波 (Kalman filter) 觀念,去預測前景物件的下一個位置。接者在所預測的位置附近找出新的前景物件來。最後利用所追蹤前景物件和新偵測到物件的色彩和形狀資訊計算出兩物件的差異。若此差異小於門檻值,我們會利用新前景物件的資訊去更新所要追蹤的前景物件並繼續追蹤此前景物件。

本研究的最終目標是以可操控上下左右轉動的相機 (PTZ camera) 執行序列的偵測、追蹤、定位、及辨識等工作;例如,

偵測行人 ð 追蹤身體 ð 定位頭部 ð 辨識臉部。

偵測車輛 ð 追蹤車輛 ð 定位車牌 ð 辨識文字。

 

部份研究成果:動作偵測建立前景物件追蹤、定位、辨識