実時間対象検出・追跡のための知覚と行動の動的統合

担当：松山　隆司，日浦　慎作（京都大学）

人間をはじめ多くの高等動物では，感覚機能と行動（運動）機能が密接に結合 され両者が一体となって多様な世界に対する適応能力が実現されていると考え られる．本研究では，分散協調視覚システムの鼎の３本柱である，視覚，行動， コミュニケーション機能のうち前者２機能の統合を実現することを目指した能 動視覚システムに関する研究を行っている．

Figure 2.20: 視点固定型パン・チルト・ズームカメラを用いた対象の検出・追跡システム

昨年度は，視点固定型パン・チルト・ズーム（FV-PTZ）カメラの特長を利用し た以下のアルゴリズムで移動対象を追跡するシステムを開発した(図 2.20)．

1.

視線方向を変化させながら予め対象世界を撮った画像群から超広角パノ ラマ画像を合成する．

2.

現在のカメラの視線・ズーム倍率と一致したパン・チルト・ズーム パラメータを持つ画像を超広角パノラマ画像から生成する．

3.

生成された画像と観測画像との差分を取り，変化のあった領域を移動対象 として検出する．

4.

検出された対象が画像の中央で，適当な大きさに写るように， カメラの視線方向やズームを制御する．

以上の処理を反復することにより，移動対象を自動的に検出・追跡する能動視 覚システムが実現できる．さらに，このシステムでは，対象の動き予測に加え， 画像処理やカメラ制御に要する時間を考慮することによって，対象追跡の追従 性・安定性が著しく向上することが示された．

本年度は，上記のシステムを以下の3点でさらに発展させ，図 2.21に示す対象追跡システムを開発した．

1.

SIMD型並列映像処理装置を用いた実時間処理機能の実現

2.

分散協調視覚システム実現のた めのシステムアーキテクチャとして考案したダイナミックメモリ （本報告書2.1.1参照）の有効性の実証

3.

上記2つの機能によるスムーズなカメラ運動の実現

Figure 2.21: ダイナミックメモリによる統合

このシステムでは，ビデオ映像処理を行う視覚モジュールとカメラの視線制御 を行う行動モジュールが互に独立並行して動作するプロセスとして実現されて おり，両プロセス間の情報交換がダイナミックメモリという共有メモリを介し て行われる．

視覚モジュールはビデオ映像から得られた対象の位置情報をダイナミックメモ リに書込み，行動モジュールによって書込まれたカメラの視線方向データを読 出す．一方，行動モジュールはその逆の読み書き動作を行う．これによって， ２つのモジュール間で双方向の情報の流れが形成されるが，その際の最大の課 題は情報流のダイナミックスをいかに設計，制御するかということである．

ダイナミックメモリに書込まれるデータは，書込み動作を行うモジュールの処 理サイクルによって決る時間間隔を持った離散データとなる．しかしダイナミッ クメモリには，書込まれた離散データを補間する機能があり，読出し側のモジュー ルは任意の時刻におけるデータの読出しができる．さらに，ダイナミックメモ リには，将来のデータの予測値を保持する機能も備わっており，各モジュール は過去から未来に至る任意の時刻におけるデータ値を読出すことができる．す なわち，ダイナミックメモリを介して情報交換を行う並行プロセスは，それぞ れ独自のダイナミックスでデータの読み書きを行うことができ，情報交換のた めの同期に伴う時間待ちを行う必要がない．

本研究では，SIMD型並列映像処理装置およびFV-PTZカメラを備えたPC上で上記 のシステムをインプリメントした．視覚モジュールでは，FV-PTZカメラの特長 を活かした背景差分，オプティカルフロー計算による移動対象検出をそれぞれ 約15フレーム／秒で行える．これは，行動モジュールから提供されるカメラ運 動情報を利用して処理の高速化を行っているためである．一方，行動モジュー ルは，視覚モジュールから得られる対象の運動情報に基づきパン・チルトの速 度をPID制御によってコントロールしており，対象を見失うことなくスムーズ なカメラ運動が実現できている．

図2.22は，(a)ダイナミックメモリに対する視覚，行動 モジュールの読み書きタイミング (b)視覚，行動モジュールが持つカメラのパ ン・チルトデータの変化（振幅の大きい方がパン角） (c)視覚，行動モジュー ルが持つ対象の方位角データの変化（振幅の大きい方がパン角） を表す．(a) からは両モジュールがそれぞれ他のモジュールに干渉されることなく自己のダ イナミックスに従って自律的に動作していること，(b)，(c)からは両モジュー ルの持つデータがほぼ完全に一致・同期していることが分る．

以上のことから，ダイナミックメモリを用いることによって，視覚と行動の動 的統合，すなわち両モジュールは独自のダイナミックスで自律的に動作しつつ 互に他のモジュールから情報を時間遅れなく（自分のダイナミックスを乱すこ となく）獲得できること，が実現できることが実証された．

Figure 2.22: 各モジュールが保持する情報の時間的整合性