視覚・行動機能の統合による柔軟・頑健な能動視覚システム の構築

  担当：松山　隆司，和田　俊和（京都大学）

人間をはじめ多くの高等動物では，感覚機能と行動（運動）機能が密接に結合 され両者が一体となって多様な世界に対する適応能力が実現されていると考え られる．本研究では，分散協調視覚システムの鼎の３本柱である，視覚，行動， コミュニケーション機能のうち前者２機能の統合を実現することを目指した能 動視覚システムに関する研究を行っている．

具体的には本年度は，室内環境において実時間で移動対象を検出・追跡するシ ステムについて検討し，プロトタイプシステムを開発した．システムで用いた カメラは先に述べた視点固定型パン・チルト・ズームカメラ（SONY EVI G-20）， 実験は本年度整備した実験環境（本報告書2.2.1）で行った．

視点固定型パン・チルト・ズームカメラを用いて移動対象の検出・追跡を行う 基本アルゴリズムとしては，以下のようなものを用いた．

1. 視線方向を変化させながら予め対象世界を撮った画像群から超広角パノ ラマ画像を合成する．
2. 現在のカメラの視線・ズーム倍率と一致したパン・チルト・ズーム パラメータを持つ画像を超広角パノラマ画像から生成する．
3. 生成された画像と観測画像との差分を取り，変化のあった領域を移動対象 として検出する．
4. 検出された対象が画像の中央で，適当な大きさに写るように， カメラの視線方向やズームを制御する．

以上の処理を反復することにより，移動対象を自動的に検出・追跡する 能動視覚システムが実現できる(図24)．

    
Figure 25: 対象の推定方位の時間変化とカメラの視線方向制御に要する時間
Figure 24: 視点固定型パン・チルト・ズームカメラを用いた対象の検出・追跡システム

一般に，能動視覚システムの動作にはカメラや身体の物理的な運動が含まれて いるため，システムの反応時間（上記のアルゴリズムの反復周期）がビデオ周 期と比べて非常に長くなる．こうした状況においてもスムーズかつ正確に対象 を追跡し続けるには，カメラの制御方式を高度化する必要がある．

本研究では，現実世界での時間の流れと，システム内部での時間の流れを絶え ず一致させながら処理を行うという Time Conscious Processing方式に基づき， 以下のカメラ制御法を考案した．

パン・チルトパラメータの制御では，まず

行動に要する時間特性の推定：

パン・チルトをある量だけ変化させる のに要する時間（自己の行動特性）を事前に調べておく．

次に，各観測時点において，

対象の運動推定：

時間的に連続する2枚の観測画像における対象領域の重心座 標の変化から，対象の見かけの運動ベクトルを求める．

カメラアクションの決定：

対象の運動予測結果から求められる「対象をとらえるための理想的な パン・チルトパラメータの時間変化」および，事前に求めておいた「パン・チ ルトパラメータの変更に要する時間」の両者を，時間とパン・チルトパラメー タによって張られる空間に2本のグラフとして描く．これらのグ ラフが交わる点の座標は，（次に対象をとらえることができるパン・チルトパラメー タ，次の観測までの時間）を表している．これに基づいてカメラパラメー タの制御を行う(図25)．

ズームパラメータについては，

望遠にした場合：

対象を詳細にとらえることができる反面，対象の運動 予測からのずれが画像上で拡大され，場合によっては対象を見失う可能性があ る．

広角にした場合：

対象を詳細にとらえられない反面，対象の運動予測の ずれによる画像上での対象の位置ずれが小さくなるため，対象を安定に観測し 続けることができる．

という特性がある．本研究では，対象をできるだけ詳細に，且つ，見失わない ように観測する，という条件を満足するようにズーム制御を行う方式として 以下のものを考案した．

1. 画像上での対象の観測位置と予測位置とのずれ量から対象の運動変化量を推 定する．
2. 各観測時点で推定された対象の運動変化量の中の最大値を求め，それを基に 次の観測時刻における画像上での対象の予測位置からのずれ の最大値を推定する(これはズームを広角側にすることによって小さくすること ができる)．
3. 推定された対象の最大位置ずれがあった場合でも，対象を見失う ことがないという条件の下で，できるだけ望遠側にズーム値を変更する．

以上の手法に基づいて，計算機制御された視点固定型パン・チルト・ズームカ メラを用いた移動対象の検出・実時間追跡システムを開発し，対象の検出・追 跡実験を行った(図26)．また，単純なカメラ制御 方式との比較実験を行い，対象の動き予測とカメラアクションに要する時間を 考慮することによって、

• 対象追跡の追従性・安定性が著しく向上すること
• 対象の追跡を行いながらズーム制御によって詳細な像が得られること

を明らかにした（詳細は，本報告書を参照）．

  
Figure 26: 移動対象の追跡結果