平成13年度の研究成果のまとめと今後の展望
（4）研究構成
II-1. 「人を観る」
- 「人は何を見ているのか？」：
装着型ビジョンセンサの開発（計画研究：松山班，広瀬班）
視線測定装置とコンピュータ制御可能な２台の首振りカメラで構成される（へルメット型）装着型ビジョンセンサを開発した．このセンサは，カメラが装着者と視点を共有することで，装着者の視線情報を獲得することができる．そして，周囲の奥行きが場所毎に大きく変わる日常生活環境でも，正確にその視線情報を検出する手法を考案した．また，このセンサによって得られる装着者の視線情報から，その人が注視しているかどうかをコンピュータが判断し，注視している場合には注視領域の奥行きや形状を自動的に獲得する手法を考案した．さらに，２台の装着型能動カメラをそれぞれ独立に注視点制御(２眼独立注視点制御)し，それによって得られる映像データから３次元世界における装着者の回転運動および並進運動を逐次的に推定する手法を提案した．これによって，装着者の３次元位置や運動が自動的に記録できるようになり，位置に基づいた情報提示（たとえば，博物館・美術館での展示物案内）が人間からの指示なしで行えるようになる．
- 「人の姿勢，動作を観る」：
命令なしのインタラクションの実現
- 人体動作の実時間３次元形状計測システムの開発（計画研究：松山班，公募研究：谷口班，出口班，橋本班）
多数のカメラによって撮影した映像から，人間の詳細な３次元的姿勢や動作を実時間で計測できるシステムを開発した．こうしたシステムを利用することによって，（a）人間が行う指差し動作を分析して３次元的な指示方位を求め，人間が何を指差しているかを理解する（b）ジェスチャを使ったコンピュータとの Perceptual User Interfaceの実現（c）３次元的な人間の移動経路や速度の計測（d）計測された人間の動きを基に人間に追従するロボットの実現など ができるようになった．こうしたマルチカメラシステムは，２cm程度の空間解像度で人体の姿勢や動作がリアルタイムで計測でき，コミュニケーションに伴うジェスチャの定量的解析など「しっくりとした」コミュニケーションの実現を目指したインタラクション・プロトコルの開発にも利用できる．
- 人の日常生活行動パターンの計測とその理解（公募研究：佐藤班）
日常生活を行う部屋の中に分散配置した圧力センサと磁気式のモーションキャプチャシステムから構成される日常生活行動記録システムを構築し，計測されたセンサ情報に基づいた人間の動作認識アルゴリズムを考案した．こうしたシステムを利用すれば，人間が無意識に行っている日常行動のパターンが把握でき，機械がさりげなく人の生活をサポートすることが可能となる．
