平成14年度の研究成果のまとめと今後の展望
（2）説明資料−c. 研究構成
II. 「人を観る」
- 人は何を見ているのか？:
装着型ビジョンセンサの開発（計画研究：松山班）
視線測定装置とコンピュータ制御可能な２台の首振りカメラで構成される（へルメット型）装着型ビジョンセンサを開発した．このセンサは，カメラが装着者と視点を共有することで，装着者の視線情報を獲得することができる．そして，周囲の奥行きが場所毎に大きく変わる日常生活環境でも，正確にその視線情報を検出する手法を考案した．また，このセンサによって得られる装着者の視線情報から，その人が注視しているかどうかをコンピュータが判断し，注視している場合には注視領域の奥行きや３次元形状を自動的に獲得する手法を考案した．
- 人は作業のどこを注視しているのか？:
視線情報と視覚情報の統合による注視点推定手法の開発（公募研究：池内班)
マルチモーダルな知覚を用いて人が行う手作業の様子を観察し，その方法や手順を獲得・学習する人型ロボットを開発した．これを用いて，言語化が困難だとされてきた熟練を用する作業の電子保存のための技術，および人間とロボットとの協調作業における作業支援のための技術の開発を進めている．ここで，作業中における注視箇所の軌跡の情報は，熟練度合を評価しモデル化する上でも，協調時における人間の内部状態を推定する上でも重要な要素である．当研究では，初期にはデータグローブを用いて手と操作物体との相互作用が行われている箇所を擬似的に注視点として検出してきたが，現在はこれに加えて視線計測装置を利用し，誤差のある視線情報から生成される仮想視覚情報と実際の視覚情報とを位置合わせすることによって，真の視線情報を推定して世界座標系における注視箇所を獲得する技術を開発している．
- 人はどう動いているのか？:
装着型ビジョンセンサを用いた人物の移動軌跡推定（計画研究：松山班）
２台の装着型能動カメラをそれぞれ独立に注視点制御(２眼独立注視点制御)し，それによって得られる映像データから３次元世界における装着者の回転運動および並進運動を逐次的に推定する手法を提案した．これによって，装着者の３次元位置や運動が自動的に記録できるようになり，位置に基づいた情報提示（たとえば，博物館・美術館での展示物案内）が人間からの指示なしで行えるようになる．
- 人は何を体験しているか？:
ウェアラブルコンピュータを用いた，主観的体験記録の研究(公募研究：廣瀬班)
日常生活において，体験者の行動を極力妨げない状態で，人間の視野角範囲の記録および身体，頭部の姿勢角の記録を行うウェアラブルコンピュータのプロトタイプを開発した．また，ウェアラブルコンピュータを用いて，個人の主観的体験を記録することによって，人間の体験構造を知覚的認知的側面から解明する研究も行った．この研究では，大量の体験データを蓄積することが可能になり，体験とは何か，記憶とは何かについて解明するための手がかりを得ることができると考えられる．
- 人の姿勢，動作を観る:
人体動作の実時間３次元形状計測システムの開発（計画研究：松山班）
多数のカメラによって撮影した映像から，人間の詳細な３次元的姿勢や動作を実時間で計測できるシステムを開発した．こうしたシステムを利用することによって，（a）人間が行う指差し動作を分析して３次元的な指示方位を求め，人間が何を指差しているかを理解する（b）ジェスチャを使ったコンピュータとの Perceptual User Interfaceの実現（c）３次元的な人間の移動経路や速度の計測（d）計測された人間の動きを基に人間に追従するロボットの実現などができるようになった．こうしたマルチカメラシステムは，２cm程度の空間解像度で人体の姿勢や動作がリアルタイムで計測でき，コミュニケーションに伴うジェスチャの定量的解析など「しっくりとした」コミュニケーションの実現を目指したインタラクション・プロトコルの開発にも利用できる．
- 人の動作を観る−動作に基づくインタラクション:
ビジョン技術を基にした誘発型ユーザインタフェースの開発 (公募研究：谷口班)
ビジョン技術を用いて非接触で人間の身体動作を実時間で計測する手法を開発し，その動作情報と仮想化されたオブジェクトの持つ属性情報を基にインタラクションを誘発的に行う方式を開発した．
- 人の行動を知る:
人間の行動観察のためのセンシングシステムの構築(公募研究：八木班)
周囲360度が実時間観測できる全方位視覚センサを入力手段として，日常生活における人間の行動を非接触で観察できる実時間人間情報計測システムを構築中である．本システムを用い，自然歩行画像から個人認証を行うシステムを構築した．
- 観て動作が分かるとは？:
人の日常生活動作認識モデル（公募研究：森班)
モーションキャプチャで得られるデータを分析し，同一動作と認識される運動に共通にあらわれる特徴量を抽出し，それらを注目量とする認識アルゴリズムを構成した．また，日常生活を行う部屋の中に分散配置した圧力センサと磁気式のモーションキャプチャシステムから構成される日常生活行動記録システムを構築し，計測されたセンサ情報に基づいた人間の動作認識アルゴリズムを考案した．こうしたシステムを利用すれば，人間が無意識に行っている日常行動のパターンが把握でき，機械がさりげなく人の生活をサポートすることが可能となる．
- 人の動きを観る:
自律的ダイナミックスを持つ情報システムによるマルチメディア動的イベントの認識（計画研究：松山班)
自律的ダイナミックスを持ったシステムが，観測された時系列データと共鳴・同期することによって認識を行うという動的イベント認識モデルを考案し，手話認識やリップリーディング実験によってその有効性を確認した．
- 行動と視覚と空間認識のむすびつき:
能動視覚による動的な空間知覚と立体形状認識機構の解明とその応用システムの構築(公募研究：出口班)
人は能動的な行動とそれによって引き起こされる視覚情報の変化を対照することで，空間の知覚を行っている．この機構をロボットに模倣させることで，ロボットの視覚の諸パラメータを自己校正するとともに脳内空間マップを自動生成するシステムを開発し，このような人間の空間認識の機構の解明を目指している．
- 人は人の存在から何を感じているのか？:
音声・音響情報処理に基づく話者情報抽出技術の高精度化(公募研究：峯松班)
音声からの年齢推定技術を構築した．高齢者のみならず，子供音声までを対象とし，聴取実験に基づいて各話者の知覚年齢を分布として定義し，それに基づいて未知話者の知覚的年齢（分布）の推定を行った．
- 人は何を見，何を感じながら物を把持し操るのか？:
遠隔操作プラットフォームを用いた人間の把持繰り動作時の視触覚情報処理過程の解明(公募研究：横小路班)
人間の把持様式を身の回りの日用品50品目で徹底的に計測し，把持物体を模擬するデバイスの機構設計に役立てた．また人間への視触覚情報提示を完全に把握しかつ選択的にコントロール可能な遠隔操作プラットフォームの基本部分を構築した．
