平成13年度の研究成果のまとめと今後の展望
（4）研究構成
III. 「人と交わる」
- 「しっくりとしたコミュニケーションの実現」：
非拘束なマルチモーダル対話の実現
- 手で自由にコンピュータを操作できる拡張机型インターフェイスシステムの開発（計画研究：松山班）
人の手・指の動作を非接触かつ実時間で安定に計測するための技術として，カルマンフィルタによる複数指先位置予測とフレーム間対応付けを用いた両手複数指先軌跡計測法を開発した．この手法を，机上に様々な情報をプロジェクタで投影しながら人がコンピュータとインタラクションを行う拡張机型インタフェースに適用し，左右の手の運動パターンの違いに基づいた新しいメニュー提示法などを開発し，その作業効率のよさを実験的に示した．
- 「指コン・ロボット」（計画研究：松山班）
先に述べた指差し動作の認識システムを利用して，指で移動ロボットをコントロールし，好きな場所にロボットを移動させるシステムを開発した．今後はより多様なジェスチャの認識機能の実現やロボット側からの自発的アクション，音声を使ったインタラクション機能などを付加し，人とロボットとの多様なインタラクションの実現を目指す．
- 実世界環境における音声対話の実現（公募研究：河原班，峯松班）
音声による対話は人間にとって自然なコミュニケーション手段であるが，従来の音声認識システムではへッドセットなどの装置によって環境音の影響を低減する必要があるなど，必ずしも非拘束なインターフェイスとはなっていなかった．本グループでは，音声を使った自然なヒューマン・マシン・コミュニケーションを実現するための基盤技術として，（i）実世界環境での複数話者による対話の例として会議を取り上げ，会議の様子を録音したデータから話者識別やキーワード抽出を行い，議事録の自動書き起こしシステムの実現を目指す（ii）音声には言語的情報以外に話者を特徴づける多様な非言語情報が含まれており，その自動抽出は自然なコミュニケーションの実現にとって重要であるとの考えに基づき，音声データから話者の年齢を推定する手法を考案しその有効性を実験的に示す を行った．
- 力学メディアを介したインタラクション（公募研究：瀬崎班，鈴森班）
力覚，触覚を介したインタラクションは，「生の感じ」を伴うコミュニケーションの実現にとって重要な基盤技術となる．このグループでは，（i）ネットワークを介して力覚，触覚を伝える際に問題となる伝送遅延に焦点を当て，他のメディアとの同期をうまく制御することによってネットワーク環境下でもコラボレーションがうまく行える可能性があることを示した．（ii）人間と自然な力学的インタラクションを行うための装置として，マウスを自律移動ロボット化したものを開発した．この装置によって，物体の映像や音だけでなく，重量，慣性，粘性，表面の凹凸などの情報を伝達することが可能となる．
- マルチモーダル対話の実現（公募研究：奥乃班，北岡班）
自然で柔軟なコミュニケーションを実現するには，マルチモーダルな対話が不可欠である．このグループでは，（i）聴覚と視覚情報を複数のレベルで実時間統合することによって柔軟なマルチモーダル対話機能を実現し，人型ロボットを使った人間との対話実験によってその有効性を示した．（ii）音声＋ポインティングを使った情報検索インターフェイスを開発し，人による言い直しをうまく利用することによって円滑な対話が実現できることを示した．
