ある１つの空間に人が集まり， さまざまなコミュニケーション活動をする状況は， 集会や会議，スポーツ，音楽会などの娯楽イベント， 学校での講義室，会社のオフィスなど 現代社会において一般的である． 計算機の高性能化，通信の高速化のおかげで， 現実にこのような空間に存在している人だけでなく， 遠隔地にいる人々が何らかの形でこの空間を観察したり， そこで行われている活動に参加したりすることが 技術的に可能になりつつある．このような環境を我々は 情報メディア環境と呼んでいる．
遠隔地にいる人が情報メディア環境にアクセスする場合， 映像情報が重要な意味をもつと考えられる．
どのような映像情報が必要であるかは その利用者の立場や希望によって異なる． そこで，情報メディア環境においてこうした映像を提示するためには， 対象空間で何が起こっているか（これを動的状況と呼ぶ）を把握することと， 動的状況に対して利用者毎にその希望に合わせた 適切な映像を生成することが必要である． 具体的には利用者毎の希望を実現するために， 動的状況に合わせてカメラワークを変更したり， 複数用意したカメラの中で撮影に利用するカメラを切り替えたり， 物体に関連情報を付帯して可視化することである． 特に映像生成を動的状況に合わせて行うため， 処理は実時間で行わなければならない．
我々は現在，このような問題設定に対して， 講義室空間を対象として実験による実証を行っている． 対象空間を取り囲むようにカメラを設置し， 各カメラに計算機を割り当てて観測ステーションとする． 分散配置された観測ステーションをコンピュータネットワークを介して接続し， これらを協調動作させ，分散協調の枠組みの中， 実時間で情報メディア環境に適した映像生成を行う．
講義の動的状況としては， たとえば， 講師が生徒に話している， 講師が黒板に字を書いている，などが考えられる． これらを，対象物（講師，生徒など）と その属性（話している，字を書いているなど）の組で記述する．
情報メディア環境にアクセスする利用者は，映像生成法を 動的状況とその時のカメラワークという形で記述する． 動的なカメラワークを考慮しない場合，一般にカメラワークは，撮影対象，カ メラレンジ，及びカメラの撮影方向の３項目で記述できるとされる． これを用いて，利用者は個人の好みの映像生成法を記述することができる．
利用者の映像生成法の希望にそったかたちで， どの部分空間をいつ見せるかを決定する映像生成法を提案する． この処理を映像生成の制御と呼ぶ． 図2.31に映像生成の全体像を示す．
まず，観測ステーションは対象空間の観測データを取り込む （Acquiring Data 部）．取り込まれた観測データの集合を 観測データ空間（Observation Data Space）と呼ぶ． 取り込んだ観測データをそのまま利用者に提示することも可能である． 次に，観測データに基づいて，動的状況の把握を行う （Snatching Situation 部）． 対象空間が固定されていることから， 静物体の形状が記述できるだけでなく，出現しうる物体も限定される． これらの制約と講義室から得られるさまざまな情報を利用して 動的状況を把握する． 最後に，得られた動的状況の記述に基づいて映像生成の制御を行う （Imaging Control 部）．
情報メディア環境全体としては，図2.31の矢印Eに沿って動的 状況の記述を参照することで，経路A,B,Cのような映像生成が実現可能であ るが，本年度は特に経路Aの「対象空間からの直接光学的な映像生成」につ いて研究を行った． ここで我々が目標としたのは，複数の利用者がそれぞれ違う対象を見たいと 希望するときに，限られた観測ステーション資源を有効利用し，最大限の利用 者の希望を実時間で実現することである．
このため我々は講義の動的状況（講義状況）という概念を，利用者の希望の 記述と，画像認識システム のそれぞれで利用する． 複数の利用者が各個人の映像化の希望を定義するときは，講義状況はシンボル として参照される．一方，画像認識システムでは，画像特徴量から数値的に講 義状況を識別する．識別された講義状況に基づいて，映像化システムは各利用 者の希望に合わせた映像を提供するため，複数の観測ステーションの切り替え と制御を行う． 複数の観測ステーションからどの観測ステーションを対象物体の撮影用に選択 するのか，観測ステーション上の首振りカメラにおける首振り角度やズーム値を どのように設定するべきかなどがその制御情報となる．
我々は提案手法に基づいてプロトタイプシステムを試作し，実験を通して提案 手法の有効性を確認した．図2.32は10人の利用者で4台 の首振りカメラを利用した時の，ある利用者が得た映像である．
