３次元講義室空間の動的状況把握による映像生成法の開発

担当：美濃　導彦，亀田　能成（京都大学）

本章のはじめに述べたように，分散協調視覚システムでは，観測ステーション から得られた実世界の情報とネットワークを介して得た情報を人間に分かりや すい多様な形態の映像情報として実時間で対話的に生成することを目的の１つ としている．本研究では，多様な情報提供が可能な遠隔講義システムの実現を 目指して，３次元講義室空間の動的状況把握とそれに基づいた映像生成法の考 案を行った．

複数のカメラで得られる講義室映像の処理手法には次の２つのものが考えられる．

1. 映像情報の最終利用者が人間であるとし，分散配置されたカメラから 得られた複数の映像情報を１本の映像ストリームに編集・加工し，人間に提示 するための処理．この場合，人間の意図に合わせてどのように視線位置やズー ムの制御，カメラの切り換えを行うかが問題となる．
2. カメラから得られた映像を基に観測対象である３次元空間の構造を 計算機システム内で再構成するための映像情報の処理．この場合は，計算機シ ステムが３次元空間の再構成を行い，その結果に様々なカメラワークを施して 映像を生成し人間に提示することになる．

本年度は，前者の研究として，カメラが設置されている講義室の様子を遠隔地 にいる学生が見ようとする状況を研究対象として取り上げ，複数のカメラを用 いて講義を１本のビデオ映像として実時間で提示する方法について研究した． 具体的には，

• 講義室内の複数の物体を協調して撮影する方法
• 撮影された複数のビデオ映像を学生の嗜好および講義のコンテキストに応じて１ 本の映像にまとめる方法

を考案した（図33）．

  
Figure 33: 講義を１本のビデオ映像として実時間で提示するシステム

後者の研究としては，数台のビデオカメラとネットワーク結合された分散計算 機システムを用いて３次元空間形状をボクセルデータ形式で高速に再構成する システムを開発した．このシステムでは，分散環境でボクセルデータを高速に生成す るため，

1. ビデオ画像処理の過程を分割するとともに，各処理過程をパイプライン 化することによってスループットを向上させる．
2. 観察対象空間を分割し，分割された空間ごとに各計算機が立体 形状の再構成を行い，レイテンシの削減を実現した．

図34は実験の様子を示したもので，画面中央の人物の 形状をボクセルデータで再構成し表示するとともに，机などの静止物体につい てはCG合成表示を行っている．これらは全て実時間で実行され，３次元空間形 状再構成および画像表示の速度として，7.3フレーム／秒の高速性を実現する ことができた（詳細は，本報告書を参照）．

  
Figure 34: 実空間形状の高速再構成