能動カメラによる中心視ビデオ映像と周辺視パノラマ画像の自然な合成法

担当：松山　隆司，東海　彰吾（京都大学）

視点を固定した状態でパン・チルト・ズーム制御を行うことができる視点固定 型パン・チルト・ズームカメラ（FV-PTZカメラ，詳細は１９９７年度報告書参 照）を用いて視線方向を連続的に変化させながらシーンを撮影し，得られた多 数の画像を１つの共通平面上に投影することで，超広角パノラマ画像を生成す ることができる．こうしたパノラマ画像を予め撮影しておき，それと現時点で 観測されたビデオ映像とを合成し１枚の画像として表示すれば，広角に捉えら れているシーンの全体像とFV-PTZカメラで動的に撮影された詳細な移動対象の ビデオ映像の両方を１つの画面で同時に見ることができ，人間が遠隔地のシー ンの状況を容易に理解できるようになる．

しかし，シーンの照明が動的に変化するような環境では，観測されるビデオ映 像の明度が時々刻々と変化してしまうため，過去に撮影したパノラマ画像と重 ね合わせて表示した場合に，明度差による疑似境界ができるなど，人間にとっ て違和感の大きな映像となってしまう．そこで，本研究では，

• 照明条件の異なるシーンの状況をあらかじめ撮影しておき，それらのパ ノラマ画像から明度変化を固有画像解析の方法を用いてモデル化する．
• 実際の観測時には，観測された画像から固有画像モデルに基づいて明度変化のパラ メータを推定し，そのパラメータに基づいて観測時点の照明に適合し たパノラマ画像を生成し， 観測画像と合成して表示する．

という方法を考えた．

観測時に得られるのは，シーンの１部を撮影した観測画像であり，パノラマ画 像全体の明度変化は完全な形では得られない．シーンの照明条件の変化が一様 である場合には，局所的な観測画像からでもある程度シーン全体の照明条件を 安定に推定できるが，スポット光など照明変化が局所的に異なる場合には，問 題が生じる．この問題に対して本研究では，パノラマ画像を再帰的に４分木ブ ロックに分割した階層的な構造を考え，各層でとなり合う４つのブロック間で の明度変化の共起性を解析しながら局所的な照明変化モデルを構築する方法を 開発した．このモデルは，ブロック間の明度変化の共起性を含み，実際には観 測されなかった領域でも，観測された領域で検出された明度変化と共起する成 分については，これを反映したパノラマ画像を合成することができる．これに より，局所的照明がある場合でも継目の少ない画像の生成が可能となった．

部屋の照明を変化させて撮影した２４枚のパノラマ画像から学習 した照明変化モデルを用いて画像を生成した結果を図 2.29 に示す．画面左下にある椅子の部分に局所照明 が当られる．図2.29(a)はある照明条件で撮影された シーンの全体像を表すパノラマ画像，図 2.29(b)は画像観測画像領域（白枠）から生成した合 成パノラマ画像，図2.29(c)は実画像と合成画像の差 分画像である．これらから，局所照明がある場合でもかなりうまく照明条件が 推定されていることがわかる．

また，カメラが能動的に対象を探索／追跡している場合には，視線方向が連続 的に変化するため，各時刻の観測画像から計算される明度変化パラメータだけ でなく，過去に得られたパラメータの履歴を合わせて用いることによって，よ り自然な映像を生成することについても併せて検討した．

Figure 2.29: 部分実画像からのパノラマ画像生成例

(a) Real Image

(b) Generated Image

(c) Differential Image