next up previous contents
Next: 視覚・行動機能の統合による柔軟・頑健な能動視覚システム の構築 Up: 多重画像の統合による多機能高精度視覚センサの開発 Previous: 構造化瞳を持つ多重フォーカス距離画像センサの開発

視点固定型パン・チルト・ズームカメラの実現

 

昨年度開発した視点固定型パン・チルト(APS)カメラ雲台(図 17)を用いれば360゜ 全方位全天空パノラマ画像を容易に合成することができ,パノラマ画像から適 宜部分画像を切り出し平面スクリーンに投影することによって,視線方向やズー ムの異なる画像を動的に生成することができる.こうした画像の撮影・合成・ 生成法は,ユーザの視線移動に伴って映像が変化する仮想現実感を実現するた めに利用することができるだけでなく,カメラの視線方向を変更しながら移動 対象を検出・追跡するシステムにも応用することができる.

   figure443
Figure 17: Appearance Sphereと試作したAPSカメラ雲台

本年度は,視点固定型パン・チルトカメラ雲台を用いて撮影した画像から様々 な視野を持つパノラマ画像を合成するアルゴリズムおよび,全方位全天空パノ ラマ画像からある視線方向の画像を高速に生成するアルゴリズムを考案し,視 線の移動に伴ってスムーズに変化する動画像の生成が実時間で実現できること を示した.図18に京都大学の時計台を視点固定型パン・ チルトカメラで撮影・合成した画像の例を示す.

   figure462
Figure 18: 視点固定型パン・チルトカメラで撮った全方位パノラマ画像

視点固定型パン・チルトカメラを用いて移動対象の追跡システムを実現する場 合は,予め撮影しておいた全方位全天空パノラマ画像から,現在のカメラの視 線方向に対応した画像を生成し,それとカメラから撮られた画像との差を取る ことによって移動対象を見つける,という処理を繰り返せばよい.すなわち, 背景差分という非常に単純・高速な計算で,広い範囲を動きまわる移動対象を カメラの視線方向を変更しながら能動的に追跡するシステムが実現できる.

このようなシステムを構築するには,仮想現実感システムの場合とは異なり, 実環境に容易に設置できる程度にコンパクトで,視線方向の迅速な制御に加え てズームも変更できるカメラが望ましいが,昨年度開発したカメラ雲台(図 17)はこれらの条件を満さない.そこで,市販の計算機制御可 能な首振りカメラについて調査を行った結果,図19に示すSONY EVI G-20というカメラが,首振り角度は限られているが,視点固定型パン・チルト・ ズームカメラに近い特性を持ち,コンパクトで位置決め精度も高く,回 転速度は毎秒 tex2html_wrap_inline2305 と非常に高速であることが判明した.

     figure473
Figure 20: キャリブレーションに用いたCCDスクリーンの傾斜角 tex2html_wrap_inline2195 , tex2html_wrap_inline2197 , tex2html_wrap_inline2199
Figure 19: SONY EVI G-20

このカメラを視点固定型パン・チルト・ズームカメラとして用いるには,焦点 距離やレンズ歪み係数といったカメラの内部パラメータのキャリブレーション を行う必要がある.視点固定型パン・チルト・ズームカメラの場合,撮影した 画像を正しい内部パラメータを用いて1つの仮想平面スクリーンに投影したと き,投影された画像の重なり部分が一致するという性質がある.本研究では, この性質を利用して,仮想平面スクリーン上に投影された画像の重なり部分が 一致するようにカメラの内部パラメータを推定するキャリブレーション法を考 案し,そのソフトウェアを開発した.

通常のカメラキャリブレーションでは,内部パラメータとして,「焦点距離 (投影中心とスクリーンの距離)」,「レンズ歪み係数」,「画像の歪み中心」, 「画面の縦横比」などが使われる.ここでは,レンズの光軸に対するCCD面の 取り付け精度が一般に高くないことも考慮して,上記パラメータに加えて図 20に示す「光軸に垂直な平面に対するスクリーンの傾き角」 tex2html_wrap_inline2313 ,「スクリーンの光軸回りの回転角」 tex2html_wrap_inline2199 ,を内部パラ メータとした.これらのパラメータの導入により,高精度なキャリブレーショ ンが実現できた.

     figure494
Figure 22: 最適化後の仮想平面スクリーン上の画像
Figure 21: 視線方向の異なる6枚の画像を初期パラメータを用いて仮想平面スクリーンに投影した画像

このソフトウエアによる内部パラメータの最適化の前後で,仮想平面スクリー ン上に投影した観測画像にどのような変化が現れるかを図 2122に示す.これらの図から,最適化後 には,全体的にはほぼ正しい画像の張り合せが行われていることが確認できる.

   figure542
Figure 23: 異なるズームで撮影された画像の比較:(a)入力画像(水平画角 tex2html_wrap_inline2201 ), (b)入力画像(水平画角 tex2html_wrap_inline2203 ), (c) (a)から生成した 画像(水平画角 tex2html_wrap_inline2203 ), (d) (b)と(c)の濃度差

昨年度開発したカメラ雲台では,パン・チルトは変えることができるが,ズー ムを制御することは不可能であった.これに対して,SONY EVI G-20ではズー ムのコントロールが可能な上,ズームを変更してキャリブレーション行った結 果以下の優れた特徴を持っていることが明らかになった.

このことから,今回開発したキャリブレーションソフトウェアを用いれば,こ のカメラが視点固定型パン・チルト・ズームカメラとして機能することが分か り,あるズームで撮影された画像から,別のズームで撮影した画像とほぼ一致 した画像が生成できることが確認された(図23).

本年度開発した対象追跡システム(本報告書のgifおよび gif)では,全てこのカメラを用いており,パン・ チルト・ズームを動的に制御しながら対象が追跡できるようになったのは,こ こで開発したキャリブレーションソフトウェアの有効性に依るところが大きく, その実用性は十分実証されている.