構造化瞳を有する多重フォーカスカメラによる動距離画像計測

担当：松山　隆司，日浦　慎作（京都大学）

有限の開口径を持つレンズで撮影した画像には，奥行きに関する情報が ぼけとして現れる．これを利用した距離計測は Depth from Defocus と呼ばれ多数の研究例があるが，高精度な距離計測と安定な完全合焦画像の 復元はぼけの大きさに関するトレードオフの関係にあり両立は困難とされてきた． これはぼけの形態を決定する瞳（開口）形状を単なる円形としているからである． そこで我々は，先に提案した多重フォーカスカメラにテレセントリック光学系と 構造化瞳マスクを組み合わせ，安定かつ高精度に距離画像と完全合焦画像を 同時に求める手法をこれまで提案してきた．第１に，多重フォーカスカメラから 得た複数の画像を用いることにより，表面テクスチャの種類に依存しない 解析が可能となる．さらにテレセントリック光学系を用いることで，ぼけ現象は 位置不変な畳み込み演算となり解析が容易となる．構造化された瞳形状により， ぼけによる情報損失を最低限に押え，高精度な距離計測と安定な合焦画像復元の 両立が可能となる．結果として，ぼけを含んだ画像に含まれる距離とぼけのない 原画像に関する情報をほぼ完全に分離し取り出すことが可能である．

このような原理に基づき昨年度までに，１次元開口パターンとフーリエ変換 を用いた距離推定・原画像復元手法を提案してきた （図2.17）． この方法は原理に忠実であり，高精度で安定な距離推定が可能であるという 反面，依然計算時間がやや多く，実時間処理には向いていない手法であった．

Figure 2.17: ３次元形状と完全合焦画像（部分拡大）

そこで今年度はこのような解析的手法ではなく，構造化瞳の特徴を利用した より高速な距離推定法を開発してきた．この手法は図2.18 に示すように，画像の畳み込みとそれらの差分処理からなる非常に 単純な手法である．

Figure 2.18: 畳み込みによる距離解析

この手法は畳み込み演算の可換性を利用し，一方の画像に光学的に 施されていると考えられるぼけ現象を他方の画像へ施したものを， 逆の処理を行った他方の画像と比較することにより距離を推定しようと するものである．この手法は畳み込み演算と画像の差分処理という， 低次な画像処理のみにより距離推定が可能となるものであり， 並列画像処理装置等への移植性も高いと考えられる．また，原理的には どのような瞳形状でも実行可能な手法であると言える．ただし，単なる 円形開口など，ぼけ現象のスペクトル特性が構造化されていないような 場合には安定な距離計測は不可能であるという点で，構造化瞳の導入によって 初めて実現できた解析手法であるといえる．

今年度はこのような原理に基づき研究を行い，以下の成果を得た．

Figure 2.19: 入力画像列と計算された距離画像

• 畳み込みの可換性を用いた距離推定法の基本的性能を確認した． 実験では，昨年度提案したフーリエ変換を用いた距離推定法よりも 密な距離画像を，通常の計算機により１秒前後で計算可能であることを 示した．

• この手法ではさまざまな構造化瞳パターンを用いることが可能であると 考えられるが，そのうち特に瞳形状の対称性と精度の関係について考察し， 実験により非対称型の構造化瞳が優れていることを実証した．

• 構造化瞳を用いた距離推定法の頑健性が高いことを実証するため， 通常のビデオ機器によりセンサからの出力画像を録画し，オフライン解析 することにより動距離画像計測が可能であることを実証した （図2.19）．

• 並列画像処理装置 IMAP-VISION にこの手法を移植することで， ほぼビデオレートでの実時間動距離画像計測が可能であることを 示した．