実時間３次元距離画像計測用多重フォーカスカメラ

有限の開口径を持つレンズで撮影した画像には，奥行きに関する情報がぼけと して現れる．これを利用した距離計測は Depth from Defocusと呼ばれ多数の 研究例があるが，高精度な距離計測と安定な完全合焦画像の復元はぼけの大き さに関するトレードオフの関係にあり両立は困難とされてきた．これはぼけの 形態を決定する瞳（開口）形状を単なる円形としているからである．そこで我々 は，フォーカスの異なる（ぼけの度合の異なった）３枚の（白黒）画像を同時 に撮影できる多重フォーカスカメラ（図 12左上にその 内部構造を示す)を開発し，それにテレセントリック光学系と構造化瞳マスク を組み合わせ，安定かつ高精度に距離画像と完全合焦画像を同時に求める装置 と手法を提案した（図 12)[特許1][公開 2][学会誌4, 10][国際会議3][口頭発表2, 6, 16]．

Figure 12: 多重フォーカスカメラの構造と外観

この方法では第１に，多重フォーカスカメラから得た複数の画像を用いることにより， 表面テクスチャの種類に依存しない 解析が可能となる．さらにテレセントリック光学系を用いることで，ぼけ現象は 位置不変な畳み込み演算となり解析が容易となる．構造化された瞳形状により， ぼけによる情報損失を最低限に押え，高精度な距離計測と安定な合焦画像復元の 両立が可能となる．結果として，ぼけを含んだ画像に含まれる距離とぼけのない 原画像に関する情報をほぼ完全に分離し取り出すことが可能である．

このような原理に基づき，まず１次元開口パターンとフーリエ変換を用いた距 離推定・原画像復元手法を提案した．多重フォーカスカメラから得られた複数 の画像の周波数特性の差を分析することにより，ぼけを含んだ画像に含まれる 距離情報と，ぼけのない原画像に関する情報をほぼ完全に分離し取り出すこと が可能であることを実験により確認した．図13に構造化瞳を通 じて撮影された３枚の多重フォーカス画像，図14 に復元された完全合焦画像，図15に得られた対象の３ 次元形状と入力画像（図右の左側のぼけた画像）と完全合焦画像（図右の右側 のシャープな画像）を比較した結果を示す．

Figure 13: 構造化瞳を通じて撮影された多重フォーカス画像

Figure 14: 復元された完全合焦画像

Figure 15: 得られた対象の形状(左)と，入力画像と完全合焦画像の比較(右)

以上の方法は原理に忠実であり，高精度で安定な距離推定が可能であるという 反面，計算時間がやや多く，実時間処理には向いていない手法であった． そこで，このような解析的手法ではなく，構造化瞳の 特徴を利用したより高速な距離推定法を開発してきた． この手法は図16に示すように， 画像の畳み込みとそれらの差分処理からなる非常に単純な手法である．

Figure 16: 畳み込みによる距離解析

この手法は畳み込み演算の可換性を利用し，一方の画像に光学的に 施されていると考えられるぼけ現象を他方の画像へ施したものを， 逆の処理を行った他方の画像と比較することにより距離を推定しようと するものである．この手法は畳み込み演算と画像の差分処理という， 低次な画像処理のみにより距離推定が可能となるものであり， 並列画像処理装置等への移植性も高いと考えられる．また，原理的には どのような瞳形状でも実行可能な手法であると言える．ただし，単なる 円形開口など，ぼけ現象のスペクトル特性が構造化されていないような 場合には安定な距離計測は不可能であるという点で，構造化瞳の導入が 初めて実現した解析手法であるといえる．

Figure 17: 入力画像列と計算された距離画像

以上の原理に基づき，

• 畳み込みの可換性を用いた距離推定法の基本的性能を確認した． 実験では，昨年度提案したフーリエ変換を用いた距離推定法よりも 密な距離画像を，通常の計算機により１秒前後で計算可能であることを 示した．

• この手法ではさまざまな構造化瞳パターンを用いることが可能であると 考えられるが，そのうち特に瞳形状の対称性と精度の関係について考察し， 実験により非対称型の構造化瞳が優れていることを実証した．

• 構造化瞳を用いた距離推定法の頑健性が高いことを実証するため， 通常のビデオ機器によりセンサからの出力画像を録画し，オフライン解析 することにより動距離画像計測が可能であることを実証した （図17）．

• 並列画像処理装置 IMAP-VISION にこの手法を移植することで， ほぼビデオレートでの実時間動距離画像計測が可能であることを 示した．

等の成果が得られた．