光源色に対して不変な色特徴の設計

担当：松山　隆司，日浦　慎作（京都大学）

ジェスチャー認識や自動車の追跡など３次元空間における動的な変化を伴った 対象や現象の認識を実現するには，幾何学的，光学的に安定な特徴を画像から 抽出する必要がある．中でもカラー特徴は，平行移動や回転，隠蔽などといっ た幾何学的変化に対して安定であり，その有効利用を目指した研究が数多く行 われてきた [1]． しかし，画像から得られるカラー情報は照明光変 化の影響を強く受け，必ずしも光学的に不変な特徴とは言えない．特に，実世 界のシーンにおいては，対象の位置により照明条件が変るだけでなく，陰影や 影，ハイライト，さらには近接物体から受ける相互反射光，壁や床，天井など において複雑な過程で反射された光による環境光の影響を強く受け，観測され る画像上でのカラー情報は大きく変動する．

本研究では，このような動的に変化する光環境の中においても安定に検出し得 る色特徴を設計するためのカラーコーディング・システムを提案する．こうし た色特徴が得られると，実世界の対象（たとえば，人間や自動車，交通標識） にカラーパターンを付けることにより，それらの３次元位置や動的変化を安定 に自動検出できるようになり，様々な応用システム（たとえば，モーションキャ プチャ・システム）が実現できる．

単一色の場合は光源の変化が観測されるカラー値に直接影響する．一方，多色 物体では色の空間的分布範囲が広く，照明の局所的変化や対象の一部分が隠さ れる隠蔽に影響されやすい．そこで，われわれは図１最下段に示したような２ つの色に塗り分けられたストライプ状のカラーパターンを用いることにした． そして，光源変化に対して安定な色特徴として，隣接した色領域から得られる センサ値の比 Color Ratio を用いることにした．Color Ratio は，センサ値 の相対値であることから，光源の強度変化に影響されない上，光源色の変化に 対してもある程度の安定性が期待できる．

しかし一般に，Color Ratio は光源色の変化に対して完全には不変でない．そ のため， ここでは，まず現実世界における多様な光源色変化を，スペクトル 強度分布が既知の複数の光源の組合せとして表現できると仮定し，そうした各 種の光源下において Color Ratio ができるだけ不変になるような color pairing を選ぶことにする．今回開発したカラーコーディング・システム（図 2.8）は，既知の分光反射率特性を持つカラー材料のデータベースを基に，その ような color pairing の集合を選び出すものである．具体的には，データベー ス中の異なった N 個の分光反射率特性を持つ素材から，まず $\,_{N}\mbox{C}_{2}$ 組の color pairing を作成し，その中から光源が変化 した場合でも最も安定に相互識別可能な M 組の color pairing （以下， color pairing 集合という）を求める．また，本システムでは，対象の観測に 用いるセンサの分光感度特性は既知であるとしており，最適な color pairing 集合はセンサ毎に異なる．

Figure 2.8: カラーコーディング・システムの概略図

最適な color pairing 集合を選ぶ際の問題点としては，以下のものがある．

1.

color pairing 集合の良さ（光源の変化に対する相互識別可能性の評価 尺度）をどのように定義するか．

2.

$\,_{N}\mbox{C}_{2}$ 個の color pairing の中から M 組を選ぶ選び 方は，全体で $\,_{({\,_{N}\mbox{C}_{2}})}\mbox{C}_{M}$ 通りあり，その全 てを調べつくすには天文学的時間を要し，効率的な探索手法が必要となる．

問題１に対して，開発したシステムでは，以下のような color pairing 特徴を 基に後述する２つの観点からcolor pairing 集合の良さを評価している．まず， color pairing <x, y> に対して光源 i の下で得られたカラーセンサデータ をそれぞれ ${\bf x}_i =(l^1_{x,i}, l^2_{x,i}, ..., l^k_{x,i})$， ${\bf y_i}=(l^1_{y,i}, l^2_{y,i}, ..., l^k_{y,i})$とする．ここで k はカラー センサの持つ分光フィルタの数を表す．両ベクトルデータの 比ベクトル（Color Ratio ベクトル）を ${\bf r}_{x,y} = (\frac{l^1_{x,i}}{l^1_{y,i}}, \frac{l^2_{x,i}}{l^2_{y,i}}, ..., \frac{l^k_{x,i}}{l^k_{y,i}})$とする．この Color Ratio ベクトルを光源 i の下での color pairing <x, y> の特徴量とする．なお，一般に color pairing <x, y> に対する Color Ratio ベクトルとしては，${\bf r}_{x,y}$ および${\bf r}_{y,x}$の２つがあり，かつ比の値を要素とする多次元ベクト ル間の距離をどのように定義するかといった数理的問題があるが，これらに関 する具体的解決法は文献 [2] を参照して頂きたい．

color pairing 集合の良さは，

• 集合内の各 color pairing の持つ Color Ratio ベクトルが照明変化に 対してそれぞれどの程度変化するか．具体的には，照明変化によって生じる Color Ratio ベクトルの変動（分布の広がり）が小さければ小さいほど，その color pairing は安定であるといえる．
• 照明が変化した場合，集合内の各 color pairing がどの程度相互に 区別できるか．具体的には，照明変化が生じた場合，集合内の各 color pairing が作る Color Ratio ベクトルの（変動）クラスタ間の相互間隔が大 きければ大きいほどその color pairing 集合は安定であるといえる．

問題２について，開発したシステムでは，以下に述べるヒューリスティックス を用いて，組み合わせ爆発を防いでいる．今， $\rho^x(\lambda)$ と $\rho^y(\lambda)$ をそれぞれ色素材 x，y の分光反射率特性， $s(\lambda)$ をセンサの分光感度特性とする．$\lambda$は光を波長を表す． このとき，以下の関係式が成り立つとき，color pairing <x, y> の Color Ratio は光源色変化に対して不変となる．

$$\forall \lambda~ \exists \nu^{xy} >0,\ \ \ \rho^x(\lambda) s(\lambda) = \nu^{xy} \rho^y(\lambda) s(\lambda),$$ (2.1)

なぜなら，color pairing <x, y> の照明 $e_i(\lambda)$ の下での Color Ratio を r^xy_i として表し，式(2.1) を代入す ると,

$$\begin{eqnarray*} r^{xy}_i \equiv \frac{\int_{0}^{\infty} e_i(\lambda) \rho^x(\... ...}\nonumber\\ & = & \nu^{xy}\ \ \ \ \ \mbox{(照明に対して不変)}. \end{eqnarray*}$$

システムは，予めデータベース中の全て（ $\,_{N}\mbox{C}_{2}$ 個）の color pairing に対して，上記の関係に基づいて各 color pairing の照明光不変性の 度合を評価し，その度合の小さいものは削除しておく．これによって，M 組 の color pairing 集合を探す際の探索空間の大きさを減すことができ，効率的 な探索が可能となる．

一般にカラーセンサは複数の異なった分光感度特性を持つカラーフィルタを持っ ており（たとえば，カラービデオカメラではR，G，B フィルタ），各フィルタ に関してそれぞれ式(2.1)を評価し，それらの評価値の 積によって color pairing <x, y> の光源変化不変性の度合としている．具 体的には，color pairing <x, y> のフィルタ k  (k = 1, ..., N) （分 光感度特性：$s^k(\lambda)$）に対する光源変化不変性の度合 Stability^k_x,y を以下のように定義する．

$$Stability^k_{xy} \equiv \frac{\int_{0}^{\infty} \rho^x(\lam... ...^{\infty} (\rho^y(\lambda) s^k(\lambda))^2\; \mbox{d}\lambda}}$$ (2.2)

そして，color pairing <x, y> の光源変化不変性の度合 Stability_{x, y}を 次式のように定義する．

$$Stability_{x, y} \equiv \displaystyle{\prod_{k=1}^{N}Stability^k_{x,y}}$$ (2.3)

上記の定義より明らかなように， Stability_{x, y} の値の大きな color pairing <x, y> は任意の光源変動に対してその Color Ratio ベクトルの変 動は小さい．

システムの有効性を検証するため，まず各種の標準光源の下で安定な color pairing 集合を求め，標準光源以外の光源で照された画像から各 color pairing がすべて正しく識別できることを示した．また，従来安定なカラー特徴として 用いられてきた，色相や色度，CIE u^'，v^'， ，CIE u^*， v^*，CIE a^*，b^* と比べ，本システムで求められた Color Ratio ベクト ルが優れた識別能力を持つことを実験によって示した．

参考文献

[1] 富永昌治：コンピュータビジョンにおけるカラー情報の表現と解析，「コ ンピュータビジョン」（松山，久野，井宮編著），新技術コミュニケーション ズ，1998

[2] C.-K. Ong： A Color Coding System for Designing Illumination-Invariant Color Features，京都大学修士論文, 1999.