3次元ビデオの圧縮
3次元ビデオの持つ映像情報と幾何情報は、動的に形状が変化する3次元メッシュとその表面に対応付けられた映像で表現することができる。
CG分野を中心として、3次元メッシュで表現された物体形状を圧縮する研究が数多く行われている。それらで提案されている手法は、
- メッシュの接続関係をグラフ構造などで記述し、空間的・時間的な冗長性を利用して情報量を圧縮するもの（IBM，ジョージア工科大等）
- 右上図のように２次元平面上へ3次元メッシュを展開する操作を行い、２次元平面上で幾何情報を記述し、２次元映像用の既存のコーデックで圧縮する手法（マイクロソフト）
に大別することができる。この中で、本研究では、2. に近い発想で3次元ビデオを効率的に圧縮する手法を提案する。この手法は既存の映像コーデックを利用して２次元平面上で表現した幾何・映像情報を圧縮するため、特別なコーデックが必要な 1. に比べて実用面で非常に有利である。
2)の先行研究では、3次元メッシュの幾何形状（曲率など）のみに基づいて、幾何情報の劣化が少なくなるように２次元平面への展開を行っている。また、単一フレームの3次元メッシュに対しては綿密に検討・検証された手法が提案されているが、時間的に変化する3次元メッシュの圧縮については、試行錯誤的な実験結果の報告に留まっている。
これに対し、我々は3次元メッシュの幾何情報と3次元メッシュ表面に対応づけられた映像情報の双方に基づく2次元平面への展開を行う。復号された3次元ビデオを鑑賞する際に、たとえ3次元形に歪みが生じていても、その表面に有意な模様がなければ鑑賞者は歪みの存在を感じない。逆に細かな模様があれば、わずかな幾何的歪みも目立つことが考えられる。このように、最終的に鑑賞者に提供する映像の品質を向上させるには、幾何情報だけでなく、映像情報も利用することが有効であることは明らかである。また、撮影対象の動きによって幾何形状は動的に変化するのに対し、その模様は変化しないことが多い。冗長度の高い情報である模様（映像情報）の利用は、時間的に変化する3次元ビデオの圧縮に対しても有効であると期待される。
このように、本研究によって実用的かつ効果的な3次元ビデオの圧縮手法の確立が予想される。先述のとおり、3次元ビデオは次世代映像コンテンツとして社会に広く期待されており、本研究の成果はその普及促進に大きく貢献するものと期待される。
参考文献
Skin-off:Representation and Compression Scheme for 3D Video
Hitoshi Habe, Yosuke Katsura, Takashi Matsuyama, Picture Coding Symposium (PCS) 2004, San Francisco, 2004.12- Skin-off：2次元平面への展開による3 次元ビデオ映像の表現と圧縮
曽良洋介，波部斉，Martin Boehme，松山隆司, FIT2004（第3回情報科学技術フォーラム）情報科学技術レターズ，pp.205--207,2004.9 - Skin-off: テクスチャ指向型２次元平面展開による３次元ビデオの圧縮
波部斉,曽良洋介, 松山隆司, 第１回デジタルシンポジウム, 2005.5