研究代表者およびサブリーダは、ここ数年間に渡り、大仏等の大型物体やダンスをする人間の動作を３次元デジタル化するためのコンピュータビジョン技術に関する基礎研究を行い、次項で述べる多くの独創的技術・手法を開発してきた。本研究開発では、これまでに得られた技術を拡張・発展させ、従来は困難であった大仏殿などの大型有形文化財および能や日本舞踊などの無形文化財を高精度に３次元デジタル化するためのソフトウェアを開発しようとするものである。

無形文化財の高精度デジタル化ソフトウェアの開発 : 京都大学　松山隆司

研究代表者は、ネットワーク結合された多数の首振りカメラ群を用いたリアルタイム人物追跡（分散協調視覚システム）や人物の実写３次元映像（３次元ビデオ）撮影技術の開発を進めてきた。本サブテーマでは、これまでの基礎研究で得られた成果を基に、能や日本舞踊など広い空間で複数の人間によって行われる無形文化財を高精度に３次元デジタル化するためのソフトウェアを開発する。

1. ３次元形状精度の向上

   これまではｃｍレベルであった３次元形状モデルの精度を、ｍｍレベルに向上させるための高精度３次元形状取得アルゴリズムおよびシステムを開発する。

2. 計算速度の向上

   無形文化財のデジタル化では、従来１０フレーム／秒程度であった３次元形状計測速度をビデオレート（３０フレーム／秒）に向上させる。

3. 画質の飛躍的向上

   センサー間の精密位置関係推定法を確立することで画像間の位置ずれ精度を向上させるとともに、対象表面特性の分析技術や照明環境の推定技術を開発し、表面色・模様・肌理の高精度再現を目指す。

4. 同時撮影人物の複数化・撮影範囲の広域化

   能や日本舞踊などの無形文化財のデジタル化では、広い舞台（１０ｍ〜２０ｍ四方）で踊る複数人物の動作を同時に３次元デジタル化する必要があり、そのためのシステム開発を行う。

5. 高効率符号化・編集・表示機能の実現

   無形文化財の膨大なデータを圧縮するための高能率符号化、３次元映像の多機能編集を開発する。

大型有形文化財の高精度デジタル化ソフトウェアの開発 : 東京大学　池内克史

サブリーダは、距離センサーやテレビカメラから得られるデジタルデータを用いて３次元形状・色彩モデルを得る技術を開発してきた。本提案では、これらの基本技術をもとに、従来法に比して1000倍近い速度向上や100倍程度のデータ量が扱えるソフトウェア群を開発し、これにより数100ｍ近い大型有形文化財を数ミリ程度の精度でモデル化が行えるソフトウェア群を開発することを目的とする。基本的なソフトウェア群の構成を図３に示す。幾何形状を得る一連のソフトウェア群では、まず距離センサーを利用して各種の方向から距離画像を取得する。次に、位置あわせ処理を行うソフトウェアを用いて、これらの距離画像間の位置関係を決定する。次に、統合処理を行うソフトウェアにより、これらのデータを繋ぎ合わせ形状を現すメッシュデータを得る。一方、光学モデル化では、カラー画像から太陽光の影響を除去したり、反射特性を推定する処理を行う。処理された不変画像と距離画像の相対関係を得ることで、光学情報データを形状データの上に貼り合わせる。さらに任意光源下でリライトをおこなうことで最終的な見えの表示ができる。

1. 処理可能データ処理量の飛躍的向上

   これまではGB程度であった処理可能なデータ量をTBレベルのデータが扱えるシステムを開発する。

2. 計算速度の向上

   大型有形文化財のデジタル化では、従来手法の５００〜１０００倍程度高速な処理ソフトウェアを開発する。

3. 画質の飛躍的向上

   センサー間の精密位置関係推定法を確立することで画像間の位置ずれ精度を向上させるとともに、対象表面特性の分析技術や照明環境の推定技術を開発し、表面色・模様・肌理の高精度再現を目指す。

4. 高効率符号化・編集・表示機能の実現

   大型有形の膨大なデータを圧縮するための立体ディスプレイや階層表現法などを使った、高臨場感表示ソフトウェアを開発する。