マーカー不要で高度な運動物体への投影が可能な プロジェクションマッピング用高速プロジェクタを開発 可視のRGB画像と不可視のIR画像を個別に同時制御

東京工業大学 工学院 情報通信系の渡辺義浩准教授、東京エレクトロンデバイス株式会社の湯浅剛、Fraunhofer Institute for Applied Optics and Precision Engineering（フラウンホーファー応用光学・精密機械工学研究所）のUwe Lippmann（ウーヴェ リップマン）、ViALUX GmbH（ヴィアラックス）のPetra Aswendt（ペトロ アシュエンド）らの日本・ドイツ国際産学連携チームは、目に見えるカラー画像と、人間の目には見えない赤外線^[用語1]を用いた画像を、個別かつ同時に制御しながら超高速で投影できる、プロジェクションマッピング^[用語2]用の高速プロジェクタを開発した。

このプロジェクタでは、約1,000 fps^[用語3]という非常に高いフレームレート^[用語4]で、RGB^[用語5]方式 による24 bitの可視カラー画像と、IR^[用語6]（赤外線）による8 bitの不可視画像を個別かつ同時に制御できる。さらに、独自に開発した光学系システムにより、プロジェクタから投影されたRGB画像とIR画像の正確な同軸位置合わせ^[用語7]が達成されている。そのため、目に見えないIR画像を投影してセンシングを行いながら、そのセンシング結果を利用して、目に見えるRGB画像によるディスプレイ映像をリアルタイムで制御していくことができ、動くものを対象としたダイナミックプロジェクションマッピング^[用語8]での利用も可能。エンターテイメント、アート、広告などのビジネス分野、さらに作業支援や医療支援など、社会でのプロジェクションマッピングの応用範囲の拡大にもつながる技術として期待される。

この成果は、第28回ディスプレイ国際ワークショップ （28th International Display Workshops）で12月2日に発表された。

凹凸のある壁面、また建物やオブジェといった立体物にプロジェクタを使って映像を投影し、さまざまな視覚効果を実現するプロジェクションマッピングは、東京駅への映像投影による大規模イベントなどで広く知られるようになり、イベントなどのアミューズメント、またコンサートや舞台の演出、企業広告、さらには各種作業支援など多様なシーンで活用されている。

プロジェクションマッピングという言葉は「projection（投影）」と「mapping（位置づけること）」の合成語で、近年の応用では、立体物の形状に合わせて3次元的な補正をかけた映像を、立体物の上に重ね合わせることにより、例えば金属のような質感を持たせる（図1）など、高いリアリティをもって外観を操作することも可能になった。

このように、さまざまな色と形を備えた実世界上の物体に対して、投影する映像があたかもその表面上にあるかのような外観をつくりだすには、センシングによって投影像を立体物に合わせた形で制御する作業が必要となる。そこで求められるのが、（1）対象の形状を捉える、（2）投影用の映像が立体物に上手く重ねて貼り合わせられるよう、対象に合わせた変形・陰影情報を持たせる、（3）映像をプロジェクタで投影するという手順だ。

図1.

近年は立体物の形状に合わせて細かく補正した画像を投影する高度なプロジェクションマッピングにより、高いリアリティをもって外観の印象を操作できるようになっている。右側下写真のウサギの人形のように動いている物体への投影も可能。しかし、投影対象となる物の位置を把握するため、対象物にマーカーを付ける必要があった。左側上写真のウサギの人形表面に見える白い点がマーカー。

特に、最新の技術として、動いている物体に対してプロジェクションマッピングを行うダイナミックプロジェクションマッピングが注目を集めているが、その実現の決め手になるのがスピードである。

このダイナミックプロジェクションマッピングは、（1）カメラなどで動いている投影対象の位置や形状を認識（センシング）し、（2）捉えた対象物にぴったりと重なり合う変形・陰影情報を持たせた映像をリアルタイムで生成し、（3）刻々と移り変わる対象物の位置に合わせて映像を投影するという手順で行われる。リアリティのある投影を行うには、素早いセンシング、画像生成、投影によって、投影像と運動物体の間のずれを、人間が知覚できない範囲に収めることが重要となる。

そこで従来では対象物を平面に限定したり、センシングを高速化したりするために、図1に示すように対象にマーカーを付けなければならないといった制約があった。

本研究グループではこうした制約を解消するため、プロジェクタを映像提示だけでなく、センシング用途にも併用することに着目。プロジェクタとカメラを連携するセンシングは、強力な役割を果たすことを知られていながら、ダイナミックプロジェクションマッピングでは十分に活用されてこなかった。このようなセンシングを導入し、マーカー不要で、動いている対象にも高度なプロジェクションマッピングが行えるプロジェクタの開発を目指した。

プロジェクタとカメラを並べたプロジェクタ・カメラシステム^[用語9]は3Dセンシングの基本的な手法であり、プロジェクタで既知のパターンを空間中に投影しながら、その反射像をカメラで撮像することによって、さまざまな空間情報を、マーカーを使わず効率的に取得することができる。

しかし、ダイナミックプロジェクションマッピングにおいては、こうしたセンシングが今まで十分に利用されてこなかった。その理由は、センシングと投影を高速で処理するため、センシング用の投影と映像ディスプレイ用の投影を同時に実施しようとする際に、従来の技術では互いを阻害しない形で実現するのが難しかったためである。

本研究グループでは、センシング用の投影に、人の目では知覚できない赤外線を使ったIR画像を用いることで、この課題が解決できるのではないかと考え、RGB画像とIR画像を同時に、高速で投影できるプロジェクタの設計に取り組んだ。図2が、そのプロジェクタの光学系システムである。

図2.

RGB+IR画像を高速で同時に投影する、本プロジェクタの光学系システム

同プロジェクタは、DLP®（Digital Light Processing）^[用語10]投影方式を用いた、DLP®デジタルマイクロミラーデバイス^[用語11]を2基搭載しており、各デバイスにはそれぞれ1,024×768個の鏡を使用している。これらのデバイスにより、24 bitのRGB画像と8 bitのIR画像を、同時に制御することができるようにした。さらに、RGB画像とIR画像の照明光学系を分離し、デジタルマイクロミラーデバイスの反射後に像を統合することによって、コンパクトな構成と高輝度の投影を達成した。

図3.

今回新たに開発した高速RGB+IRプロジェクタ。46 cm×28 cmのコンパクトなボディに、RGB画像とIR画像の同時投影に必要なデバイスが搭載されている。

プロジェクタの応用展開を踏まえた場合、2種の別々のデバイスから生成されたRGB画像とIR画像を高い精度で重ね合わせる必要がある。そこで本研究では、両画像を重ね合わせる同軸位置合わせのシステム開発に取り組み、本プロジェクタに組み込まれる光源やデジタルマイクロミラーデバイスに最適化された光学系を独自に設計することによりこれを達成。RGB画像とIR画像を、ほぼずれることなく投影できるようにした。

また、応用展開に必須のスピード化を実現するため、超高速のデジタルマイクロミラーデバイスの制御と光源の変調を高精度に連携させ、最大925 fpsまでの高フレームレート投影を実現。さらに独自の通信インタフェースにより、映像データの転送も高速化し、わずか数ミリ秒でコンピュータからプロジェクタへの映像転送から投影までを完了することができるようにした。

最後に、開発プロジェクタを用いた投影と、機能検証を行った。

図4は、本プロジェクタを用い、立体物にRGB画像とIR画像の投影を同時に行った結果を撮影した写真である。中央の写真は人間の目では知覚できないIR画像は感知せずにRGB画像のみを捉えるカメラで撮影したもので、実際の人間の目にも同じような映像が見えることとなる。しかし実際は、右側のIR画像のみを感知するカメラが撮影した写真のように、IR画像の投影が行われており、その投影結果をプロジェクタに搭載されたカメラで撮影することによって、マーカーを使わずにセンシングが行えるようになっている。

図4.

本プロジェクタによる画像投影を行った立体物（左上）と、同立体物にRGB画像とIR画像を同時に投影しながら、それぞれRGB画像のみを撮像可能なカメラで撮影した写真（中央）、およびIR画像のみを撮像可能なカメラで撮影した写真（右下）。

図5は、本プロジェクタを用い、人の目に見えるRGB画像と目に見えないIR画像として、格子状をしたチェスボードのパターンを同時に投影し、RGB画像とIR画像の双方を撮影できるカメラで捉えた写真である。

14倍に拡大した右の写真を見てもずれはごくわずかで、2枚のチェスボードのパターンを、高精度で重ね合わせながら投影できていることが確認できる。

図5.

同じチェスボードのパターンのRGB画像とIR画像を同時に投影した結果を捉えた写真（左）。右は写真の一部を14倍に拡大したもので、2枚のチェスボードのパターンが、ほぼずれることなく投影できていることが分かる。

図6.

RGB画像とIR画像を、本プロジェクタを用いてスクリーン上に925 fpsで投影している様子。右側のモニタ上には、RGB画像のみを捉えるカメラで撮影した投影像（モニタ内右）と、IR画像のみを捉えるカメラで撮影した投影像（モニタ内左）が表示されている。このように、スクリーンには2種類の画像が投影されているが、IR画像は人間には見えないため、この不可視の投影像を空間センシングに利用することができる。

以上で示したように、本プロジェクタではRGB画像とIR画像を、高速に、重ね合わせながら投影することに成功した。その結果、目に見えない赤外線によるIR画像を使ったプロジェクタ・カメラシステムによるセンシングを行いながら、その結果に基づいた目に見えるRGB画像の制御が行えるようになった。

センシングのための投影映像とディスプレイのための投影映像を赤外域のIR画像と可視域のRGB画像に分けながら、両者を互いに阻害しない形で同時かつ高速に実行することができる本プロジェクタの最初の応用事例として、ダイナミックプロジェクションマッピングへの導入を検討している。

これまでのダイナミックプロジェクションマッピングでは、マーカーが付けられた対象物しか外観を変えられないなどの制約があったが、そうした制約を打破することで、応用範囲が広がることが期待できる。

また、プロジェクタ・カメラによるセンシングは、さまざまな空間・物理情報の取得に利用可能であるため、プロジェクションマッピングのさらなる強化も今後の展開として目論んでいる。

さらに応用分野として、エンターテイメントやアート、広告やファッションなどのビジネス分野、拡張現実分野、作業支援や医療支援など、幅広い社会実装にも着手していく予定である。