明るい環境と高いコントラストを両立するプロジェクションマッピング

東京工業大学 工学院 情報通信系の安井雅彦研究員（研究当時）、岩瀧良太大学院生、渡辺義浩准教授（情報通信コース 主担当）、東京理科大学の石川正俊教授らの研究チームは、周囲環境の明るさと高いコントラストの投影を両立するプロジェクションマッピング^[用語1]を提案した。

これまでのプロジェクションマッピングは、環境を明るくする照明を併用することが難しかった。これは、環境を明るくする照明の光が投影対象にも照射されることで、マッピングのための投影像のコントラストが低下するためである。照明を使うことができないため、プロジェクタで投影される対象だけが明るく、周囲は暗い環境となる点が問題となっていた。

本研究では、投影対象だけを照らさない照明とプロジェクションマッピングを組み合わせる手法を新たに提案した。本手法では、環境を明るくする照明を、光線^[用語2]レベルで調光制御することで、投影対象にだけ光が当たらず、周囲には光が届く状況を作り出す。これによって、高いコントラストのプロジェクションマッピングと、通常の物体が自然に見える明るい環境を両立することができる。これは、視覚強化の機器を装着することのない新たな拡張現実^[用語3]の体験を提供するものであり、エンターテインメントや作業支援の分野で役立つ可能性が高い。

本研究成果は、3月6日に論文誌「IEEE Transactions on Visualization and Computer Graphics」に掲載され、3月16日から開催される国際会議「IEEE Conference on Virtual Reality and 3D User Interfaces 2024」で発表された。

プロジェクションマッピングは、物体表面に映像を投影することで、その外観を変える技術である。特殊な機器を装着することなく、一瞬で目の前の外観を仮想的に塗り替える体験は強力であり、アトラクション、舞台演出、作業支援、教育、化粧の試着まで、さまざまな分野で活用されている。

一方、プロジェクションマッピングは照明で照らした明るい環境において、十分な性能を発揮することができなかった。これは照明の光が周囲の環境だけでなく、投影対象も照らすことで、マッピングのための映像のコントラストが低下するためである（図1）。

1. 図1.（左）通常の照明下で、前面の2体はそれぞれ白とカラフルな模様の外観を持つ。（右）白い物体にのみ、カラフルな模様の外観を持つようにプロジェクションマッピングを適用。しかし、環境を明るくするための照明の光も同物体に当たるため、投影された映像が見えづらくなっている。

このような事態を避けるため、プロジェクションマッピングでは照明を利用しない構成が一般的であった。結果として、投影された映像は綺麗に見えるが、暗い環境の下で、マッピング対象のみが明るい不自然な外観となっていた（図2）。また、マッピング対象以外の物体が暗闇で見えない点も、応用展開を制限する要因となっていた。このような背景の下、照明下の明るい環境に、プロジェクションマッピングによって外観操作された対象が共存する拡張現実の実現は、新たな目標として注目されている。

1. 図2.照明を利用しないプロジェクションマッピング。物体の配置や投影像は図1と同様。白い物体の外観を変えることができているが、周囲の環境が暗い点が問題。

本研究では、通常のプロジェクションマッピングと光線制御可能な照明を組み合わせる手法を提案した。通常の照明は、環境全体の明るさを調整する自由度しかないが、本照明はさまざまな方向に飛ぶ多数の光線を1本ずつ独立に調光することができる。本手法では、この照明を用いて、プロジェクションマッピングの対象に届く光線をその形に合わせて正確に消灯する。さらに、それ以外の光線を点灯させることで、投影対象だけに照明が当たらず、周囲の環境は自然で明るい状態を再現することができる（図3左）。

この構成下で、投影対象に通常のプロジェクションマッピングを適用すれば、明るい自然な環境を作り出しつつ、高いコントラストでマッピングによる外観操作を実現することができる（図3右）。また、マッピング対象以外の周囲の環境を照らす光は、光線分布を制御することで、プロジェクションマッピングの自在な外観操作に整合するように、さまざまな照明を再現する自由度を備えている。

1. 図3.（左）光線制御可能な照明によって、プロジェクションマッピングの対象にだけ光が当たらない状況を作り出すことができる。同対象以外には、拡散光の照明を生成・照射している。（右）照明の光によって阻害されないため、明るい環境の下でコントラストが低下しないプロジェクションマッピングが実現されている。マッピング対象以外に対しては、照明の下、自然な陰影や影が再現されている。

特に、このような照明において制御可能な光線の密度を上げるために、レンズアレイ^[用語4]とミラーアレイ^[用語5]を統合する照明光学系を提案した（図4）。これは、レンズアレイによって生成された光線分布の密度を、万華鏡のような合わせ鏡による複数回反射によって、さらに高める手法である。これによって、さまざまな姿勢や形の対象に対して、その表面に届く光だけを正確にカットすることができる（図5）。また、投影対象の表面全体ではなく、その一部だけに照明の光を当てない応用も可能である（図6）。さらに、光線制御可能な照明は、拡散光の照明から点光源の照明などさまざまな再現が可能であることを示した。これによって、プロジェクションマッピングによる仮想の外観変化と整合する形で、周囲の環境の照明も自由に変えることができる。

1. 図4.（左）システムの全体構成。左から、投影対象、ミラー・レンズアレイ、プロジェクションマッピング用のプロジェクタ、照明用のプロジェクタの順で配置されている。（右）ミラー・レンズアレイの拡大図。

1. 図5.（上）通常の照明を照射した様子。（中央）さまざまな姿勢の箱型の対象に対して本手法を適用した結果。（下）中央結果においてプロジェクションマッピングの投影像を消灯した様子。姿勢や形に合わせて、対象表面に届く光だけが正確に除去できている。

1. 図6.投影対象の一部のみに照明を当てない実験の様子。水玉模様状に照明の光を除去した領域にのみプロジェクションマッピングを適用している。

これまでのプロジェクションマッピングは、暗闇の下で、投影された対象だけが見える特殊な環境の再現に留まっていたため、応用は限定的であった。これに対して、本提案技術は、プロジェクションマッピングされた対象と通常の物体を、明るい環境の下で、違和感なく自然に共存させることができる。これによって、日常的なシーンにプロジェクションマッピングが溶け込んだ世界を創り出すことができると考えられる。例えば、舞台制作やアトラクションの体験向上、衣服や製品のデザイン支援、情報提示による教育支援、化粧の試着、製造業や医療操作の作業支援など、さまざまな社会応用において、視覚的体験の質を高め、創造性や効率性の向上に貢献することが期待される。

本提案では、照明の正確な光線制御に時間を要するため、投影対象が静止している必要があった。今後は、光線制御を高速化する手法を開発することで、対象が運動する場合にも明るいプロジェクションマッピングを実現する予定である。また、システムを拡張し、照明やプロジェクタが投影できる範囲を部屋全体に広げることも視野に入れている。これによって、日常の生活の中で、目の前の物体が、その素材由来の外観なのか、マッピングによって変化した外観なのか、一見見分けがつかないレベルを目指す。

• 付記

• 用語説明

• 論文情報

掲載誌 :	IEEE Transactions on Visualization and Computer Graphics
論文タイトル :	Projection Mapping with a Brightly Lit Surrounding Using a Mixed Light Field Approach
著者 :	Masahiko Yasui, Ryota Iwataki, Masatoshi Ishikawa, and Yoshihiro Watanabe
DOI :	10.1109/TVCG.2024.3372132