情報通信系 News

明るい環境と高いコントラストを両立するプロジェクションマッピング

投影対象だけを照らさない照明の光線制御で明るい環境を実現

  • RSS

2024.04.03

要点

  • 明るい環境と高いコントラストの投影を両立するプロジェクションマッピングの実現
  • 投影対象だけを照らさない光線制御可能な照明と映像投影を組み合わせたシステムを開発
  • 明るい環境に、プロジェクションマッピングの対象が自然に共存する新たな拡張現実の創出

概要

東京工業大学 工学院 情報通信系の安井雅彦研究員(研究当時)、岩瀧良太大学院生、渡辺義浩准教授(情報通信コース 主担当)、東京理科大学の石川正俊教授らの研究チームは、周囲環境の明るさと高いコントラストの投影を両立するプロジェクションマッピング[用語1]を提案した。

これまでのプロジェクションマッピングは、環境を明るくする照明を併用することが難しかった。これは、環境を明るくする照明の光が投影対象にも照射されることで、マッピングのための投影像のコントラストが低下するためである。照明を使うことができないため、プロジェクタで投影される対象だけが明るく、周囲は暗い環境となる点が問題となっていた。

本研究では、投影対象だけを照らさない照明とプロジェクションマッピングを組み合わせる手法を新たに提案した。本手法では、環境を明るくする照明を、光線[用語2]レベルで調光制御することで、投影対象にだけ光が当たらず、周囲には光が届く状況を作り出す。これによって、高いコントラストのプロジェクションマッピングと、通常の物体が自然に見える明るい環境を両立することができる。これは、視覚強化の機器を装着することのない新たな拡張現実[用語3]の体験を提供するものであり、エンターテインメントや作業支援の分野で役立つ可能性が高い。

本研究成果は、3月6日に論文誌「IEEE Transactions on Visualization and Computer Graphics」に掲載され、3月16日から開催される国際会議「IEEE Conference on Virtual Reality and 3D User Interfaces 2024」で発表された。

本研究で開発した手法の概念図

本研究で開発した手法の概念図

背景

プロジェクションマッピングは、物体表面に映像を投影することで、その外観を変える技術である。特殊な機器を装着することなく、一瞬で目の前の外観を仮想的に塗り替える体験は強力であり、アトラクション、舞台演出、作業支援、教育、化粧の試着まで、さまざまな分野で活用されている。

一方、プロジェクションマッピングは照明で照らした明るい環境において、十分な性能を発揮することができなかった。これは照明の光が周囲の環境だけでなく、投影対象も照らすことで、マッピングのための映像のコントラストが低下するためである(図1)。

図1. (左)通常の照明下で、前面の2体はそれぞれ白とカラフルな模様の外観を持つ。(右)白い物体にのみ、カラフルな模様の外観を持つようにプロジェクションマッピングを適用。しかし、環境を明るくするための照明の光も同物体に当たるため、投影された映像が見えづらくなっている。

  1. 図1.(左)通常の照明下で、前面の2体はそれぞれ白とカラフルな模様の外観を持つ。(右)白い物体にのみ、カラフルな模様の外観を持つようにプロジェクションマッピングを適用。しかし、環境を明るくするための照明の光も同物体に当たるため、投影された映像が見えづらくなっている。

このような事態を避けるため、プロジェクションマッピングでは照明を利用しない構成が一般的であった。結果として、投影された映像は綺麗に見えるが、暗い環境の下で、マッピング対象のみが明るい不自然な外観となっていた(図2)。また、マッピング対象以外の物体が暗闇で見えない点も、応用展開を制限する要因となっていた。このような背景の下、照明下の明るい環境に、プロジェクションマッピングによって外観操作された対象が共存する拡張現実の実現は、新たな目標として注目されている。

図2. 照明を利用しないプロジェクションマッピング。物体の配置や投影像は図1と同様。白い物体の外観を変えることができているが、周囲の環境が暗い点が問題。

  1. 図2.照明を利用しないプロジェクションマッピング。物体の配置や投影像は図1と同様。白い物体の外観を変えることができているが、周囲の環境が暗い点が問題。

研究成果

本研究では、通常のプロジェクションマッピングと光線制御可能な照明を組み合わせる手法を提案した。通常の照明は、環境全体の明るさを調整する自由度しかないが、本照明はさまざまな方向に飛ぶ多数の光線を1本ずつ独立に調光することができる。本手法では、この照明を用いて、プロジェクションマッピングの対象に届く光線をその形に合わせて正確に消灯する。さらに、それ以外の光線を点灯させることで、投影対象だけに照明が当たらず、周囲の環境は自然で明るい状態を再現することができる(図3左)。

この構成下で、投影対象に通常のプロジェクションマッピングを適用すれば、明るい自然な環境を作り出しつつ、高いコントラストでマッピングによる外観操作を実現することができる(図3右)。また、マッピング対象以外の周囲の環境を照らす光は、光線分布を制御することで、プロジェクションマッピングの自在な外観操作に整合するように、さまざまな照明を再現する自由度を備えている。

図3. (左)光線制御可能な照明によって、プロジェクションマッピングの対象にだけ光が当たらない状況を作り出すことができる。同対象以外には、拡散光の照明を生成・照射している。(右)照明の光によって阻害されないため、明るい環境の下でコントラストが低下しないプロジェクションマッピングが実現されている。マッピング対象以外に対しては、照明の下、自然な陰影や影が再現されている。

  1. 図3.(左)光線制御可能な照明によって、プロジェクションマッピングの対象にだけ光が当たらない状況を作り出すことができる。同対象以外には、拡散光の照明を生成・照射している。(右)照明の光によって阻害されないため、明るい環境の下でコントラストが低下しないプロジェクションマッピングが実現されている。マッピング対象以外に対しては、照明の下、自然な陰影や影が再現されている。

特に、このような照明において制御可能な光線の密度を上げるために、レンズアレイ[用語4]ミラーアレイ[用語5]を統合する照明光学系を提案した(図4)。これは、レンズアレイによって生成された光線分布の密度を、万華鏡のような合わせ鏡による複数回反射によって、さらに高める手法である。これによって、さまざまな姿勢や形の対象に対して、その表面に届く光だけを正確にカットすることができる(図5)。また、投影対象の表面全体ではなく、その一部だけに照明の光を当てない応用も可能である(図6)。さらに、光線制御可能な照明は、拡散光の照明から点光源の照明などさまざまな再現が可能であることを示した。これによって、プロジェクションマッピングによる仮想の外観変化と整合する形で、周囲の環境の照明も自由に変えることができる。

図4. (左)システムの全体構成。左から、投影対象、ミラー・レンズアレイ、プロジェクションマッピング用のプロジェクタ、照明用のプロジェクタの順で配置されている。(右)ミラー・レンズアレイの拡大図。

  1. 図4.(左)システムの全体構成。左から、投影対象、ミラー・レンズアレイ、プロジェクションマッピング用のプロジェクタ、照明用のプロジェクタの順で配置されている。(右)ミラー・レンズアレイの拡大図。

図5. (上)通常の照明を照射した様子。(中央)さまざまな姿勢の箱型の対象に対して本手法を適用した結果。(下)中央結果においてプロジェクションマッピングの投影像を消灯した様子。姿勢や形に合わせて、対象表面に届く光だけが正確に除去できている。

  1. 図5.(上)通常の照明を照射した様子。(中央)さまざまな姿勢の箱型の対象に対して本手法を適用した結果。(下)中央結果においてプロジェクションマッピングの投影像を消灯した様子。姿勢や形に合わせて、対象表面に届く光だけが正確に除去できている。

投影対象の一部のみに照明を当てない実験の様子。水玉模様状に照明の光を除去した領域にのみプロジェクションマッピングを適用している。

投影対象の一部のみに照明を当てない実験の様子。水玉模様状に照明の光を除去した領域にのみプロジェクションマッピングを適用している。

投影対象の一部のみに照明を当てない実験の様子。水玉模様状に照明の光を除去した領域にのみプロジェクションマッピングを適用している。

  1. 図6.投影対象の一部のみに照明を当てない実験の様子。水玉模様状に照明の光を除去した領域にのみプロジェクションマッピングを適用している。

社会的インパクト

これまでのプロジェクションマッピングは、暗闇の下で、投影された対象だけが見える特殊な環境の再現に留まっていたため、応用は限定的であった。これに対して、本提案技術は、プロジェクションマッピングされた対象と通常の物体を、明るい環境の下で、違和感なく自然に共存させることができる。これによって、日常的なシーンにプロジェクションマッピングが溶け込んだ世界を創り出すことができると考えられる。例えば、舞台制作やアトラクションの体験向上、衣服や製品のデザイン支援、情報提示による教育支援、化粧の試着、製造業や医療操作の作業支援など、さまざまな社会応用において、視覚的体験の質を高め、創造性や効率性の向上に貢献することが期待される。

今後の展開

本提案では、照明の正確な光線制御に時間を要するため、投影対象が静止している必要があった。今後は、光線制御を高速化する手法を開発することで、対象が運動する場合にも明るいプロジェクションマッピングを実現する予定である。また、システムを拡張し、照明やプロジェクタが投影できる範囲を部屋全体に広げることも視野に入れている。これによって、日常の生活の中で、目の前の物体が、その素材由来の外観なのか、マッピングによって変化した外観なのか、一見見分けがつかないレベルを目指す。

  • 付記

本研究は科学研究費助成事業 学術変革領域研究(A) 20H05959の支援を受けて行われた。

  • 用語説明

[用語1] プロジェクションマッピング : 物体の立体形状に合わせて、プロジェクタで映像投影することで、その外観を仮想的に変える技術。広告、イベント、舞台演出などで活用されている。

[用語2] 光線 : 光が直線的に伝播する際の経路を指す。光源から出た光線は、物体表面で反射・屈折して進む。本研究では、照明を多数の光線の集合とみなして、各光線を制御している。

[用語3] 拡張現実 : 現実空間に仮想情報を重ね合わせて提示する技術。スマートフォン、ヘッドマウントディスプレイ、プロジェクションマッピングなどを利用して実現される。ナビゲーション、教育、エンターテイメント、広告など幅広い用途が期待されている。

[用語4] レンズアレイ : 多数のレンズを規則的なパターンで配置した光学系。複雑な光線の分布を生成することができる。撮影やディスプレイ技術において活用されている。

[用語5] ミラーアレイ : 本研究で提案する、向かい合わせに配置した鏡をアレイ状に並べた光学系。万華鏡のように合わせ鏡による光の反射を利用して、光線分布の密度を上げるために利用した。

  • 論文情報
掲載誌 : IEEE Transactions on Visualization and Computer Graphics
論文タイトル : Projection Mapping with a Brightly Lit Surrounding Using a Mixed Light Field Approach
著者 : Masahiko Yasui, Ryota Iwataki, Masatoshi Ishikawa, and Yoshihiro Watanabe
DOI : 10.1109/TVCG.2024.3372132別窓

関連リンク

工学院

工学院 ―新たな産業と文明を拓く学問―
2016年4月に新たに発足した工学院について紹介します。

工学院別窓

学院・系及びリベラルアーツ研究教育院別窓

お問い合わせ先

東京工業大学 工学院 情報通信系

准教授 渡辺義浩

Email watanabe.y.cl@m.titech.ac.jp
Tel 045-924-5474

  • RSS

ページのトップへ

CLOSE

※ 東工大の教育に関連するWebサイトの構成です。

CLOSE