情報通信系 News

マーカー不要で高度な運動物体への投影が可能な プロジェクションマッピング用高速プロジェクタを開発

可視のRGB画像と不可視のIR画像を個別に同時制御

  • RSS

2021.12.16

要点

  • 約1,000 fpsの高速で、可視の24 bitカラー(RGB)画像と不可視の8 bit赤外(IR)画像を個別に制御しながら、同時に投影可能なプロジェクタを開発
  • 独自開発の光学系によりRGB画像とIR画像の正確な同軸位置合わせを達成
  • 人間には見えない波長域での空間センシングを用い、目に見える映像を素早く制御するプロジェクションマッピングの新たな基盤技術となることが期待される

概要

東京工業大学 工学院 情報通信系の渡辺義浩准教授(情報通信コース 主担当)、東京エレクトロンデバイス株式会社の湯浅剛、Fraunhofer Institute for Applied Optics and Precision Engineering(フラウンホーファー応用光学・精密機械工学研究所)のUwe Lippmann(ウーヴェ リップマン)、ViALUX GmbH(ヴィアラックス)のPetra Aswendt(ペトロ アシュエンド)らの日本・ドイツ国際産学連携チームは、目に見えるカラー画像と、人間の目には見えない赤外線[用語1]を用いた画像を、個別かつ同時に制御しながら超高速で投影できる、プロジェクションマッピング[用語2]用の高速プロジェクタを開発した。

このプロジェクタでは、約1,000 fps[用語3]という非常に高いフレームレート[用語4]で、RGB[用語5]方式 による24 bitの可視カラー画像と、IR[用語6](赤外線)による8 bitの不可視画像を個別かつ同時に制御できる。さらに、独自に開発した光学系システムにより、プロジェクタから投影されたRGB画像とIR画像の正確な同軸位置合わせ[用語7]が達成されている。そのため、目に見えないIR画像を投影してセンシングを行いながら、そのセンシング結果を利用して、目に見えるRGB画像によるディスプレイ映像をリアルタイムで制御していくことができ、動くものを対象としたダイナミックプロジェクションマッピング[用語8]での利用も可能。エンターテイメント、アート、広告などのビジネス分野、さらに作業支援や医療支援など、社会でのプロジェクションマッピングの応用範囲の拡大にもつながる技術として期待される。

この成果は、第28回ディスプレイ国際ワークショップ (28th International Display Workshops)で12月2日に発表された。

背景

凹凸のある壁面、また建物やオブジェといった立体物にプロジェクタを使って映像を投影し、さまざまな視覚効果を実現するプロジェクションマッピングは、東京駅への映像投影による大規模イベントなどで広く知られるようになり、イベントなどのアミューズメント、またコンサートや舞台の演出、企業広告、さらには各種作業支援など多様なシーンで活用されている。

プロジェクションマッピングという言葉は「projection(投影)」と「mapping(位置づけること)」の合成語で、近年の応用では、立体物の形状に合わせて3次元的な補正をかけた映像を、立体物の上に重ね合わせることにより、例えば金属のような質感を持たせる(図1)など、高いリアリティをもって外観を操作することも可能になった。

このように、さまざまな色と形を備えた実世界上の物体に対して、投影する映像があたかもその表面上にあるかのような外観をつくりだすには、センシングによって投影像を立体物に合わせた形で制御する作業が必要となる。そこで求められるのが、(1)対象の形状を捉える、(2)投影用の映像が立体物に上手く重ねて貼り合わせられるよう、対象に合わせた変形・陰影情報を持たせる、(3)映像をプロジェクタで投影するという手順だ。

図1. 近年は立体物の形状に合わせて細かく補正した画像を投影する高度なプロジェクションマッピングにより、高いリアリティをもって外観の印象を操作できるようになっている。動いている物体への投影も可能。しかし、投影対象となる物の位置を把握するため、対象物にマーカーを付ける必要があった。写真(図1a)のウサギの人形表面に見える白い点がマーカー。

図1a

図1. 近年は立体物の形状に合わせて細かく補正した画像を投影する高度なプロジェクションマッピングにより、高いリアリティをもって外観の印象を操作できるようになっている。動いている物体への投影も可能。(写真 図1b)しかし、投影対象となる物の位置を把握するため、対象物にマーカーを付ける必要があった。

図1b

  1. 図1. 近年は立体物の形状に合わせて細かく補正した画像を投影する高度なプロジェクションマッピングにより、高いリアリティをもって外観の印象を操作できるようになっている。写真(図1b)のウサギの人形のように動いている物体への投影も可能。しかし、投影対象となる物の位置を把握するため、対象物にマーカーを付ける必要があった。写真(図1a)のウサギの人形表面に見える白い点がマーカー。

特に、最新の技術として、動いている物体に対してプロジェクションマッピングを行うダイナミックプロジェクションマッピングが注目を集めているが、その実現の決め手になるのがスピードである。

このダイナミックプロジェクションマッピングは、(1)カメラなどで動いている投影対象の位置や形状を認識(センシング)し、(2)捉えた対象物にぴったりと重なり合う変形・陰影情報を持たせた映像をリアルタイムで生成し、(3)刻々と移り変わる対象物の位置に合わせて映像を投影するという手順で行われる。リアリティのある投影を行うには、素早いセンシング、画像生成、投影によって、投影像と運動物体の間のずれを、人間が知覚できない範囲に収めることが重要となる。

そこで従来では対象物を平面に限定したり、センシングを高速化したりするために、図1に示すように対象にマーカーを付けなければならないといった制約があった。

本研究グループではこうした制約を解消するため、プロジェクタを映像提示だけでなく、センシング用途にも併用することに着目。プロジェクタとカメラを連携するセンシングは、強力な役割を果たすことを知られていながら、ダイナミックプロジェクションマッピングでは十分に活用されてこなかった。このようなセンシングを導入し、マーカー不要で、動いている対象にも高度なプロジェクションマッピングが行えるプロジェクタの開発を目指した。

研究の手法と成果

(1)RGB画像とIR画像を同時に、高速で投影できるプロジェクタの考案と設計

プロジェクタとカメラを並べたプロジェクタ・カメラシステム[用語9]は3Dセンシングの基本的な手法であり、プロジェクタで既知のパターンを空間中に投影しながら、その反射像をカメラで撮像することによって、さまざまな空間情報を、マーカーを使わず効率的に取得することができる。

しかし、ダイナミックプロジェクションマッピングにおいては、こうしたセンシングが今まで十分に利用されてこなかった。その理由は、センシングと投影を高速で処理するため、センシング用の投影と映像ディスプレイ用の投影を同時に実施しようとする際に、従来の技術では互いを阻害しない形で実現するのが難しかったためである。

本研究グループでは、センシング用の投影に、人の目では知覚できない赤外線を使ったIR画像を用いることで、この課題が解決できるのではないかと考え、RGB画像とIR画像を同時に、高速で投影できるプロジェクタの設計に取り組んだ。図2が、そのプロジェクタの光学系システムである。

図2. RGB+IR画像を高速で同時に投影する、本プロジェクタの光学系システム

  1. 図2. RGB+IR画像を高速で同時に投影する、本プロジェクタの光学系システム

同プロジェクタは、DLP®(Digital Light Processing)[用語10]投影方式を用いた、DLP®デジタルマイクロミラーデバイス[用語11]を2基搭載しており、各デバイスにはそれぞれ1,024×768個の鏡を使用している。これらのデバイスにより、24 bitのRGB画像と8 bitのIR画像を、同時に制御することができるようにした。さらに、RGB画像とIR画像の照明光学系を分離し、デジタルマイクロミラーデバイスの反射後に像を統合することによって、コンパクトな構成と高輝度の投影を達成した。

図3. 今回新たに開発した高速RGB+IRプロジェクタ。46 cm×28 cmのコンパクトなボディに、RGB画像とIR画像の同時投影に必要なデバイスが搭載されている。

  1. 図3.  今回新たに開発した高速RGB+IRプロジェクタ。46 cm×28 cmのコンパクトなボディに、RGB画像とIR画像の同時投影に必要なデバイスが搭載されている。

(2)RGB画像とIR画像の同軸位置合わせ技術の新規開発と、高速投影を可能にする技術の開発

プロジェクタの応用展開を踏まえた場合、2種の別々のデバイスから生成されたRGB画像とIR画像を高い精度で重ね合わせる必要がある。そこで本研究では、両画像を重ね合わせる同軸位置合わせのシステム開発に取り組み、本プロジェクタに組み込まれる光源やデジタルマイクロミラーデバイスに最適化された光学系を独自に設計することによりこれを達成。RGB画像とIR画像を、ほぼずれることなく投影できるようにした。

また、応用展開に必須のスピード化を実現するため、超高速のデジタルマイクロミラーデバイスの制御と光源の変調を高精度に連携させ、最大925 fpsまでの高フレームレート投影を実現。さらに独自の通信インタフェースにより、映像データの転送も高速化し、わずか数ミリ秒でコンピュータからプロジェクタへの映像転送から投影までを完了することができるようにした。

(3)開発プロジェクタを使った投影と機能検証

最後に、開発プロジェクタを用いた投影と、機能検証を行った。

図4は、本プロジェクタを用い、立体物にRGB画像とIR画像の投影を同時に行った結果を撮影した写真である。図4bの写真は人間の目では知覚できないIR画像は感知せずにRGB画像のみを捉えるカメラで撮影したもので、実際の人間の目にも同じような映像が見えることとなる。しかし実際は、図4cのIR画像のみを感知するカメラが撮影した写真のように、IR画像の投影が行われており、その投影結果をプロジェクタに搭載されたカメラで撮影することによって、マーカーを使わずにセンシングが行えるようになっている。

本プロジェクタによる画像投影を行った立体物(図4a)
図4a

本プロジェクタによる画像投影を行った立体物にRGB画像とIR画像を同時に投影しながら、RGB画像のみを撮像可能なカメラで撮影した写真(図4b)
図4b

本プロジェクタによる画像投影を行った立体物にRGB画像とIR画像を同時に投影しながら、IR画像のみを撮像可能なカメラで撮影した写真(図4c)
図4c

  1. 図4. 本プロジェクタによる画像投影を行った立体物(図4a )と、同立体物にRGB画像とIR画像を同時に投影しながら、それぞれRGB画像のみを撮像可能なカメラで撮影した写真(図4b)、およびIR画像のみを撮像可能なカメラで撮影した写真(図4c )。

図5は、本プロジェクタを用い、人の目に見えるRGB画像と目に見えないIR画像として、格子状をしたチェスボードのパターンを同時に投影し、RGB画像とIR画像の双方を撮影できるカメラで捉えた写真である。

14倍に拡大した右の写真を見てもずれはごくわずかで、2枚のチェスボードのパターンを、高精度で重ね合わせながら投影できていることが確認できる。

図5. 同じチェスボードのパターンのRGB画像とIR画像を同時に投影した結果を捉えた写真(左)。右は写真の一部を14倍に拡大したもので、2枚のチェスボードのパターンが、ほぼずれることなく投影できていることが分かる。

  1. 図5.  同じチェスボードのパターンのRGB画像とIR画像を同時に投影した結果を捉えた写真(左)。右は写真の一部を14倍に拡大したもので、2枚のチェスボードのパターンが、ほぼずれることなく投影できていることが分かる。

図6. RGB画像とIR画像を、本プロジェクタを用いてスクリーン上に925 fpsで投影している様子。右側のモニタ上には、RGB画像のみを捉えるカメラで撮影した投影像(モニタ内右)と、IR画像のみを捉えるカメラで撮影した投影像(モニタ内左)が表示されている。このように、スクリーンには2種類の画像が投影されているが、IR画像は人間には見えないため、この不可視の投影像を空間センシングに利用することができる。

  1. 図6. RGB画像とIR画像を、本プロジェクタを用いてスクリーン上に925 fpsで投影している様子。右側のモニタ上には、RGB画像のみを捉えるカメラで撮影した投影像(モニタ内右)と、IR画像のみを捉えるカメラで撮影した投影像(モニタ内左)が表示されている。このように、スクリーンには2種類の画像が投影されているが、IR画像は人間には見えないため、この不可視の投影像を空間センシングに利用することができる。

以上で示したように、本プロジェクタではRGB画像とIR画像を、高速に、重ね合わせながら投影することに成功した。その結果、目に見えない赤外線によるIR画像を使ったプロジェクタ・カメラシステムによるセンシングを行いながら、その結果に基づいた目に見えるRGB画像の制御が行えるようになった。

今後の展開

センシングのための投影映像とディスプレイのための投影映像を赤外域のIR画像と可視域のRGB画像に分けながら、両者を互いに阻害しない形で同時かつ高速に実行することができる本プロジェクタの最初の応用事例として、ダイナミックプロジェクションマッピングへの導入を検討している。

これまでのダイナミックプロジェクションマッピングでは、マーカーが付けられた対象物しか外観を変えられないなどの制約があったが、そうした制約を打破することで、応用範囲が広がることが期待できる。

また、プロジェクタ・カメラによるセンシングは、さまざまな空間・物理情報の取得に利用可能であるため、プロジェクションマッピングのさらなる強化も今後の展開として目論んでいる。

さらに応用分野として、エンターテイメントやアート、広告やファッションなどのビジネス分野、拡張現実分野、作業支援や医療支援など、幅広い社会実装にも着手していく予定である。

  • 付記

本研究成果は、日本のJST SICORP JPMJSC1808とドイツのBMBF 01DR18009A and 9Bの支援のもとで行われた。

  • 用語説明

[用語1] 赤外線 : 可視光線よりも長い波長を持ち、人間の目では見ることができない光線(電磁波)。

[用語2] プロジェクションマッピング(projection mapping) : 凹凸のある壁面、また建物やオブジェといった立体物にプロジェクタを使って映像を投影する技法。「projection(投影)」と「mapping(位置づけること)」の合成語。投影対象となる立体物に合わせ、投影画像をあらかじめ変形して投影することで対象物と投影像をぴったり重ね合わせるなどして、実世界の対象の外観を変容することもできる。

[用語3] fps(frame per second) : 日本語に訳せば、「1秒あたりのコマ数」。フレームレート(用語4)を表す単位。

[用語4] フレームレート : 動画などにおいて、1秒間あたりに何コマ(frame)を表示できるかを示す画面表示速度のこと。fps(frame per second)(用語3)という単位で表す。映画では24 fps、テレビでは30 fpsが多い。

[用語5] RGB(Red-Green-Blue color model) : 光の三原色である赤(Red)、緑(Green)、青(Blue)を混色し、その配合比率を変えることによって、さまざまな色を映し出す色の表現方法の一種。コンピュータやカラーテレビなどで画像を出力するのに用いられている。

[用語6] IR : 英語の「infrared(赤外線の)」「infrared ray(赤外線)」「infrared radiation(赤外線放射)」などを表す略語。

[用語7] 同軸位置合わせ : 異なる光学系から生成された2つ以上の画像の投影方向と投影範囲が完全に一致するように合わせること。

[用語8] ダイナミックプロジェクションマッピング : 変形したり動いたりしているものを対象として行われるプロジェクションマッピング。対象と投影像の間でずれが生じないようにするためには、高速でのセンシングと投影が必須となる。上記の今後の展開で述べられたマーカーレスの手法として、本研究チームが提案したDepth-aware dynamic projection mapping(※)がある。
(※)参考:渡辺研究室「高速RGB・IRプロジェクタを用いた深度情報に基づくダイナミックプロジェクションマッピング」別窓

[用語9] プロジェクタ・カメラシステム : プロジェクタを使って既知のパターンを空間中に投影しながら、カメラで撮影したその反射像を分析することによって、立体物のセンシングを行うシステム。

[用語10] DLP®(Digital Light Processing) : アルミニウム製の小さな鏡を縦横の列状に並べ、それぞれの鏡の傾きを個別に制御することによって、投影画像を変化させるテキサス・インスツルメンツ社の技術。

[用語11] DLP®デジタルマイクロミラーデバイス : DLP®(用語10)技術を用いた映像投影用のデバイス。縦横の列状に並んだアルミニウム製の小さな鏡を個別制御して投影画像を変化させることができる。

  • 発表情報
発表会議 :
the 28th International Display Workshops, 2021.別窓
発表タイトル :
High-Speed RGB+IR Projector based on Coaxial Optical Design with Two Digital Mirror Devices
著者 :
Uwe Lippmann, Petra Aswendt, Roland Höfling, Kiwamu Sumino, Kunihiro Ueda, Yoshihide Ono, Hidenori Kasebe, Tohru Yamashita, Takeshi Yuasa, Yoshihiro Watanabe
工学院

工学院 ―新たな産業と文明を拓く学問―
2016年4月に新たに発足した工学院について紹介します。

工学院別窓

学院・系及びリベラルアーツ研究教育院別窓

お問い合わせ先

東京工業大学 工学院 情報通信系

准教授 渡辺義浩

E-mail : watanabe.y.cl@m.titech.ac.jp
Tel : 045-924-5474

  • RSS

ページのトップへ

CLOSE

※ 東工大の教育に関連するWebサイトの構成です。

CLOSE