東京工業大学とNEC、AIで悪条件下の視認性を格段に向上する「マルチモーダル画像融合技術」を共同開発

背景

近年、画像センサの技術的な進化や低コスト化を背景に、熱を捉えるサーモカメラや物体の内部を捉えるX線・テラヘルツ波・ミリ波のカメラなどの非可視光カメラを活用し、夜間や濃霧などの悪天候、または逆光や遮蔽などの悪条件下でも、監視や診断を行う用途が広まりつつあります。しかし、これら非可視光カメラは、可視光に比べ解像度や画質が低く、視認性が悪いため、可視光カメラを併設し、両方の画像を見比べながら監視や診断を行う必要があり、素早く正確に対象物や状況を判断することが困難でした。この解決には、二種類の画像を一つに合成することが有効な手段のひとつですが、従来は、カメラの種類や撮影環境に精通した専門家が手動により、それぞれの画像から合成に適した場所を抽出し、白とびや黒潰れ、ノイズ強調などの画像破たんが生じないように注意を払いながら、複雑な画像合成作業を行う必要がありました。さらに、非可視光画像に含まれる、異常や危険物の有無を判断する手がかりとなるわずかな特徴が、合成により失われる点も課題でした。

東京工業大学とNECは、専門家の変換ノウハウを学習したAIを用いて、可視光カメラと非可視光カメラの画像を自動的かつ効果的に統合し、対象物・状況の視認性を格段に高め、劣悪な環境でも素早く異常や危険物の有無の判断を可能とする「マルチモーダル画像融合技術」を共同開発しました。

図1. 本技術における適用例^※2

新技術の特長

• 複数の画像から視認性が高い部分をAIが自動的に選択し、かつ非可視光画像に含まれるわずかな特徴を強調しながら合成することで、従来の限界を打ち破る高い視認性を実現
• サーモカメラやテラヘルツカメラといったカメラの種類や、環境の特性（明るさ、光線の方向、障害物の有無など）に応じて、AIが画像内の各部分の視認性の度合いを評価、各画像から最適な領域のみを自動的に抽出
• さらに、非可視カメラの画像中の、異常や危険物などに関するわずかな特徴をAIが解析し、白とびや黒潰れなどの画像破たんが生じない、適切な強調の度合いを判断しながら、従来にない高い視認性を持つマルチモーダル（可視―非可視）な融合画像を自動的に生成

東京工業大学とNECは、本技術を6月7日（水）から9日（金）まで、パシフィコ横浜（横浜市西区）にて開催される「第23回画像センシングシンポジウム 2017（主催：画像センシング技術研究会）」において、6月7日に発表する予定です。

※1 マルチモーダル : 複数の様式、モード。本発表では、可視カメラの画像と赤外線カメラのような非可視カメラの画像など、異なる画像様式のこと。

※2 革新的研究開発推進プログラム（ImPACT）タフ・ロボティクス・チャレンジにおける悪環境模擬装置について許諾を得て使用。