東京工業大学とNEC、AIで悪条件下の視認性を格段に向上する「マルチモーダル画像融合技術」を共同開発

東京工業大学とNEC、AIで悪条件下の視認性を格段に向上する「マルチモーダル画像融合技術」を共同開発
―可視光と非可視光の画像を自動で合成―

国立大学法人東京工業大学 工学院 奥富正敏教授、田中正行特定准教授らの研究グループ（以下、東京工業大学）とNECは、一般カメラで撮影した可視光画像と、熱をとらえるサーモカメラなどで撮影した非可視光画像を、AIを用いて自動的かつ効果的に合成し、それぞれの画像単独では捉えにくかった対象物・状況の視認性を格段に高める「マルチモーダル^※1画像融合技術」を共同開発しました。

本技術により、瞬時の視認が必要となる様々な分野で、悪条件下でも正しい状況判断が可能になります。例えば、夜間や濃霧などの悪天候下でも活用可能な施設監視、対向車の眩しいヘッドライトや暗闇による死角があっても運用できる自動運転支援、建物のひび割れなど表面だけでなく内部の異常まで検査可能にするインフラ点検などです。

従来、異なる種類のカメラの画像を合成するには、専門家による手動での複雑な変換作業が必要でした。本技術は、それぞれのカメラから得られた画像をAIによって、効果的かつ自動的に合成することでこの手作業を不要にします。さらに、可視光画像と非可視光画像のそれぞれの長所を積極的に活用することで、従来は視覚化が困難だったシーンでも高い視認性が得られます。

東京工業大学とNECは、今後も産学連携の仕組みを通じて、さまざまな社会インフラを安全・安心に運用するセーフティ事業の鍵となる画像処理ならびにAI関連技術の研究開発を進めていきます。

背景

近年、画像センサの技術的な進化や低コスト化を背景に、熱を捉えるサーモカメラや物体の内部を捉えるX線・テラヘルツ波・ミリ波のカメラなどの非可視光カメラを活用し、夜間や濃霧などの悪天候、または逆光や遮蔽などの悪条件下でも、監視や診断を行う用途が広まりつつあります。しかし、これら非可視光カメラは、可視光に比べ解像度や画質が低く、視認性が悪いため、可視光カメラを併設し、両方の画像を見比べながら監視や診断を行う必要があり、素早く正確に対象物や状況を判断することが困難でした。この解決には、二種類の画像を一つに合成することが有効な手段のひとつですが、従来は、カメラの種類や撮影環境に精通した専門家が手動により、それぞれの画像から合成に適した場所を抽出し、白とびや黒潰れ、ノイズ強調などの画像破たんが生じないように注意を払いながら、複雑な画像合成作業を行う必要がありました。さらに、非可視光画像に含まれる、異常や危険物の有無を判断する手がかりとなるわずかな特徴が、合成により失われる点も課題でした。

東京工業大学とNECは、専門家の変換ノウハウを学習したAIを用いて、可視光カメラと非可視光カメラの画像を自動的かつ効果的に統合し、対象物・状況の視認性を格段に高め、劣悪な環境でも素早く異常や危険物の有無の判断を可能とする「マルチモーダル画像融合技術」を共同開発しました。

図1. 本技術における適用例^※2

新技術の特長

• 複数の画像から視認性が高い部分をAIが自動的に選択し、かつ非可視光画像に含まれるわずかな特徴を強調しながら合成することで、従来の限界を打ち破る高い視認性を実現
• サーモカメラやテラヘルツカメラといったカメラの種類や、環境の特性（明るさ、光線の方向、障害物の有無など）に応じて、AIが画像内の各部分の視認性の度合いを評価、各画像から最適な領域のみを自動的に抽出
• さらに、非可視カメラの画像中の、異常や危険物などに関するわずかな特徴をAIが解析し、白とびや黒潰れなどの画像破たんが生じない、適切な強調の度合いを判断しながら、従来にない高い視認性を持つマルチモーダル（可視―非可視）な融合画像を自動的に生成

東京工業大学とNECは、本技術を6月7日（水）から9日（金）まで、パシフィコ横浜（横浜市西区）にて開催される「第23回画像センシングシンポジウム 2017（主催：画像センシング技術研究会）」において、6月7日に発表する予定です。