ドローンが耳を澄まして要救助者の位置を検出

要点

• ドローンのようなロボットによる人命救助はカメラなど視覚的な方法が主
• 集音方法を工夫して雑音減らし、瓦礫の下の人の声などを検出
• 迅速かつ効率的な人命救助に活用できる全天候型システムを開発
• 暗くても、うるさくても、見えない場所でも、音を検出可

概要

内閣府総合科学技術・イノベーション会議が主導する革新的研究開発推進プログラム（ImPACT）タフ・ロボティクス・チャレンジ（プログラム・マネージャー：田所諭）の一環として、東京工業大学の中臺一博特任教授、熊本大学の公文誠准教授、早稲田大学の奥乃博教授、鈴木太郎助教らの研究グループは、ドローン自体の騒音や風などの雑音を抑え、要救助者の声などを検出して、迅速な人命救助を支援できるシステムを世界で初めて開発した。

このシステムは、3つの技術要素（HARK^[用語1]を応用したマイクロホンアレイ技術^[用語2]によるドローンや風の騒音下での音源検出の実現、音源の三次元位置推定・地図表示技術開発によるわかりやすいユーザインタフェースの構築、ケーブル1本で接続可能な全天候型マイクロホンアレイの開発）が組み合わさることで構築されている。これまで災害現場では静かに聞き耳を立て要救助者の居場所を探り当てていた。このシステムにより、人が瓦礫の中にいて見つけにくい場合や、夜間、暗所などカメラが使えない場所でも、要救助者を発見できることが期待される。

デモ映像

研究成果

研究グループは、ドローンの騒音下でも、要救助者の音声等を検出して、迅速な人命発見につなげることができるシステムを世界で初めて開発した（図1、図2参照）。

このシステムは、大きく3点の技術要素からなる。1点目は、“ロボットの耳”を作ることを目指した「ロボット聴覚^[用語3]」研究の成果としてオープンソース化されているソフトウェアHARK（HRI-JP Audition for Robots with Kyoto University）を応用したマイクロホンアレイ技術である。これにより、ドローンの騒音下でも音源の検出が可能になった。2点目は、三次元音源位置推定、および地図表示技術の開発で、これにより目に見えない音源を操作者にもわかりやすく可視化できるインタフェースを構築できるようになった。3点目は、ドローンへの設置を容易にするために、ケーブル1本でまとめて接続できる16個のマイクロホンからなる全天候型マイクロホンアレイを開発。これにより雨天の要救助者捜索が可能になる。

災害が起きた場合、一般的には3日（72時間）以内に救助しなければ生存確率が大きく下がってしまうと言われており、迅速な要救助者捜索技術の確立が喫緊の問題である。

これまでドローンを使った要救助者捜索技術は、そのほとんどがカメラやそれに似たデバイスを用いたもので、人が瓦礫の中にいて見つけにくい場合や、夜間や暗所などカメラが使えない状況では利用できず、捜索の大きな壁になっていた。本技術は“要救助者が発する音”を検出することから、このような問題を緩和できる可能性がある。近い将来、災害地での要救助者発見にドローンが利用できるようになり、レスキュータスクの有望なツールとなることが期待できる。

研究の背景

ロボット聴覚は、2000年に奥乃教授、中臺特任教授が中心となって提唱し、世界に向けて発信した日本発の研究領域である。それまでのロボットは、人が口元にマイクを装着しないと人の音声を検出、認識することはできなかった。こうした状況に対して、ロボットは人間と同様、自分自身の耳で離れた音源の音を聞き取るべきだという考えの下、“ロボットの耳”を構築するための研究が進められている。この研究領域は、信号処理、ロボティクス、人工知能と多分野にまたがる学際的研究のため参入障壁が高く、世界的にも認知が遅れていた。

提唱後、奥乃教授と中臺特任教授らが中心となり、積極的に国内外の学会を中心にセッションを開催。オープンソースソフトウェアを公開して、講習会やハッカソンなどのイベントを行うなど啓発活動を続けた。その結果、2014年には、ロボットに関する最大の研究コミュニティであるIEEE Robotics and Automation Society （RAS）が「ロボット聴覚」を研究分野として正式にキーワード登録した。

本研究は、人と同様に、音がどこから到来するのかを推定する音源定位技術、到来方向の音を抽出する音源分離技術、分離した音を認識する雑音にロバスト（頑健）な音声認識技術の3つが柱であり、これらを実環境・実時間で動作できる技術を追究してきた。研究グループはこれまでに、聖徳太子のように複数の人が同時に話をしてもそれを聞き分ける技術（同時発話認識技術）を開発し、11人の話者による同時発話料理注文デモに成功。また、複数の回答者が同時に回答しても対応可能なクイズ番組の司会者ロボットなどを作製してきた。

研究の経緯

従来のロボット聴覚研究では、屋内環境で人と会話するロボットを対象にして、“ロボットの耳”を構築する研究がなされてきた。今回の研究では、屋内に留まらず屋外環境での利用を想定し、より実用的な技術につなげることを目指した。

本技術は、内閣府が主導するImPACT タフ・ロボティクス・チャレンジ（TRC）^[用語4]（田所諭PM）の研究課題として推進している極限音響研究の成果である。用いているマイクロホンアレイ技術は、（株）ホンダ・リサーチ・インスティチュート・ジャパンが研究開発を行い、オープンソース化されているロボット聴覚ソフトウェア HARK をベースにしている。

ImPACT TRCプログラムでは、研究課題として早稲田大学の鈴木太郎助教らが高性能GPS研究を推進しており、その成果である高精度ポイントクラウド（点群）を地図データとして提供。これを用い、極限音響研究を推進している東京工業大学の中臺一博特任教授、熊本大学の公文誠准教授、早稲田大学の奥乃博教授らの研究グループが中心となってロボット聴覚の開発を行っている。

今後の展開

研究グループは今後、実環境に近いレベルで実証実験を続けることにより、より使いやすく頑健なシステムの構築を目指す。そのために、インテリジェントセンサとしてパッケージ化し、さまざまなドローンに接続できるシステムを検討していく。また、音源の検出だけではなく音源の種類の聞き分けを行うことにより要救助者に関係のある音源だけを識別する機能も追加したい。

このように、災害地での捜索活動に使用できるレベルへと技術を深化させることによって、「ドローン聴覚」技術を確立していく。

田所諭ImPACTプログラム・マネージャーのコメント

• プレスリリース ドローンが耳を澄まして要救助者の位置を検出 －災害発生時の迅速な救助につながる技術を開発－
• 中臺研究室
• 研究者詳細情報（STAR Search） - 中臺 一博 Kazuhiro Nakadai
• 研究成果一覧