対話音声からジェスチャーを生成するAIを開発

東京科学大学（Science Tokyo） 情報理工学院 情報工学系の小池英樹教授、カーネギーメロン大学 ロボティクス研究所の木谷クリス（Kris Kitani）教授らの研究チームは、対話音声から自然な身体動作（ジェスチャー）を生成する 深層学習モデル^[用語1]「DyaDiT」を開発しました。DyaDiTは、会話中の二者の音声情報に加え、話者同士の関係性や性格特性といった社会的コンテキストを考慮することで、ユーザが話している時の聞き手としての自然なリアクションジェスチャーを生成することができます。

人と人とのコミュニケーションにおいては、言語や音声などの情報だけでなく、身振りやうなずきなどの身体動作が重要な役割を果たしています。しかし、従来のジェスチャー生成技術の多くは、単一話者の音声からジェスチャーを生成することを前提としており、話し相手との相互作用や社会的関係性を十分に考慮することはできませんでした。そのため、生成される動作は画一的なものであることが多く、実際の対話のような自然な振る舞いを再現することは困難でした。

これに対し、本研究で開発したDyaDiTは、二者の音声を同時に解析することで対話の相互作用を理解し、さらにユーザ自身のジェスチャーや反応を入力として利用することで、話し相手として相応しいジェスチャーをリアルタイムに生成することを可能にしました。本技術により、デジタルヒューマンや対話型AIエージェントが、より自然で社会的に適切な振る舞いを伴ったコミュニケーションを行うことが期待されます。

本成果は、2026年6月3日（現地時間）から開催されたコンピュータービジョン（CV）に関する国際会議「The IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026」で発表されました。

用語説明

[用語1] 深層学習モデル：人間の神経細胞の仕組みをモデルとしたニューラルネットワークを多層化した機械学習システム。

詳しくは、下記 Science Tokyo ニュースをご覧ください。

• 対話音声からジェスチャーを生成するAIを開発 | Science Tokyoニュース