人間は音声を聞くときに、話し手が「何を言ったか」という言語情報だけでなく、話し手の感情や元気さといった非言語の情報も捉えています。つまり、書き起こしたテキストからだけではわからない非言語情報が、音声には含まれています。特に、リモート社会では相手の非言語情報を捉えにくく、コミュニケーションに困難が生じるケースが多くあります。そこで、非言語情報を効果的に推定できるAI技術の開発と、音声を入力してもらえるUX設計にチャレンジしています。

声から感情を推定する音声感情推定技術においては、基礎研究では特定の感情がある程度明確に表出された音声が多く扱われます。一方、実用においては、音声中に多様な感情が混じり合っていたり、感情の表出度が弱かったりすることが多くあります。そのような音声に対しても、NTT研究所で培われた、感情という曖昧なデータを学習するためのノウハウを活用し、多様な感情の推定を実現しています。さらに、音声感情推定技術を拡張し、こころの不調を推定する技術を開発中です。

応用例として、リモート教育における学生に対するコーチングの支援があります。AIが学生と対話して音声から非言語情報を推定し、それをもとに教師が声かけの必要性を判断する、という活用が考えられます。また、ヘルスケア分野の応用例として、こころの不調の0次／1次予防活性化が挙げられます。リモートワーク中の従業員、高齢者、通院中の方など、孤立しがちな方や不調リスクの高い方に対し、こころの状態を可視化することで、日常的なケアを支援することを目指しています。