オンラインコミュニケーションでは対面と比べて相手の反応が分かり難いと言われています。たとえばオンライン商談で営業担当が資料を説明している場面では、説明することに意識が向いてしまい、お客さまの反応を把握することが難しくなります。

マルチモーダル認識により音声と映像の両情報を用いることで多角的に対話相手の興味を認識できます。

例：
・音声から相手が話題のどのキーワードに興味を示したか認識
・音声から相手が興味を持って話したキーワードを特定
・映像から相手が説明資料のどの部分に興味を示したか特定

オンライン商談
・お客さまの目線や発言から、注目している内容を推定
・それに応じて営業担当が最適な営業トークを選択

オンライン授業/講義
・生徒の興味を示すと、先生の画面に表示
・それに応じて先生が話す内容を変更し、より有意義な授業へ

オンライン婚活
・お見合い相手の今の話題の興味の度合いや変化を検知
・それに応じて話題の切り替えや深堀をサポート