音響XRによるリアルとバーチャルを融合した音響体験の創出

私たちの研究室では、3次元音響を用いた音のXR(VR)の研究を進めている。音のVRはエンターテインメントのみならず、会議、教育、訓練、芸術、医療、高齢者・障害者支援など日常生活の多岐に渡る局面において、対面と同等のコミュニケーションを提供できる。音のVRの本質は3次元的な音の方向感と距離感の再現であり、これにより音空間の臨場感やリアリティが再現される。音の3次元再生では聴取者の頭や耳介に起因する頭部伝達関数を用いるが、頭部伝達関数には顕著な個人差があり、高精度な音のVRは未だ実現されていない。私たちは各聴取者に適合する個人化頭部伝達関数を生成するモデルを構築し、MATLAB^®のApp Designer用いて一般の聴取者でも容易に個人化頭部伝達関数を生成できるアプリを開発した。このアプリを用いて、NTTコンピュータ&データサイエンス研究所と共同で音響XRを活用したサッカー観戦の実証実験を国立競技場で実施した。会場の歓声や選手がボールを蹴る音の臨場感に加え、あたかもアナウンサーや解説者が試合状況・戦術、選手の情報などを周囲から解説してくれているような、新しい観戦体験を提供した。