空間に広がる音や磁場などの「場（フィールド）」を計測し、計算機で解析する技術を基盤としています。現在は大きく3つのテーマで研究を進めています。
1つ目は「スーパーセンサー」の実現です。光ポンピング磁気センサ (OPM) などを活用し、脳や心臓の活動を計測するハードウェアから、そのデータを解析するソフトウェアまでを一貫して開発しています。これにより、MRI装置の小型化や高性能化を目指しています。2つ目は「タイムマシン」をつくるという夢のある研究です。カメラやマイクで取得した現実の情報を分析し、音も含めた4D（3D＋時間）の時空間情報を丸ごと計算機の中に再構築する取り組みです。これにより、体験者自身が自由に歩き回り、リアルタイムに過去の出来事に干渉できる究極の再体験を可能にしたいと考えています。3つ目は「パワードスーツ」のような能力拡張です。拡張現実 (AR) スマートグラスを用いて、人間の視聴覚を支援するシステムを構築しています。例えば、周囲が騒がしい環境でも、自分が注目したい特定の人の声だけをクリアに聞き取ったり、リアルタイムで字幕として表示したりする技術の実現を目指しています。
もともとは、「音楽信号」を解析する研究からスタートしました。その後、恩師からマイクアレイの研究を引き継いだことをきっかけに「音響信号」へと研究対象が広がっていきました。さらに研究を進めるうち、「画像や映像」、さらには脳や心臓から発せられる「生体信号」といったマルチモーダルデータ全体へと広がっていきました。一見するとバラバラですが、空間に広がり、時間とともに変化する「場」の情報を捉え、そこに潜む仕組みを推論するという点ではすべて共通しています。
私の根源的な興味は、常に「人間」そのものにあります。人間が目や耳を通してどのように環境を認識し、脳で情報を処理しているのか——そのメカニズムを計算機上で実現したいというのが研究の出発点です。これまで蓄積してきたマルチモーダルな信号処理の知見を土台にしつつ、人間を中心に据えた新しい問題設定に挑んできました。
スマートグラスなどのウェアラブルデバイスは、今後ますます進化していくでしょう。かつて目の中に入れるコンタクトレンズに人々が抵抗感を持っていたように、初めは新しい技術に戸惑うかもしれません。しかし将来的には、コンピュータと人間がより自然に融合し、人間が無意識のうちに自分自身の能力を拡張できる時代が来ると考えています。
私が研究の先に見据えているのは、そうした未来です。現在は研究室に複数のセンサーを設置して実験していますが、皆さんが持っているスマートフォンやスマートグラスには、すでに高性能なカメラとマイクが搭載されています。もし、個人の一人称視点のデータから過去の空間を丸ごと復元できるようになれば、自分の人生のあらゆる瞬間を、身の周りの情景とともにいつでも鮮明に呼び出せるようになります。そんなSFのような世界が、最終的には実現できるはずです。
私たちの「時空間センシング」研究室では、実現に向けて着実に歩みを進めていますが、実世界でこれらの技術を完璧に機能させるには、まだ多くの壁があります。高速・低遅延・省電力で、クラウドに頼らずユーザ端末だけで高度なAIモデルを動かすためには、ソフトウェアとハードウェア双方の飛躍的な進化が不可欠です。
また、タイムマシンのような高度な大規模システムを作るには、音声や信号処理の専門家だけでなく、コンピュータビジョンや自然言語処理など、多様な分野との協働が必要です。また研究は始まったばかりですが、研究の進展を随時社会に発信し、多くの方々にワクワクしてもらいながら、一緒に未来の実現に向けて歩んでいきたいと願っています。
