プロジェクト概要

本プロジェクトでは、対面でのコミュニケーションにおける顔拡張マスクを構築する。この顔拡張とは、実世界における対面での会話において、装着者の顔情報を詳細かつリアルタイムに認識し、装着者の顔全体を任意のアバタに置換することである。顔拡張マスクを実現するために、装着者の表情を認識し他者が見る装着者の顔を表示するハードウェアと、装着者の顔を実時間かつ高精度に認識し、多種多様なアバタへ自由自在に変換するソフトウェアを開発する。

顔拡張マスクが持つ機能と具体的な活用先としては、以下のようなものが想定される。

本プロジェクトでは、開発した顔拡張マスクが有効に機能する以上のようなコンテンツの追及も行っていく。

採択理由

対面コミュニケーションにおける顔拡張マスクの提案である。マスク装着者の顔情報をリアルタイムに認識し、装着者の顔全体を任意のアバタに置換することを行う。提案者はすでにプロトタイプシステムを実装しており、技術力も意欲も十分に評価できる。提案には、表情のセンシングと表情生成の2つの要素がある。どちらも技術課題があり、どのように仕上がるのか未知数ではあるが、前衛的で挑戦的なテーマである。実際に想定利用シーンでプロトタイプシステムをユーザに使ってもらいながら、本当に使えるシステムへと仕上げていって欲しい。