プロジェクト概要

本プロジェクトでは、ゲームの実況プレイ動画を自動で生成するシステムを開発する。「実況プレイ動画」とは、プレイヤーが実況をしながらゲームをプレイした様子を収めた動画であり、近年、動画投稿サイトでの人気コンテンツの一つとなっている。

本システムは人間がプレイした動画を入力として、以下のステップに従い実況文を自動で生成し、読み上げ用音声合成ソフトウェアを用いてそれを読み上げる。

本システムは、深層学習による物体検出、動作認識を用いてゲーム中の出来事を認識する。例えば、レースゲームのプレイ動画を入力すると、物体検出では、レース中のキャラクターや自身の順位などを検出する。動作認識では、プレイヤーが操作するキャラクターの、ドリフトしている、加速しているといった動作を認識する。また、システムは人間の感情を模倣し、あたかもゲームをプレイしているかのように振る舞う。実況を行う際には、ゲーム内で起こっている出来事を伝えるだけでなく、リアクションなどを通じてエンターテイメント性のある実況を実現する。

本システムの技術は、自身の感情を表現するNPCの開発などへの応用が期待されるものである。

採択理由

ゲームは従来「プレイするもの」であったが、最近では「見て楽しむもの」といった娯楽の在り方も増えてきており、スポーツ観戦や囲碁・将棋などの実況と同様に、ゲームの実況動画も人気を集めている。本提案システムでは「こういうリアクションを取ったら楽しいのではないか」といったことをAIが考えながら実況する点で面白さがある。リアルタイムでイベント発生が多々起きる中で、重要度に応じた処理をどのように行うか、など、課題は多々あるが、開発に対する意欲も実力も十分である。

開発する技術は、ゲームだけでなく、少年サッカーをはじめとした、現状では実況がつかないスポーツ観戦などにAI実況がつけられる可能性を秘めている。類似研究の中でどのように独自性を出していけるか期待する。