プロジェクト概要

近年、自律的に学習を行うことで人間が設計したアルゴリズムよりも高い性能を得られる深層強化学習が注目を集めており、ロボット制御や自動運転、システム最適化などの分野でブレークスルーを起こすことが期待されている。しかしながら、従来の強化学習ではAI自体が自律的に大量のデータを集める必要があり、事前にシミュレータを実装する必要があるなど、実応用は簡単ではなかった。そこで最新の研究では、学習データのみから深層強化学習を行う、環境とのインタラクションが不要なデータ駆動型深層強化学習の手法が提案され始めており、既に成功を収めている深層学習の枠組みに強化学習が導入できるようになることが期待されている。

データ駆動型深層強化学習は理論的要素が強いため、非専門家がツールとしてそれを利用するには敷居が非常に高い。そこで本プロジェクトでは、データ駆動型深層強化学習アルゴリズムを誰でも簡単に利用できるようにするライブラリを開発する。本ライブラリの大きな特徴は以下の3つとなる。

採択理由

データ駆動型の深層強化学習ライブラリをオープンソースソフトウェアとして開発するという野心的な提案である。シミュレータ上でのオンライン学習を前提とした既存の強化学習ライブラリはドメイン特化のインテグレーション作業を必要とし、汎用性が低く、学習にも膨大な時間がかかる。本提案は少ないデータで強化学習ができる汎用のフレームワークを開発することに大きなモチベーションがある。研究分野の最先端のアルゴリズムを誰でも手軽に使えるような状態にできれば、実社会へのAI実装がさらに加速すると期待される。