ヒトの動きを機械学習し用途開発を支援します

人工知能によるモーションデータの特徴解析と自動生成

ステータス基礎実証実用化準備

概要

人間の動きを３次元計測して得られるデータに対して最先端の機械学習技術を導入し、アバターを用いた対話システムや舞踏・スポーツ・技能動作の訓練支援システムの構築、および人間動作の識別の訓練データの自動生成、操作の動きを考慮した製品設計支援などの技術に取り組んでいます。

研究キーワード

従来技術

人の動作データを周波数解析や動力学解析によってモデル化し、特徴分析や高品質化、骨格構造やスタイルの変換などを数値計算

優位性

深層学習を導入して、特定のモデルに拘束されない、データ駆動型の解析・変換・自動生成・可視化技術等を、低コストで導入できます

特徴

最新研究１：アバターを介した非言語コミュニケーションのための動作スタイルの学習と即時変換

化身(アバター)を用いたコミュニケーションにおけるジェスチャの表現力を高めるために、個性的な動きを実時間で付与する技術を開発しています。

最新研究２：生成的な深層学習に基づく動作の生成

生成型の深層学習技術を用いて、人物の多様な動きを自動生成し、各種技術に利活用する手法を開発しています。
成果：敵対的生成ネットワーク(GAN)で学習されるDCMM(Deep Compact Motion Manifold) を用いたモーションデータの生成と、その値を介したモーションの簡易な生成・編集方法を開発し、既存手法よりも深層のネットワークで安定かつ高品位にモーションを生成する機構を構築し，その表現力の拡大を達成できました。

最新研究３：熟練動作の可視化と適応化

スポーツや技能動作のコツを可視化するシステムや、複雑な目的動作を適応的に生成する手法を開発しています。
成果：テニスフォアショットの自己訓練システムのプロトタイプを開発しました。訓練者は自分の動きのエラーを理解し、それらをどのように減少または解消するかを理解できます。

076_1 栗山先生図1.png — 動作やジェスチャの特徴を学習して即時変換する技術

076_1 栗山先生図2.png — 敵対的生成ネットワーク(GAN)のイメージ

実用化イメージ、想定される用途

・CGアバターを用いたオンライン対話システムにおけるアニメーションの品質向上と自動生成
・人動作を認識の対象とするAIシステムのための仮想学習データの自動生成
・熟練技能、スポーツ、ダンスの動画教材作成支援
・作業環境の効率性・安全性の検証、デジタル・ヒューマンモデルに基づく製品設計支援

実用化に向けた課題

・高品質な訓練用データセットの整備が必要です。(企業側が保有しない場合には、計測作業も必要)
・可視化システムを開発するには、メディア素材(CGデータ)を開発委託できる環境が必要です。
・市販アプリケーションを開発する場合は、社内の開発・保守体制を動員するか、パートナー企業に開発委託できる体制が必要です。