研究シーズの泉

豊橋技術科学大学、長岡技術科学大学、国立高等専門学校の研究シーズが結集した横断的に検索可能なサイトです。

お問合せ メニュー

画像をどのように感じるか、正確に推定します

複雑な感情推定の研究

ステータス 基礎 実証 実用化準備

概要

“人はこの画像をどう感じるのか?”というテーマで、『感情推定』の研究を行なっています。さらに、近年注目されている深層学習を用い、様々な技術を組み合わせ、より高度な感情推定を行なっています。

従来技術

画像や動画から特定の感情と強度を推定するマルチクラス問題としての感情推定技術は様々な研究が行われています。

優位性

複数の異なる感情を誘起する画像・動画から、正確な感情推定する研究は、あまり行われていないため挑戦しています。

特徴

本研究は、"画像・動画から同時に引き起こされる特有の感情を正確に推定する"ことです。

具体的には、機械学習特徴量、畳込み型ニューラルネットワーク特徴量と再帰型ニューラルネットワーク特徴量を融合させ、統計的特徴量、空間的特徴量、時間的特徴量を同時に予測可能な技術開発を目指しています。

感情推定データセットの開発やデータの推定も行っており、画像から被験者がどのような感情を持つか、アンケートで答えてもらいます。答えてもらう感情の種類は、下図のような感情の基礎をベースとしています。

 開発したデータセットの感情推定では、(感情推定には必要となる)カラーヒストグラム、画像特徴量を求めるためBoVW(Bag of Visual Words)、畳込み型ニューラルネットワークを組み合わせたネットワークに適用し、感情推定だけでなく感情強度推定も行っています。 

095_1 t.asakawa fig.1.png
概要図
095_1 t.asakawa fig.2.png
プルチックの感情の輪
095_1 t.asakawa fig.3.png
本研究における複数感情強度の判別

実用化イメージ、想定される用途

・TwitterやInstagram等のSNSで人々の健康状態、心身状態に応じた画像、動画を表示または配信できるシステム
・ターゲットを絞ったプロモーション画像・動画の制作や配信システム

実用化に向けた課題

・8つの基礎的な感情でなく、他にも感情を組み合わせた応用感情のデータセットの開発
・画像だけでなく、動画にも適用する。
・更なる提案方法

研究者紹介

浅川 徹也 (あさかわ てつや)
豊橋技術科学大学 情報・知能工学系 助教
researchmap

研究者からのメッセージ(企業等への提案)

この技術にご興味をお持ちの企業の技術相談をお受けします。また共同研究等のご検討の際にはご連絡ください。

知的財産等

掲載日:2020年08月04日
最終更新日:2020年08月04日