Font Size

HOME > No.20, Feb 2020 > VR is Not Suited to Visual Memory ?!

VR is Not Suited to Visual Memory ?!

Development of IT that takes human characteristics into consideration By Kyoko Hine
Kyoko Hine

Kyoko Hine, Assistant Professor at the Department of Computer Science and Engineering, Toyohashi University of Technology and a research team at Tokyo Denki University have found that virtual reality (VR) may interfere with visual memory. In recent years, there has been high expectation that VR will be used effectively not only in multimedia and entertainment, but also in educational settings. However, in order to benefit society, IT needs to take human characteristics into consideration. The nature of VR can become known through scientific verification based on experiments like the work undertaken in this research.

In recent years, head-mounted displays (HMD) have become commonplace, and experiencing VR has become commonplace. VR moves the displayed images to match the movement of the user, creating a high sense of realism and enhanced immersion. For this reason, hopes have been raised that VR can be used as a new tool for efficient learning because it attracts children's attention even in educational settings. However, there has been no scientific verification of the effects of VR visual memory.

Therefore, the research team conducted an experiment using HMDs and examined the effects of VR on memory. In the experiment, the participants visited a museum virtually and looked at paintings. After that, a memory test was conducted about the paintings. With regard to the VR experience, the research team set up conditions such that one group viewed images linked to their movements on an HMD (active VR) and a second group watched another person's VR video on a display (passive VR). In other words, under active VR, the participants could look around at the surroundings themselves, but under passive VR, the participants could not look around. Comparing the results of the memory test for these two groups, the results were worse for the active VR group. From this, it became clear for the first time in the world that VR may interfere with visual memory due to the way it moves images in conjunction with user movement.

The reason may be that the enhanced sense of realism and immersion created by the ability to look around freely, that is characteristic of VR, tires the brain and consequently prevents the formation of visual memory. While there are high hopes for VR technology as an educational tool that attracts users, and children in particular, it is important to create teaching materials that take into account these characteristics of VR. Society will require the development of IT that considers human characteristics more than ever in the coming years.

Fig.1
VR scene

The museum was reproduced and photographed in VR by the research team. It was a challenge to make the preparations to secure a quiet and appropriate space for viewing the paintings. In addition, the team took 10 minutes of video. The videos had to be re-shot many times because it was necessary to secure an appropriate viewing angle to view and remember the paintings for the whole 10 minutes. As a result of these efforts, the team was able to produce good quality VR images for the experiment.

The team wants to find out why visual memory is hindered when the participants can look around freely in VR. Moving forward, the team hopes to offer suggestions on how to use VR as a better learning tool by removing the causes of this phenomenon.

Reference

Hine K. & Tasaki H. (2019). Active View and Passive View in Virtual Reality Have Different Impacts on Memory and Impression. Frontiers in Psychology. 10:2416.
https://doi.org/10.3389/fpsyg.2019.02416

VRは記憶学習にむいていない!?

ヒトの特徴も考慮した、情報技術開発のために
By 日根 恭子

豊橋技術科学大学情報・知能工学系 日根恭子助教と東京電機大学の研究チームは、バーチャルリアリティ(VR)を用いた記憶学習が、学習を妨げる可能性があることを発見しました。VRは昨今、マルチメディアやエンターテイメントだけでなく、教育の現場などでもその効果的な利用が期待されていますが、今回のような実験を通した科学的検証をもとに、VRの特性を知り、ヒトの特徴も考慮した情報技術開発が求められます。

近年、ヘッドマウントディスプレイ(HMD)が身近なものになり、多くの人が手軽にVRを体験できるようになりました。VRはユーザの動きに連動して映像が変わるため、高い臨場感を生み、没入感を高めます。そのため、教育場面でも子供の注意を引くため、効率的に学習を進めるための新たなツールとして期待されています。しかし、VRが記憶にとってどのような影響があるか、その科学的検証はなされてきていませんでした。

そこで研究チームは、HMDを用いた実験を実施し、VRの記憶への影響を検討しました。実験で、被験者はVRの中で美術館へ行き、絵画を鑑賞しました。そのあと、絵画についての記憶テストを行いました。VRの体験について、通常のVRと同様にユーザの動きに連動した映像をHMDに映す条件(通常VR条件)と、他人のVRの映像が映る条件(他人VR条件)を設けました。つまり、通常VR条件では、自分で自由に周りを見ることができる一方、他人VR条件では、自分で自由に周りを見ることができませんでした。この2つの条件について記憶テストの結果を比較したところ、通常VR条件の方が、成績が悪くなりました。このことより、VRでユーザの動きに連動して映像が変わることで、記憶学習を妨げる可能性が、世界で初めて明らかとなりました。

その理由として、VRの特性である自由視点によって高められた臨場感や没入感が、脳を疲れさせてしまい、その結果として記憶が妨げられることが考えられます。VRはユーザや子供の興味を強く引く技術であるため、教育ツールなどとしても大いに期待されていますが、このようなVRの特性を考慮した教材づくりをすることが、重要になってくると思います。これからは、これまで以上に、ヒトの特徴も考慮した、情報技術開発も求められると考えられます。

VRの中の美術館は、研究チームで再現し、撮影しました。絵画を鑑賞する静かで、適度な広さの空間を確保するための準備が大変でした。また、10分間の長回しで撮影しました。10分間すべてにおいて、絵画を鑑賞・記憶するために適切な視角を確保する必要があったため、何度も撮りなおしました。努力の甲斐あって、実験のための良いVRが完成しました。

なぜ、VRの中で自分の好きなように周りを見ると、記憶学習が妨げられるか、その原因を突き止めたいと考えています。将来的には、その原因を取り除くことで、よりよい学習ツールとしてのVR使用方法を提案したいと考えています。

Share this story

Researcher Profile

Kyoko Hine
Name Kyoko Hine
Affiliation Department of Computer Science and Engineering
Title Assistant Professor
Fields of Research Cognitive Science/ Vision Science

ページトップへ