TUT Research

Font Size

mainvisual

HOME > No.36, Jan. 2025 > Effects of Expression on Facial Color Memory:

Effects of Expression on Facial Color Memory:

Extent of the Memory Color Effect Varies by Expression Hideki Tamura
Hideki Tamura
Assistant Professor Hideki Tamura(center), Professor Tetsuto Minami (right) and Yuya Hasegawa (left)

The association between facial expressions and the memory color effect has been elucidated through a collaborative effort involving the Cognitive Neurotechnology Unit and the Visual Perception and Cognition Laboratory from Toyohashi University of Technology’s Department of Computer Science and Engineering. The memory color effect refers to the phenomenon by which knowledge of the typical color of a specific object (the memory color) influences the recognition of its actual color. The study revealed that angry and fearful faces are more affected by the memory color effect than neutral faces in terms of color recognition, and that memory color varies depending on facial expression.The results of this study were published online in the Journal of Vision on May 31, 2024. https://doi.org/10.1167/jov.24.5.14

The face is an important characteristic for recognizing individuals, and facial coloration plays a key role in reading a person’s emotions as is evidenced by Japanese phrases such as “kaoiro wo ukagau” (Look at the complexion; i.e., be sensitive to someone’s mood, read someone’s countenance). Recent research has shown that the facial color observed can influence an individual’s reading of expressions, with a reddish face tending to be regarded as angry, for example, even when faces with the same features are presented. However, it has not been well understood whether memory for everyday facial color, and even memory color formed by knowledge of typical colors for specific objects, varies with facial expression. formed by knowledge of the typical colors of specific objects also vary between expressions.

Hence, the research team focused on the phenomenon in which color recognition changes according to memory colors, known as the memory color effect, and used facial images with different expressions and colors to conduct a psychophysical experiment. Experimental participants were asked to select which color a face appeared to have from two options (the “typical color” and the “opposite color”) for facial images presented to them. The typical color means the color that the observer holds as knowledge of an object such as skin tone in the case of a face. The opposite color refers to the color located opposite the typical color in terms of hue. The experiment overlaid various colors onto three of facial expression images: an angry face, a neutral face, and a fearful face. The colors of each face were varied. The experiment was conducted in a dimly illuminated room maintained at a constant brightness, thus mitigating the influence of ambient brightness on the appearance of the colors.

The results showed that angry and fearful faces that were actually achromatic (gray) tended to be seen as red-yellow, their typical color, more than achromatic neutral faces did (see Fig.). As red-yellow, the memory color for angry and fearful faces, has a higher saturation than for neutral faces, it is possible that the achromatic facial color may have tended to appear colored with the typical color. This is similar to the reports of previous research that expressions introduce bias to the memorized facial color, and the recalled facial color was a red-yellow with a higher saturation than what was actually observed.

First-year doctoral candidate in the Department of Computer Science and Engineering and the primary author for this study, Yuya Hasegawa, explains, “In general, the color that anger brings to mind is red, and red is also often used when expressing anger. In that case, do people then regularly and empirically remember angry faces as being redder than neutral faces? We supposed that if people change the color of faces depending on their expression when remembering them, the memory color should differ for each expression, which inspired this study.”

These outcomes are the first to reveal that expressions exert an influence on faces at the level of the memory color. Memory and attention are closely associated. In the future, we will test whether attention tends to be directed toward “red angry faces” in preference to normal angry faces or red neutral faces and examine how to deepen our understanding of the mechanisms by which the remembered facial color differs according to the expression.

This research was supported by JSPS Grants-in-Aid for Scientific Research JP22K17987, JP20H05956, and JP20H04273.

tutr36-rh04-1.jpg
Figure: If participants are made to select between the “typical color” and the “opposite color” for an achromatic (gray) face, they tended to respond with the “typical color” for angry faces.

Reference

Hasegawa, Y., Tamura, H.*, Nakauchi, S, & Minami, T*. (2024). Facial expressions affect the memory of facial colors, Journal of Vision, 24(5):14, 1–12. https://doi.org/10.1167/jov.24.5.14.
*Corresponding author.

表情が与える顔色記憶への影響

記憶色効果の大きさが、表情によって異なる 田村 秀希

豊橋技術科学大学情報・知能工学系認知神経工学研究室と視覚認知情報学研究室の研究チームは、表情と記憶色効果の関係を明らかにしました。記憶色効果とは、特定の物体に関する典型的な色の知識(記憶色)が実際の色の認識に影響を与える現象のことを示します。本研究により、怒り顔や恐怖顔は中立顔よりも記憶色効果によって受ける色認識への影響が大きく、記憶色が表情によって異なることがわかりました。この研究の結果は、2024年5月31日付でJournal of Vision誌上にオンライン版が発表されました。
https://doi.org/10.1167/jov.24.5.14

顔は個人を識別するための重要な特徴であり,「顔色をうかがう」といった言葉があるように、顔色はその人の感情を読み取る上で重要な役割を果たしています。最近の研究では、同じ顔つきであってもより赤っぽい顔色の方が怒り顔として捉えられやすいなど、顔色が表情判断を変化させることがわかってきています。しかしながら、日常的な顔色の記憶や、特定の物体に関する典型的な色の知識によって形成される記憶色までもが、表情によって異なるのかはよくわかっていませんでした。

そこで本研究チームは、記憶色効果と呼ばれる、記憶色によって色の認識が変化する現象に着目し、表情や顔色の異なる顔画像を使用して、心理物理実験を実施しました。実験対象者は呈示された顔画像に対して、どちらの顔色に見えたかを「典型色」と「反対色」の2つの選択肢から選択するように求められました。典型色とは、観測者が物体に対する知識として所持する色のことであり、顔の場合は肌色などを指します。反対色とは,色相的に典型色の反対に位置する色のことを指します。実験には異なる顔色を持つ怒り顔、中立顔、恐怖顔の3つの表情画像を使用しました。周囲の明るさによる色の見え方への影響を受けないように、実験は一定の明るさにコントロールされた暗室内で行われました。

実験の結果、実際には無彩色(灰色)な状態な怒り顔や恐怖顔が無彩色な中立顔よりも、典型色である赤黄色に色付いて見えやすいことがわかりました(図参照)。怒り顔と恐怖顔の記憶色が、中立顔よりも赤黄色が高彩度な顔色であるため、無彩色な顔色が典型色に色付いて見えやすかった可能性が考えられます。これは表情が記憶する顔色を偏らせ、想起する顔色が実際に目にしたときよりも赤黄色が高彩度な顔色であったという先行研究の報告と似ていました。

本研究の第一著者である情報・知能工学専攻 博士後期課程 1年 長谷川友哉氏は、「一般的に、怒りから連想される色は赤色であり、怒りを表現する際にも赤色がよく使用されます。では、果たして人は、日常的、経験的に怒り顔を中立顔よりも赤っぽく記憶しているのでしょうか。もし人が、顔を記憶する際、その顔色を表情に応じて変化させるのであれば、表情ごとで記憶色が異なるのではないかと考え、本研究の着想に至りました。」と説明しています。

本成果は、表情が顔に対する記憶色のレベルにまで影響を与えることを初めて明らかにしたものです。記憶と注意は密接な関係にあります。今後は、「赤い怒り顔」に対して、通常の怒り顔や赤い中立顔よりも注意が向きやすいのかを検証し、なぜ表情によって記憶する顔色が異なるのかの仕組みを、より深く理解することを検討しています。

本研究はJSPS科研費 JP22K17987, JP20H05956, JP20H04273の助成を受けたものです。

Share this story

Researcher Profile

tutr36-rh04-tamura.png
Name Hideki Tamura
Affiliation Department of Computer Science and Engineering
Title Assistant Professor
Fields of Research Vision science / Kansei informatics

Page Top