(2025) Three Techniques for Enhancing Emotional Expression on Embodied Avatar Face in VR

가상현실에서 자신의 아바타 표정의 감정 표현을 바꾸는 시스템

Category	Emotion Sharing in VR
Project Period	2024.10 ~ 2025.02
Paper Preparation	2025.04 ~ 2025.06
Date of Publication	2025.10.10 (Presentation)
Published in	IEEE ISMAR 2025 Papers (CS Top-tier)
DOI	10.1109/ISMAR67309.2025.00016
Citation info	Jaejoon Jeong, Gun A. Lee, Hyung-Jeong Yang, Soo-Hyung Kim, Ji-eun Shin, Gayun Suh, Sei Kang, and Seungwon Kim, “Three Techniques for Enhancing Emotional Expression on Embodied Avatar Face in VR”, In Proceedings of the IEEE International Symposium for Mixed and Augmented Reality (ISMAR), Daejeon, South Korea, 2025, pp. 23-33. DOI 10.1109/ISMAR67309.2025.00016

Intro

가상현실 기술과 기기의 발전으로 자신의 표정을 다른 사람과 공유할 수 있게 되었습니다. 현실에서는 이게 당연한 것이지만, 가상현실에서는 그동안 쉽지 않았습니다. 지금까지는 미리 만들어진 표정만 공유하거나 이모티콘 등을 사용하는 경우가 많았거든요. 그런데 저런 수단은 내가 직접 표정을 짓는 것이 아니다 보니까 몰입감이 떨어지는 단점이 있었습니다. 만약 자신의 아바타 표정을 직접 조작할 수 있다면, 예를 들어 더 웃거나 더 슬프게 만들 수 있다면 어떨까요?

Face Control Techniques

지금까지 가상현실 표정 관련 연구에서 표정을 증폭하거나 조작하는 연구는 다수 진행되었습니다. 그러나 엄밀한 비교를 위해 연구자가 직접 조건을 조절하는 방식이었지, 가상현실 아바타를 사용하는 참가자가 그것을 바꿀 수는 없었습니다. 자신의 아바타를 만들 때 자신의 옷, 얼굴 모양, 체격 등을 자신이 직접 선택할 수 있지만, “감정 표현”을 실시간으로 조절하는 UI는 딱히 없었습니다. 본 연구는 그 부분을 짚어, 가상 공간에서 대화할 때 자신의 표정을 원하는 대로, 실시간으로 조절할 수 있도록 돕고, 자신의 표정 조절 방식에 따른 공감 효과를 보고자 했습니다.

표정 조절 방식으로 3가지가 제안되었습니다. Ekman과 Scrollable-Ekman은 6가지 기본 감정을 버튼식으로 고르는 유형이고, Arousal-Valence는 감정을 2차원 평면 위에서 선택하는 유형입니다. Scrollable-Ekman은 각 감정의 강도를 조절할 수 있는 슬라이더가 하나 추가된 형태입니다.

본 시스템은 Unity 6000.0.25 버전으로 가상현실 기기인 Meta Quest Pro를 사용하여 제작되었습니다. 아바타는 Ready Player Me를 활용하였습니다.

Study and Result

위 3가지 시스템과 대조군(Quest Pro 기본 표정 추적 입력)을 비교하는 실험을 진행했습니다. 2가지 과업을 진행했으며, 하나는 특정 감정을 담은 표정을 만들고 유지하는 것, 다른 하나는 자유롭게 대화하며 시스템을 사용하는 것입니다. 시스템을 사용하는 사람을 Sender, 시스템 없이 Sender의 표정을 보고 반응하는 사람을 Receiver로 하여 2인 실험으로 진행했습니다.

흥미롭게도, 실험 결과로 Ekman과 Scrollable-Ekman 유형이 Arousal-Valence보다 크게 선호되었고, 감정 이해도 더 높았으며, 사용성 평가 역시 높았습니다. Arousal-Valence는 대조군보다 유의하게 좋은 결과가 없었습니다. 이런 결과가 나온 원인은 여러 가지가 있겠지만, 기본적으로 Ekman 종류가 쉽고 직관적으로 감정을 선택할 수 있었다고 평가되었고, 감정이 급격하게 변화하여 상대방이 감정을 쉽게 이해할 수 있었습니다. 특히 서로 친한 참가자들의 경우는 본 시스템을 단순 감정 전달보다는 즐기는 용도로 사용하는 것도 확인할 수 있었습니다.

추후 본 시스템의 기능을 더 발전시켜 다양한 연구를 진행할 수 있길 기대해보고 있습니다.

P.S.

본 연구는 여러모로 사연이 많습니다… 시스템 개발도 논문에 드러난 것보다 훨씬 힘들었고, ISMAR을 준비하는 과정도 너무 긴박하게 흘러갔습니다. 많이 힘들었습니다. 그래도 꾹 참고 진행했습니다. 물론.. 여기에만 하소연하는 거지만, 교수님이 저보다 더 고생하셨다는 것은 더욱 잘 압니다. 늘 감사드립니다…! 앞으로 더 열심히 하겠습니다.

무엇보다도 생애 첫 탑티어 학술대회 발표였기 때문에, 제게는 잊지 못할 경험이 될 것입니다. 비록 한국이지만요. 아니, 한국이라 더 마음 편하더군요.