(2023) GazeHand: A Gaze-driven Virtual Hand Interface

GazeHand: 눈과 손을 융합한 가상현실 인터페이스 실험

Category	3D object manipulation in VR
Project Period	2022.10 ~ 2023.03
Paper Preparation	2023.03 ~ 2023.10
Date of Publication	2023.11.28
Published in	IEEE Access, Volume 11 (SCIE Journal)
DOI	10.1109/ACCESS.2023.3337372

Intro

몰입형 가상현실 공간에서 물체를 멀리 이동하는 일은 생각보다 불편할 수 있습니다. 간접적으로 위치를 지정하는 방식으로 이 문제를 해결할 수 있지만, 현실에서 우리는 손으로 많은 물체를 잡고 움직이기 때문에 이 느낌을 버리는 것은 여러모로 아쉽습니다. 이러한 2가지 문제를 해결할 수 있는 방법이 존재할까요?

The GazeHand Interface

GazeHand는 가상현실에서 가상 물체를 잡고 움직이는 “물체 조작(Object Manipulation)”의 한 가지 방법입니다. 가상 손 인터페이스를 기반으로 개발되었으며, 다음과 같은 특징을 갖습니다.

가까운 곳이나 먼 곳에 있는 물체를 바라보면 그 앞에 충돌점을 기준으로 가상 손 세트가 이동합니다. 이때 충돌점과의 거리는 저장됩니다.
손을 물체에 댄 후 움켜쥐면 물체를 잡을 수 있습니다.
물체를 움켜쥐는 동안은 물체 선택 상태이며, 이 단계에서 손을 돌려 물체를 회전시킬 수 있습니다.
물체를 움켜쥐는 동안에도 눈을 어느 곳으로든 움직일 수 있으며, 시선의 방향에 따라 저장된 거리를 유지하며 물체를 빠르게 움직일 수 있습니다.
물체를 움켜쥐는 동안 다른 물체를 바라보며 충돌점이 생성되면 그 옆으로 물체를 갖다둘 수 있습니다.
손을 풀면 물체 선택이 해제됩니다.

본 시스템의 핵심 요소는 시선의 방향입니다. 따라서 시선 트래킹 기능이 없는 가상현실 기기를 고려하여 머리(가상현실 기기)의 정면 방향을 활용한 이른바 Head-gaze(머리 시선) 버전인 Head-GazeHand와 Eye-gaze(눈 시선) 버전인 Eye-GazeHand를 제작하였습니다.

본 시스템은 Unity 2021.3.8 버전으로 가상현실 기기인 HTC Vive Pro Eye를 사용하여 제작되었습니다.

Study and Result

시스템 성능 비교를 위해 Eye-GazeHand와 Head-GazeHand, 그리고 Go-Go Interaction을 각색한 Modified Go-Go, 이렇게 3가지 기술을 비교하였습니다. 3가지 과업(물체 선택, 이동, 복합 조작)을 수행하여 수행 시간, 신체 움직임, 사용자 경험 등을 측정하였습니다.

비교 결과 Head-GazeHand가 전반적으로 가장 좋은 성능을 보였습니다. Eye-GazeHand 역시 준수한 성능을 보였으나 복합 조작 과업에서는 약간 성능이 저하되었습니다. 그러나 Head-GazeHand에 비해 머리 움직임을 최소화할 수 있다는 장점도 나타났습니다.