Tramscape to Korea

March 2024 ~ September 2024

🏆️ 한국관광공사 주최 실감관광콘텐츠 경진대회 최우수상 (한국관광공사장상)

🏆️ 한국관광공사 주최 실감관광콘텐츠 경진대회

최우수상 (한국관광공사장상)

Experience Design

Stakeholder Validation

Content Strategy & Storyboarding

High-Fidelity Visual Production

Tramscape to Korea: Immersive Travel, Anytime, Anywhere

Tramscape to Korea:
Immersive Travel, Anytime, Anywhere

Introduction

Tramscape To Korea는 3학년 1학기 교내 게임인터랙티브테크놀로지 수업에서 설계·개발한 바디트래킹 기반 모션 패럴랙스 인터랙션 기술을 기반으로, 2024 한국실감관광콘텐츠 경진대회 출품작으로 발전시킨 기차 창문 여행 관광 콘텐츠 프로젝트입니다. Bill Verplank의 IxD 프로세스(What–How–Why)를 토대로 인터랙션을 구상하고, Computer Vision 기반 실시간 객체 추적 기술과 디지털 필터링 안정화를 적용하여 3D 엔진의 가상 카메라 절두체 왜곡 인터랙션 파이프라인을 구축했습니다. 이후 관광 산업에 특화된 리서치 및 기획을 진행하고, 디자이너가 직접 모델링한 3D 환경에 포스트 프로세싱 및 렌더링 최적화를 적용하여 photorealistic 시각적 완성도를 구현했습니다. 생성형 AI 툴을 활용해 아나운서 음성 합성, BGM 생성 등 콘텐츠 몰입도를 강화했으며, 관광 산업 실무자를 대상으로 총 3회 반복 피드백 세션을 진행하며 콘텐츠 시나리오와 UX를 지속적으로 고도화했습니다. Tramscape To Korea는 강남 AT센터 관광 일자리 페스타에서 2일간 전시를 진행한 후, 최우수상인 한국관광공사장상을 수상했습니다.

Abstract

Tramscape To Korea는 3학년 1학기 교내 게임인터랙티브테크놀로지 수업에서 설계·개발한 바디트래킹 기반 모션 패럴랙스 인터랙션 기술을 기반으로, 2024 한국실감관광콘텐츠 경진대회 출품작으로 발전시킨 기차 창문 여행 관광 콘텐츠 프로젝트입니다. Bill Verplank의 IxD 프로세스(What–How–Why)를 토대로 인터랙션을 구상하고, Computer Vision 기반 실시간 객체 추적 기술과 디지털 필터링 안정화를 적용하여 3D 엔진의 가상 카메라 절두체 왜곡 인터랙션 파이프라인을 구축했습니다. 이후 관광 산업에 특화된 리서치 및 기획을 진행하고, 디자이너가 직접 모델링한 3D 환경에 포스트 프로세싱 및 렌더링 최적화를 적용하여 photorealistic 시각적 완성도를 구현했습니다. 생성형 AI 툴을 활용해 아나운서 음성 합성, BGM 생성 등 콘텐츠 몰입도를 강화했으며, 관광 산업 실무자를 대상으로 총 3회 반복 피드백 세션을 진행하며 콘텐츠 시나리오와 UX를 지속적으로 고도화했습니다. Tramscape To Korea는 강남 AT센터 관광 일자리 페스타에서 2일간 전시를 진행한 후, 최우수상인 한국관광공사장상을 수상했습니다.

BACKGROUND

기존 2D 디스플레이는 평면이라는 본질적 특성으로 인해 운동 시차(motion parallax)와 같은 물리적 깊이 단서를 제공하지 못하며, 이는 사용자의 공간 지각과 몰입에 근본적인 한계를 초래합니다. 우리는 이러한 문제 상황을 Bill Verplank의 IxD 프로세스—How do you do? How do you feel? How do you know?로 대표되는 동작(action), 감성(emotion), 인지(cognition)의 3단계 디자인 사고—에 기반하여 분석했고, 그 결과 '창문(window)'을 핵심 인터랙션 메타포로 도출했습니다. 창문은 물리적으로는 평면이지만 우리가 몸을 움직일 때 그 너머 공간은 3차원으로 지각되며 자연스럽게 탐색하는 익숙한 경험을 제공합니다. 이러한 통찰을 바탕으로 우리는 사용자의 신체 움직임을 실시간으로 추적하여 2D 디스플레이가 마치 가상 공간으로 통하는 창문처럼 작동하도록 설계했습니다. 나아가 단순한 시점 변화를 넘, 창문에 가까이 다가갈수록 시야각(Field of View)이 넓어지는 실제 물리 법칙까지 충실히 반영하고자 했고 사용자는 자신의 신체 움직임과 시각 피드백 간의 자연스러운 매핑(natural mapping)을 경험하며 향상된 공간감과 몰입감을 얻을 수 있습니다.

기존 2D 디스플레이는 평면이라는 본질적 특성으로 인해 운동 시차(motion parallax)와 같은 물리적 깊이 단서를 제공하지 못하며, 이는 사용자의 공간 지각과 몰입에 근본적인 한계를 초래합니다. 우리는 이러한 문제 상황을 Bill Verplank의 IxD 프로세스—How do you do? How do you feel? How do you know?로 대표되는 동작(action), 감성(emotion), 인지(cognition)의 3단계 디자인 사고—에 기반하여 분석했고, 그 결과 '창문(window)'을 핵심 인터랙션 메타포로 도출했습니다. 창문은 물리적으로는 평면이지만 우리가 몸을 움직일 때 그 너머 공간은 3차원으로 지각되며 자연스럽게 탐색하는 익숙한 경험을 제공합니다. 이러한 통찰을 바탕으로 우리는 사용자의 신체 움직임을 실시간으로 추적하여 2D 디스플레이가 마치 가상 공간으로 통하는 창문처럼 작동하도록 설계했습니다. 나아가 단순한 시점 변화를 넘, 창문에 가까이 다가갈수록 시야각(Field of View)이 넓어지는 실제 물리 법칙까지 충실히 반영하고자 했고 사용자는 자신의 신체 움직임과 시각 피드백 간의 자연스러운 매핑(natural mapping)을 경험하며 향상된 공간감과 몰입감을 얻을 수 있습니다.

서론에서 도출한 인터랙션 디자인 컨셉을 구체화하기 위해 Literature Review를 수행하였으며 인간의 인지 시스템에 대한 과학적 원리와 이를 구현하는 기술적 방법론을 조사하였고 Motion Parallax를 핵심 키워드로 식별하였습니다. Motion Parallax는 관찰자의 움직임에 따라 주변 물체의 상대적 시각 변화를 통해 거리와 깊이를 지각하는 생태학적 지각 현상으로 우리가 제안하는 '창문' 메타포의 이론적 기반이 됩니다. Motion Parallax 기반으로 2D 디스플레이에서 3D 공간감을 구현한 선행 사례로는 Johnny Chung Lee의 Project Wii, Illumetry IO, iPhone의 Parallax View 등 다수의 연구 및 프로젝트가 존재합니다. 그러나 대부분의 사례는 외부 착용 장비를 요구하거나 시점 변화(perspective shift)만을 제공할 뿐 우리가 구상한 '창문' 메타포의 핵심 요소인 원근감(depth perception)과 시야각 변환(FOV transformation)을 동시에 구현하는 경우는 찾기 어려웠습니다. 이 중 Eduardo Rodrigues의 연구에서 창문과 유사한 지각 경험을 구현한 접근법을 확인하였으며 이를 참조해 우리 시스템의 기술 설계 원리와 구현 방향을 수립했습니다.

SYSTEM ARCHITECTURE

본 시스템은 사용자의 머리 위치를 실시간으로 추적하고 이를 Unity 환경에서 가상 카메라의 동적 변환으로 연결하여 2D 디스플레이가 3D 공간으로 통하는 '창문'처럼 작동하도록 구현했습니다. 핵심 구현 과정은 크게 세 단계로 이루어집니다. 첫째, Body Tracking SDK를 활용해 사용자의 정확한 눈 위치를 3차원 벡터로 추출하고 둘째, 입력 노이즈로 인한 화면 떨림을 Digital Input Filter를 통해 제거하여 사용자 경험을 안정화 합니다. 셋째, 이 위치 정보를 화면 공간 좌표계로 변환하여 가상 카메라의 절두체를 동적으로 조정함으로써 운동 시차와 시야각 변환을 구현합니다.

사용자의 머리 위치를 실시간으로 추적하기 위해 Azure Kinect의 Body Tracking SDK를 활용했습니다. Body Tracking SDK는 3D 공간에서 사람의 신체를 추적하는 기능을 제공하며 관절 위치, 방향, ID 등의 정보를 실시간으로 제공합니다. 본 시스템에서는 findClosestTrackerBody() 함수를 구현하여 가장 가까운 단일 사용자 만을 인식하도록 처리했으며 양쪽 눈의 위치 값 평균을 계산해 정확한 눈높이를 반영하는 InputPositionEye() 함수를 통해 머리 위치를 3차원 벡터 형태로 반환하도록 설계했습니다.

이렇게 획득한 머리 위치 정보를 바탕으로 '창문' 메타포를 Unity 환경에 구현했습니다. 먼저 Kinect 좌표계를 보정하여 모니터 중심을 원점(0,0,0)으로 하는 좌표계로 변환했습니다. 이후 사용자의 눈 위치를 모니터의 실제 크기에 상대적인 화면 공간 좌표계(screen space coordinate system)로 매핑하고, 가상 카메라를 사용자의 눈 위치로 이동시키는 변환 벡터를 계산하여 카메라의 시야 범위(frustum)를 동적으로 조정했습니다. 이 과정은 MonoBehaviour의 LateUpdate() 메서드를 통해 매 프레임마다 실행되며, 두 개의 카메라 객체를 사용해 조정된 영상을 렌더링함으로써 운동 시차(motion parallax)와 시야각 변환(FOV transformation)을 동시에 구현했습니다. 그 결과, Azure Kinect 단일 디바이스만으로도 실제 창문을 통해 공간을 들여다보는 듯한 3차원 공간감을 제공할 수 있었습니다.

다만 Kinect로부터 받아오는 실시간 위치 값은 미세한 움직임까지 모두 반영되어 입력 노이즈(noise)가 발생하고, 이는 화면 떨림으로 이어져 사용자 경험을 저해하는 문제가 있었습니다. 이를 해결하기 위해 Digital Input Filter를 시스템에 통합했으며, 사용 환경에 따라 필터 방식을 선택할 수 있도록 Average Filter와 Exponential Filter 두 가지를 구현하고 enum FilterType으로 에디터에서 쉽게 설정 가능하도록 설계했습니다. Average Filter는 여러 측정값의 평균을 계산하여 순간적인 노이즈에 강하지만 급격한 움직임에 대한 반응 속도가 느리고, Exponential Filter는 최근 데이터에 더 높은 가중치를 부여해 변화에 빠르게 반응하지만 노이즈에 상대적으로 취약하다는 트레이드오프가 존재합니다. 필터 적용 결과, 노이즈가 현저히 감소하여 안정적이고 매끄러운 사용자 경험을 제공할 수 있었습니다.

다만 Kinect로부터 받아오는 실시간 위치 값은 미세한 움직임까지 모두 반영되어 입력 노이즈(noise)가 발생하고, 이는 화면 떨림으로 이어져 사용자 경험을 저해하는 문제가 있었습니다. 이를 해결하기 위해 Digital Input Filter를 시스템에 통합했으며, 사용 환경에 따라 필터 방식을 선택할 수 있도록 Average Filter와 Exponential Filter 두 가지를 구현하고 enum FilterType으로 에디터에서 쉽게 설정 가능하도록 설계했습니다. Average Filter는 여러 측정값의 평균을 계산하여 순간적인 노이즈에 강하지만 급격한 움직임에 대한 반응 속도가 느리고, Exponential Filter는 최근 데이터에 더 높은 가중치를 부여해 변화에 빠르게 반응하지만 노이즈에 상대적으로 취약하다는 트레이드오프가 존재합니다. 필터 적용 결과, 노이즈가 현저히 감소하여 안정적이고 매끄러운 사용자 경험을 제공할 수 있었습니다.

인터랙션 프로토타입에 그치지 않고, 창문 메타포라는 본 디자인의 핵심 가치인 공간감 형성 효과와 자연스러운 신체 기반 상호작용을 최대한 활용할 수 있는 콘텐츠를 개발하고자 했습니다. 콘텐츠 아이디어에 대한 브레인스토밍을 진행한 결과, 기차 창문을 통해 이동하며 다양한 관광 명소를 바라보는 가상 여행 콘텐츠를 개발하기로 결정했습니다. 기차 여행이라는 경험은 실제로 창문을 통해 끊임없이 변화하는 풍경을 감상하는 익숙한 시나리오이며 사용자가 몸을 움직여 창문 너머 공간을 탐색하는 본 시스템의 인터랙션 메커니즘과 자연스럽게 일치하기 때문입니다.

CONTENTS DESIGN

콘텐츠의 시각적 품질을 극대화하기 위해 한국의 대표적인 관광 명소를 Blender를 활용하여 직접 3D 모델링으로 제작했습니다. 제작된 에셋은 Unity의 HDRP(High Definition Render Pipeline)를 통해 렌더링되며 포스트 프로세싱과 고품질 이펙트를 적용하여 시각적 완성도를 높였습니다. 이를 통해 사용자는 아름다운 한국의 관광 명소를 실사에 가까운 몰입감 있는 시각 효과로 경험할 수 있습니다. 구현된 주요 장면으로는 낮 시간대의 경주 한옥마을과 경주의 대표적인 야경 명소인 월정교의 야경 씬을 제작했습니다. 낮과 밤이라는 서로 다른 시간대를 구현함으로써 조명과 분위기의 대비를 통해 각 장소의 고유한 매력을 효과적으로 전달하고 동시에 시스템의 렌더링 품질과 공간감 표현 능력을 다양한 환경에서 검증할 수 있도록 했습니다.

콘텐츠의 몰입감과 사실성을 높이기 위해 Unity의 Spline 시스템을 활용하여 기차가 이동하는 경로를 정교하게 설계하고 실제 기차 여행의 물리적 특성을 반영한 미세한 흔들림(vibration) 효과를 구현하여 사용자가 마치 실제 기차에 탑승한 듯한 감각을 느낄 수 있도록 했습니다. 또한 생성형 AI를 활용하여 각 관광 명소에 대한 안내 방송을 제작하고 이를 적절한 타이밍에 재생함으로써 실제 기차 여행에서 듣는 관광 아나운서의 경험을 재현했습니다. 이러한 요소들—동적 카메라 움직임, 물리적 흔들림, 맥락적 음성 안내—은 단순히 창문 메타포의 시각적 인터랙션만이 아니라, 청각적·촉각적(kinesthetic) 피드백까지 통합하여 멀티모달의 인터랙티브 콘텐츠 경험을 제공합니다.

개발한 시스템과 콘텐츠의 실효성을 검증하기 위해 강남 AT센터에서 개최된 관광 일자리 페스타의 실감 관광콘텐츠 전시 세션에 참가하여 2일간 실제 관람객을 대상으로 시연을 진행했습니다. 전시 준비 과정에서 관광 업계 종사자로부터 지속적인 피드백을 받아 콘텐츠와 전시 구성을 고도화했으며 Cinema 4D를 활용해 제작한 애니메이션 목업을 통해 관람객의 시선을 효과적으로 유도했습니다. 다양한 연령대와 배경을 가진 일반 대중이 직접 시스템을 체험하며 창문 메타포 기반의 자연스러운 인터랙션과 고품질 시각 콘텐츠에 대한 긍정적인 반응과 구체적인 피드백을 얻을 수 있었습니다. 전시 결과, 본 프로젝트는 실감형 관광 콘텐츠로서의 혁신성과 완성도를 인정받아 최우수상인 한국관광공사장상을 수상했습니다. 이는 기술적 구현의 우수성뿐만 아니라, 사용자 중심 인터랙션 디자인과 콘텐츠 기획이 실제 관광 산업 맥락에서 가치 있는 솔루션으로 평가받았음을 의미합니다.

인터랙션 프로토타입에 그치지 않고, 창문 메타포라는 본 디자인의 핵심 가치인 공간감 형성 효과와 자연스러운 신체 기반 상호작용을 최대한 활용할 수 있는 콘텐츠를 개발하고자 했습니다. 콘텐츠 아이디어에 대한 브레인스토밍을 진행한 결과, 기차 창문을 통해 이동하며 다양한 관광 명소를 바라보는 가상 여행 콘텐츠를 개발하기로 결정했습니다. 기차 여행이라는 경험은 실제로 창문을 통해 끊임없이 변화하는 풍경을 감상하는 익숙한 시나리오이며 사용자가 몸을 움직여 창문 너머 공간을 탐색하는 본 시스템의 인터랙션 메커니즘과 자연스럽게 일치하기 때문입니다.

콘텐츠의 시각적 품질을 극대화하기 위해 한국의 대표적인 관광 명소를 Blender를 활용하여 직접 3D 모델링으로 제작했습니다. 제작된 에셋은 Unity의 HDRP(High Definition Render Pipeline)를 통해 렌더링되며 포스트 프로세싱과 고품질 이펙트를 적용하여 시각적 완성도를 높였습니다. 이를 통해 사용자는 아름다운 한국의 관광 명소를 실사에 가까운 몰입감 있는 시각 효과로 경험할 수 있습니다. 구현된 주요 장면으로는 낮 시간대의 경주 한옥마을과 경주의 대표적인 야경 명소인 월정교의 야경 씬을 제작했습니다. 낮과 밤이라는 서로 다른 시간대를 구현함으로써 조명과 분위기의 대비를 통해 각 장소의 고유한 매력을 효과적으로 전달하고 동시에 시스템의 렌더링 품질과 공간감 표현 능력을 다양한 환경에서 검증할 수 있도록 했습니다.

OUTCOME

개발한 시스템과 콘텐츠의 실효성을 검증하기 위해 강남 AT센터에서 개최된 관광 일자리 페스타의 실감 관광콘텐츠 전시 세션에 참가하여 2일간 실제 관람객을 대상으로 시연을 진행했습니다. 전시 준비 과정에서 관광 업계 종사자로부터 지속적인 피드백을 받아 콘텐츠와 전시 구성을 고도화했으며 Cinema 4D를 활용해 제작한 애니메이션 목업을 통해 관람객의 시선을 효과적으로 유도했습니다. 다양한 연령대와 배경을 가진 일반 대중이 직접 시스템을 체험하며 창문 메타포 기반의 자연스러운 인터랙션과 고품질 시각 콘텐츠에 대한 긍정적인 반응과 구체적인 피드백을 얻을 수 있었습니다. 전시 결과, 본 프로젝트는 실감형 관광 콘텐츠로서의 혁신성과 완성도를 인정받아 최우수상인 한국관광공사장상을 수상했습니다. 이는 기술적 구현의 우수성뿐만 아니라, 사용자 중심 인터랙션 디자인과 콘텐츠 기획이 실제 관광 산업 맥락에서 가치 있는 솔루션으로 평가받았음을 의미합니다.