Calmpilot
Calmpilot
📅 September 2023 ~ february 2024
📅 September 2023 ~ february 2024
🧑💼 Team Leader
🧑💼 Team Leader
Data Pipeline Design & Analysis
Cross-Platform System Integration
Affective Computing System
Mobile & Wearable
🏆 KCC 2024 학부생 우수논문상
🏆 KCC 2024 학부생 우수논문상
🏆 Vietnam Mobile Summit 2024 창업 전시
🏆 Vietnam Mobile Summit 2024 창업 전시
Data Pipeline Design & Analysis
Cross-Platform System Integration
Mobile & Wearable
Affective Computing System
Calmpilot : 사회 공포증 개선을 위한 햅틱 피드백 모델링 및
데이터 분석이 가능한 VRET 환경 설계
Calmpilot : 사회 공포증 개선을 위한 햅틱 피드백 모델링 및 데이터 분석이 가능한 VRET 환경 설계
Abstract
Abstract
언어
Calmpilot은 임상 행동 치료 이론을 기반으로 설계된 세 가지 햅틱 패턴(실시간 심박수보다 낮은 주파수의 지속적인 진동, 복식 호흡 유도, 나비 포옹법)의 효과를 통제된 VR 발표 환경에서 검증하고자 한 연구입니다. 웨어러블 디바이스와 WebSocket 기반 실시간 스트리밍 아키텍처를 구축하여 심박수 데이터를 수집하고, 타임스탬프 기반 로깅 시스템으로 실험 과정을 기록해 안정화 효과에 대한 데이터를 분석했습니다. 이를 토대로 실시간 생체 신호를 모니터링하며 심박수가 115 BPM을 초과할 때 최적의 햅틱 피드백을 자동으로 제공하는 적응형 개입 플랫폼을 구현하고자 했습니다. Calmpilot은 개인이 불안 상황에서 외부 개입 없이도 스스로 안정화를 유도할 수 있는 확장 가능한 데이터 분석 결과와 시스템 아키텍처를 제안합니다.
Calmpilot은 임상 행동 치료 이론을 기반으로 설계된 세 가지 햅틱 패턴(실시간 심박수보다 낮은 주파수의 지속적인 진동, 복식 호흡 유도, 나비 포옹법)의 효과를 통제된 VR 발표 환경에서 검증하고자 한 연구입니다. 웨어러블 디바이스와 WebSocket 기반 실시간 스트리밍 아키텍처를 구축하여 심박수 데이터를 수집하고, 타임스탬프 기반 로깅 시스템으로 실험 과정을 기록해 안정화 효과에 대한 데이터를 분석했습니다. 이를 토대로 실시간 생체 신호를 모니터링하며 심박수가 115 BPM을 초과할 때 최적의 햅틱 피드백을 자동으로 제공하는 적응형 개입 플랫폼을 구현하고자 했습니다. Calmpilot은 개인이 불안 상황에서 외부 개입 없이도 스스로 안정화를 유도할 수 있는 확장 가능한 데이터 분석 결과와 시스템 아키텍처를 제안합니다.
사용자 데이터를 정량적으로 분석하고 이를 활용하기 위해서는 데이터 수집부터 의사 결정까지 어떻게 연결할 수 있을까?
본 연구는 제가 2학년 2학기부터 겨울 방학까지 학부 연구생으로 1저자로 수행한 첫 연구입니다. Calmpilot은 생체 신호 기반 햅틱 피드백의 데이터를 분석함으로써 자가 조절이 가능한 불안 관리 시스템을 제안합니다. 이를 위해 모바일 웨어러블(스마트 워치) - 클라이언트(게임 엔진) - 햅틱 디바이스(bhaptics Suit)를 연결하는 이종 플랫폼 통합 아키텍처를 구축했습니다. WebSocket 기반 실시간 스트리밍 레이어를 설계해 심박수 데이터의 초 단위 동기화를 구현했고 C# 타임스탬프 기반 CSV 로깅 시스템으로 실험 중 생체 데이터를 구조화하여 수집합니다. 또한 햅틱 피드백 설계를 위해 심리학·행동 치료 문헌을 리뷰하여 세 가지 이완 기법을 bhaptics Designer로 진동 패턴화하고 심박수 임계값 기반 적응형 트리거 알고리즘을 구현했습니다. 참가자 데이터를 분석한 결과, 호흡 유도 햅틱이 평균 심박수를 4 BPM 감소시키며 가장 효과적이고 지속적인 안정화를 보였습니다. 본 연구는 한국컴퓨터종합학술대회(KCC) 2024에서 1저자로 발표되어 학부생 우수논문상을 수상했으며 추후 베트남 최대 규모의 모바일 컨퍼런스인 Vietnam Mobile Summit 2024에서 창업 전시를 진행하였습니다.
사용자 데이터를 정량적으로 분석하고 이를 활용하기 위해서는 데이터 수집부터 의사 결정까지 어떻게 연결할 수 있을까?
본 연구는 제가 2학년 2학기부터 겨울 방학까지 학부 연구생으로 1저자로 수행한 첫 연구입니다. Calmpilot은 생체 신호 기반 햅틱 피드백의 데이터를 분석함으로써 자가 조절이 가능한 불안 관리 시스템을 제안합니다. 이를 위해 모바일 웨어러블(스마트 워치) - 클라이언트(게임 엔진) - 햅틱 디바이스(bhaptics Suit)를 연결하는 이종 플랫폼 통합 아키텍처를 구축했습니다. WebSocket 기반 실시간 스트리밍 레이어를 설계해 심박수 데이터의 초 단위 동기화를 구현했고 C# 타임스탬프 기반 CSV 로깅 시스템으로 실험 중 생체 데이터를 구조화하여 수집합니다. 또한 햅틱 피드백 설계를 위해 심리학·행동 치료 문헌을 리뷰하여 세 가지 이완 기법을 bhaptics Designer로 진동 패턴화하고 심박수 임계값 기반 적응형 트리거 알고리즘을 구현했습니다. 참가자 데이터를 분석한 결과, 호흡 유도 햅틱이 평균 심박수를 4 BPM 감소시키며 가장 효과적이고 지속적인 안정화를 보였습니다. 본 연구는 한국컴퓨터종합학술대회(KCC) 2024에서 1저자로 발표되어 학부생 우수논문상을 수상했으며 추후 베트남 최대 규모의 모바일 컨퍼런스인 Vietnam Mobile Summit 2024에서 창업 전시를 진행하였습니다.
BACKGROUND
BACKGROUND
연구 배경
사회 공포증은 대인 상황에서의 기능을 저해하며 특히 대학생 집단에서 높은 유병률을 보입니다. 기존 연구에 따르면 노출 치료와 이완 훈련, 생체 피드백 같은 행동 개입 기법을 결합할 때 공포증 개선에 있어 더 우수한 치료 효과를 보이나 인지행동치료 전문가의 부족과 실시간 개입의 어려움이 한계로 작용합니다. 이러한 문제를 해결하기 위해 실시간 웨어러블 생체 측정과 햅틱 피드백을 통합한 자가 조절 시스템을 구상했습니다.
연구 배경
사회 공포증은 대인 상황에서의 기능을 저해하며 특히 대학생 집단에서 높은 유병률을 보입니다. 기존 연구에 따르면 노출 치료와 이완 훈련, 생체 피드백 같은 행동 개입 기법을 결합할 때 공포증 개선에 있어 더 우수한 치료 효과를 보이나 인지행동치료 전문가의 부족과 실시간 개입의 어려움이 한계로 작용합니다. 이러한 문제를 해결하기 위해 실시간 웨어러블 생체 측정과 햅틱 피드백을 통합한 자가 조절 시스템을 구상했습니다.
RESEARCH
RESEARCH
실시간 생체 정보 기반 햅틱 피드백의 불안 완화 선행 연구
Azevedo et al.(2017)은 손목에 착용하는 웨어러블 디바이스 doppel이 발표 상황 대기 중 불안을 완화하는지 검증했습니다. 참가자의 안정 시 심박수보다 약 20% 느린 주기의 심장박동 유사 진동을 손목에 전달한 결과, 진동이 없는 대조군 대비 피부전도도 상승폭이 유의하게 낮았고(p=0.027), 자기보고 불안 수준 역시 유의하게 감소했습니다(p=0.047). 연구진은 이러한 효과가 바이오피드백처럼 의식적 주의나 조절 노력 없이도 느린 리듬에 대한 신체의 자연스러운 동조(entrainment) 메커니즘을 통해 발생한다고 해석했으며, 이는 촉각 기반 햅틱 피드백이 사회불안 상황에서 생리적 각성과 주관적 불안을 동시에 낮출 수 있음을 시사합니다.
불안 완화를 위한 햅틱 피드백 모델링의 선행 연구
Deusdado & Antunes(2023)는 조현병 환자의 재활 치료를 위해 VR과 햅틱 조끼를 결합한 시스템을 개발했습니다. 포르투갈 포르투의 지하철역을 Unity로 재현한 가상 환경에서 bHaptics TactSuit X40의 40개 진동 모터에 각각 충돌 센서를 부여해, 벽에 기대거나 NPC와 부딪힐 때 해당 위치의 모터가 실시간으로 반응하도록 구현했습니다. 특히 포옹 상호작용의 경우 가슴 접촉 → 팔뚝 감싸기 → 완전한 포옹 순으로 진동 모터가 순차 활성화되는 패턴을 설계해 정서적 교감을 촉각으로 전달하고자 했습니다. 12명 대상 사용자 테스트 결과 대다수가 햅틱 피드백이 몰입도를 높인다고 응답했으며, 이는 정신질환 치료용 VR에서 햅틱 장치가 현실감과 치료 효과를 동시에 강화할 수 있음을 시사합니다.
실시간 생체 정보 기반 햅틱 피드백의 불안 완화 선행 연구
Azevedo et al.(2017)은 손목에 착용하는 웨어러블 디바이스 doppel이 발표 상황 대기 중 불안을 완화하는지 검증했습니다. 참가자의 안정 시 심박수보다 약 20% 느린 주기의 심장박동 유사 진동을 손목에 전달한 결과, 진동이 없는 대조군 대비 피부전도도 상승폭이 유의하게 낮았고(p=0.027), 자기보고 불안 수준 역시 유의하게 감소했습니다(p=0.047). 연구진은 이러한 효과가 바이오피드백처럼 의식적 주의나 조절 노력 없이도 느린 리듬에 대한 신체의 자연스러운 동조(entrainment) 메커니즘을 통해 발생한다고 해석했으며, 이는 촉각 기반 햅틱 피드백이 사회불안 상황에서 생리적 각성과 주관적 불안을 동시에 낮출 수 있음을 시사합니다.
불안 완화를 위한 햅틱 피드백 모델링의 선행 연구
Deusdado & Antunes(2023)는 조현병 환자의 재활 치료를 위해 VR과 햅틱 조끼를 결합한 시스템을 개발했습니다. 포르투갈 포르투의 지하철역을 Unity로 재현한 가상 환경에서 bHaptics TactSuit X40의 40개 진동 모터에 각각 충돌 센서를 부여해, 벽에 기대거나 NPC와 부딪힐 때 해당 위치의 모터가 실시간으로 반응하도록 구현했습니다. 특히 포옹 상호작용의 경우 가슴 접촉 → 팔뚝 감싸기 → 완전한 포옹 순으로 진동 모터가 순차 활성화되는 패턴을 설계해 정서적 교감을 촉각으로 전달하고자 했습니다. 12명 대상 사용자 테스트 결과 대다수가 햅틱 피드백이 몰입도를 높인다고 응답했으며, 이는 정신질환 치료용 VR에서 햅틱 장치가 현실감과 치료 효과를 동시에 강화할 수 있음을 시사합니다.
연구 방향
Azevedo et al.(2017)은 느린 심박 유사 진동이 불안을 완화함을 입증했으나 단일 주파수의 고정된 진동만 적용해 다양한 햅틱 패턴 간 효과 비교가 이루어지지 않았고 실시간 생체 신호 연동 없이 사전 측정된 심박수 기준으로만 진동 주기를 설정했습니다. Deusdado & Antunes(2023)는 VR 환경에서 햅틱 조끼의 실시간 충돌 피드백을 구현했으나 생체 데이터 기반 적응형 피드백이 아닌 이벤트 트리거 방식에 그쳤습니다. 기존 연구들은 햅틱 피드백의 효과성을 개별적으로 탐구했을 뿐, 실시간 생체 신호에 연동하여 서로 다른 햅틱 모델링 형태가 생리적 반응에 미치는 영향을 비교 분석한 연구는 미흡한 실정입니다. 이러한 공백을 메우기 위해 웨어러블 디바이스로 측정한 실시간 심박수에 따라 세 가지 임상 기반 햅틱 패턴(느린 진동, 심호흡 유도, 나비포옹법)을 모델링하고, VRET 환경을 통제된 실험 조건으로 활용해 각 피드백 유형별 심박수 변화와 지속 효과를 정량적으로 비교 분석하고자 합니다.
DESIGN
DESIGN
기술 설계 및 데이터 파이프라인
생체 정보 측정에 필요한 스마트 워치의 실시간 심박수 데이터는 Unity 플러그인인 HypeRate 에셋을 통해 Unity로 실시간 전송합니다. HypeRate는 다양한 웨어러블 디바이스의 심박 데이터를 WebSocket 기반으로 중계해주는 개발자 툴킷으로 Unity SDK를 통해 심박수를 클라이언트 내부로 수신할 수 있습니다. 수신된 데이터는 1초 간격으로 갱신되어 변수로 활용하거나 UI에 표시할 수 있으며, 동시에 C#의 StreamWriter 클래스를 사용해 타임스탬프와 함께 CSV 파일에 기록하여 실험 후 시계열 분석이 가능하도록 설계했습니다.
기술 설계 및 데이터 파이프라인
생체 정보 측정에 필요한 스마트 워치의 실시간 심박수 데이터는 Unity 플러그인인 HypeRate 에셋을 통해 Unity로 실시간 전송합니다. HypeRate는 다양한 웨어러블 디바이스의 심박 데이터를 WebSocket 기반으로 중계해주는 개발자 툴킷으로 Unity SDK를 통해 심박수를 클라이언트 내부로 수신할 수 있습니다. 수신된 데이터는 1초 간격으로 갱신되어 변수로 활용하거나 UI에 표시할 수 있으며, 동시에 C#의 StreamWriter 클래스를 사용해 타임스탬프와 함께 CSV 파일에 기록하여 실험 후 시계열 분석이 가능하도록 설계했습니다.
햅틱 피드백 모델링 및 실험 환경 구축
bhaptics Designer는 웹 기반 햅틱 패턴 저작 도구로 타임라인 에디터에서 TactSuit의 40개 진동 모터 각각의 위치, 강도, 지속시간을 시각적으로 배치해 .tact 파일로 내보낼 수 있습니다. 이를 활용해 기존 공포증 치료 연구에서 임상적으로 검증된 세 가지 기법을 촉각 패턴으로 모델링했습니다: Azevedo(2017)가 긴장 완화 효과를 입증한 평상시 심박보다 20% 느린 주기의 10초간 진동, Haynes(2022)에서 가장 효과적이었던 심호흡 유도를 복부 중앙 기준 들숨/날숨에 따라 원을 그리는 진동으로 구현한 패턴, 그리고 EMDR 기반 외상 치료에서 활용되는 나비포옹법을 양쪽 어깨 교차 단발 진동으로 변환한 패턴입니다. 모델링된 패턴은 bhaptics SDK를 통해 Unity에 연동했고 VR 환경은 Unity의 XR Interaction Toolkit으로 구현해 OpenXR 표준 기반의 입력 추상화를 통해 Meta Quest, HTC Vive 등 다양한 HMD를 단일 코드베이스로 지원하도록 설계했습니다. 런타임에서는 HypeRate로 수신된 실시간 심박수가 115 이상으로 상승하면 bhaptics SDK의 Play 함수를 호출해 해당 패턴을 재생하는 방식으로 생체 신호 기반 피드백 루프를 구성했습니다.
햅틱 피드백 모델링 및 실험 환경 구축
bhaptics Designer는 웹 기반 햅틱 패턴 저작 도구로 타임라인 에디터에서 TactSuit의 40개 진동 모터 각각의 위치, 강도, 지속시간을 시각적으로 배치해 .tact 파일로 내보낼 수 있습니다. 이를 활용해 기존 공포증 치료 연구에서 임상적으로 검증된 세 가지 기법을 촉각 패턴으로 모델링했습니다: Azevedo(2017)가 긴장 완화 효과를 입증한 평상시 심박보다 20% 느린 주기의 10초간 진동, Haynes(2022)에서 가장 효과적이었던 심호흡 유도를 복부 중앙 기준 들숨/날숨에 따라 원을 그리는 진동으로 구현한 패턴, 그리고 EMDR 기반 외상 치료에서 활용되는 나비포옹법을 양쪽 어깨 교차 단발 진동으로 변환한 패턴입니다. 모델링된 패턴은 bhaptics SDK를 통해 Unity에 연동했고 VR 환경은 Unity의 XR Interaction Toolkit으로 구현해 OpenXR 표준 기반의 입력 추상화를 통해 Meta Quest, HTC Vive 등 다양한 HMD를 단일 코드베이스로 지원하도록 설계했습니다. 런타임에서는 HypeRate로 수신된 실시간 심박수가 115 이상으로 상승하면 bhaptics SDK의 Play 함수를 호출해 해당 패턴을 재생하는 방식으로 생체 신호 기반 피드백 루프를 구성했습니다.
IMPLEMENTATION
IMPLEMENTATION
데이터 분석이 가능한 VRET 환경 설계
데이터의 실시간 처리와 기록이 가능한 실험 환경인 VR 발표 환경은 Unity Engine으로 구현했으며 실제 발표 상황의 심리적 압박 요소를 정밀하게 재현했습니다. 청중 NPC는 Animator Controller의 State Machine으로 Idle, Clapping, Questioning 등 상태 전이를 관리하고, 사회자 등장, 시간 경고, 돌발 상황 등 연출 시퀀스는 Timeline과 Playable Director로 스크립팅해 타이밍을 제어했습니다. PPT 넘기기나 대본 확인 등 발표 내 요소와의 상호작용은 Ray Interactor 기반 레이캐스트와 컨트롤러 트리거 입력으로 구현했고 녹화 중 표시와 타이머는 World Space Canvas로 발표장 공간에 배치해 현실감을 유지했습니다. 대기실에서 발표장으로의 전환은 Async Scene Loading과 페이드 연출을 적용해 몰입 단절을 최소화했으며 이를 통해 변인이 통제된 환경에서 햅틱 피드백 유형별 생리적 반응을 정량적으로 비교 측정할 수 있도록 설계했습니다.
VRET 환경 내 데이터 수집 및 로깅 파이프라인
VRET 환경 내 모든 실험 데이터는 Unity의 StreamWriter를 활용해 CSV 형식으로 실시간 로깅됩니다. 심박수 데이터는 HypeRate를 통해 수신된 BPM 값을 5초 간격으로 샘플링하여 타임스탬프와 함께 기록하고 햅틱 피드백 발생 시점에는 진동 유형(느린 진동, 심호흡 유도, 나비포옹법)과 트리거 타임스탬프를 별도 로그로 저장합니다. 콘텐츠 진행 상태는 씬 전환 이벤트를 감지해 대기실 입장/퇴장, 발표 시작/종료 시각을 기록하며 각 구간별 체류 시간을 자동 산출합니다. 모든 로그는 실험자 ID를 키로 하여 세션별로 분리 저장되며, 타임스탬프 동기화를 통해 심박수 변화 시점과 햅틱 피드백 발생 시점, 콘텐츠 구간을 사후에 정렬·병합하여 피드백 유형별 생리적 반응의 시계열 분석이 가능하도록 파이프라인을 설계했습니다.
데이터 분석이 가능한 VRET 환경 설계
데이터의 실시간 처리와 기록이 가능한 실험 환경인 VR 발표 환경은 Unity Engine으로 구현했으며 실제 발표 상황의 심리적 압박 요소를 정밀하게 재현했습니다. 청중 NPC는 Animator Controller의 State Machine으로 Idle, Clapping, Questioning 등 상태 전이를 관리하고, 사회자 등장, 시간 경고, 돌발 상황 등 연출 시퀀스는 Timeline과 Playable Director로 스크립팅해 타이밍을 제어했습니다. PPT 넘기기나 대본 확인 등 발표 내 요소와의 상호작용은 Ray Interactor 기반 레이캐스트와 컨트롤러 트리거 입력으로 구현했고 녹화 중 표시와 타이머는 World Space Canvas로 발표장 공간에 배치해 현실감을 유지했습니다. 대기실에서 발표장으로의 전환은 Async Scene Loading과 페이드 연출을 적용해 몰입 단절을 최소화했으며 이를 통해 변인이 통제된 환경에서 햅틱 피드백 유형별 생리적 반응을 정량적으로 비교 측정할 수 있도록 설계했습니다.
VRET 환경 내 데이터 수집 및 로깅 파이프라인
VRET 환경 내 모든 실험 데이터는 Unity의 StreamWriter를 활용해 CSV 형식으로 실시간 로깅됩니다. 심박수 데이터는 HypeRate를 통해 수신된 BPM 값을 5초 간격으로 샘플링하여 타임스탬프와 함께 기록하고 햅틱 피드백 발생 시점에는 진동 유형(느린 진동, 심호흡 유도, 나비포옹법)과 트리거 타임스탬프를 별도 로그로 저장합니다. 콘텐츠 진행 상태는 씬 전환 이벤트를 감지해 대기실 입장/퇴장, 발표 시작/종료 시각을 기록하며 각 구간별 체류 시간을 자동 산출합니다. 모든 로그는 실험자 ID를 키로 하여 세션별로 분리 저장되며, 타임스탬프 동기화를 통해 심박수 변화 시점과 햅틱 피드백 발생 시점, 콘텐츠 구간을 사후에 정렬·병합하여 피드백 유형별 생리적 반응의 시계열 분석이 가능하도록 파이프라인을 설계했습니다.
DATA ANALYSIS
DATA ANALYSIS
VRET 환경 내 데이터 수집 및 로깅 파이프라인
수집된 원시 데이터는 분석 전 전처리 과정을 거칩니다. 먼저 각 컬럼별 결측치 존재 여부를 확인하고, 심박수 데이터의 경우 결측 구간을 평균값 또는 중앙값으로 대체하거나 해당 행을 제외하는 방식으로 처리했습니다. 진동 유형(느린 진동, 심호흡 유도, 나비포옹법)과 같은 범주형 데이터는 정수형으로 인코딩하여 정량 분석이 가능하도록 변환했고, 1초 간격으로 기록된 시계열 심박수 데이터는 시간 간격의 균일성을 검증한 뒤 타임스탬프 형식을 통일하여 피드백 발생 시점과의 동기화 분석에 활용했습니다.
VRET 환경 내 데이터 수집 및 로깅 파이프라인
수집된 원시 데이터는 분석 전 전처리 과정을 거칩니다. 먼저 각 컬럼별 결측치 존재 여부를 확인하고, 심박수 데이터의 경우 결측 구간을 평균값 또는 중앙값으로 대체하거나 해당 행을 제외하는 방식으로 처리했습니다. 진동 유형(느린 진동, 심호흡 유도, 나비포옹법)과 같은 범주형 데이터는 정수형으로 인코딩하여 정량 분석이 가능하도록 변환했고, 1초 간격으로 기록된 시계열 심박수 데이터는 시간 간격의 균일성을 검증한 뒤 타임스탬프 형식을 통일하여 피드백 발생 시점과의 동기화 분석에 활용했습니다.
데이터 분석 결과 - 통계적 분석
통계적 분석은 피드백 유형에 따른 심박수 변화를 비교하는 방식으로 진행했습니다. 피드백 발생 전후의 심박수 차이를 산출하고, 피드백 없음·느린 진동·심호흡 유도·나비포옹법 네 조건 간 평균 심박수를 비교했습니다. 분석 결과 피드백이 없는 조건에서는 평균 심박수가 111인 반면, 피드백이 있는 조건에서는 107로 감소해 햅틱 피드백의 전반적인 긴장 완화 효과를 확인했습니다. 피드백 유형별로는 심호흡 유도 진동이 심박수 감소폭과 효과 지속 시간 모두에서 가장 우수했고, 느린 진동과 심호흡 유도는 즉각적인 효과를 보인 반면 나비포옹법은 2~3회 반복 후에야 효과가 나타나는 시간 지연 특성을 보였습니다.
데이터 분석 결과 - 통계적 분석
통계적 분석은 피드백 유형에 따른 심박수 변화를 비교하는 방식으로 진행했습니다. 피드백 발생 전후의 심박수 차이를 산출하고, 피드백 없음·느린 진동·심호흡 유도·나비포옹법 네 조건 간 평균 심박수를 비교했습니다. 분석 결과 피드백이 없는 조건에서는 평균 심박수가 111인 반면, 피드백이 있는 조건에서는 107로 감소해 햅틱 피드백의 전반적인 긴장 완화 효과를 확인했습니다. 피드백 유형별로는 심호흡 유도 진동이 심박수 감소폭과 효과 지속 시간 모두에서 가장 우수했고, 느린 진동과 심호흡 유도는 즉각적인 효과를 보인 반면 나비포옹법은 2~3회 반복 후에야 효과가 나타나는 시간 지연 특성을 보였습니다.
데이터 분석 결과 - 시계열 분석
시계열 분석은 타임스탬프 기준으로 심박수 변화 추이를 추적하는 방식으로 진행했습니다. 피드백 발생 시점을 기준으로 전후 심박수 변이를 관찰한 결과, 심호흡 유도 진동과 느린 진동은 피드백 직후 즉각적인 심박수 감소를 보인 반면, 나비포옹법의 단발적 진동은 2~3회 반복 이후에야 감소 효과가 나타났습니다. 효과 지속 시간 측면에서도 심호흡 유도 진동이 피드백 종료 후 가장 오랜 시간 동안 낮은 심박수를 유지하는 것으로 나타났습니다. 또한 피드백이 발생한 그룹의 경우 대기실 입장 시점부터 심박수가 120에서 130 수준으로 급상승하는 패턴을 보여, 콘텐츠 구간별 심리적 긴장도 변화를 시계열상에서 확인할 수 있었습니다.
데이터 분석 결과 - 시계열 분석
시계열 분석은 타임스탬프 기준으로 심박수 변화 추이를 추적하는 방식으로 진행했습니다. 피드백 발생 시점을 기준으로 전후 심박수 변이를 관찰한 결과, 심호흡 유도 진동과 느린 진동은 피드백 직후 즉각적인 심박수 감소를 보인 반면, 나비포옹법의 단발적 진동은 2~3회 반복 이후에야 감소 효과가 나타났습니다. 효과 지속 시간 측면에서도 심호흡 유도 진동이 피드백 종료 후 가장 오랜 시간 동안 낮은 심박수를 유지하는 것으로 나타났습니다. 또한 피드백이 발생한 그룹의 경우 대기실 입장 시점부터 심박수가 120에서 130 수준으로 급상승하는 패턴을 보여, 콘텐츠 구간별 심리적 긴장도 변화를 시계열상에서 확인할 수 있었습니다.
데이터 분석 결과 - 정성 평가
정성 평가는 실험 종료 후 Google Forms를 통해 설문을 수집하는 방식으로 진행했습니다. 시스템 사용성 평가를 위해 SUS(System Usability Scale) 설문을 실시한 결과 100점 만점에 78.95점으로 양호한 사용성을 확인했습니다. 또한 햅틱 피드백이 공포감 발생 시 긴장을 완화하는 데 효과가 있을 것이라는 질문에 대해 5점 만점에 평균 4점의 긍정적 응답을 얻어, 참가자들이 햅틱 피드백의 주관적 효용을 높게 인식하고 있음을 확인했습니다.
결론
본 연구는 사회공포증 개선을 위해 실시간 심박수 기반 햅틱 피드백 시스템을 설계하고, VRET 환경에서 세 가지 피드백 유형의 효과를 비교 분석했습니다. 실험 결과 햅틱 피드백이 있는 조건에서 평균 심박수가 111에서 107로 감소했으며, 특히 심호흡 유도 진동이 심박수 감소폭과 효과 지속 시간 모두에서 가장 우수한 성능을 보였습니다. 이는 단순 노출 요법의 한계를 임상적으로 검증된 행동 기법을 촉각 피드백으로 통합함으로써 개인이 공포 상황에서 스스로 이완할 수 있는 가능성을 제시합니다. 다만 발표 공포증이 있는 참가자 확보가 충분하지 않아 피드백이 발생한 표본이 적었다는 한계가 있으며, 향후 시선 추적이나 뇌파 측정 등 다중 생체 신호를 통합하고 피드백 발생 기준에 통계적 알고리즘을 적용하여 시스템의 강건성을 높이는 연구가 필요합니다.
데이터 분석 결과 - 정성 평가
정성 평가는 실험 종료 후 Google Forms를 통해 설문을 수집하는 방식으로 진행했습니다. 시스템 사용성 평가를 위해 SUS(System Usability Scale) 설문을 실시한 결과 100점 만점에 78.95점으로 양호한 사용성을 확인했습니다. 또한 햅틱 피드백이 공포감 발생 시 긴장을 완화하는 데 효과가 있을 것이라는 질문에 대해 5점 만점에 평균 4점의 긍정적 응답을 얻어, 참가자들이 햅틱 피드백의 주관적 효용을 높게 인식하고 있음을 확인했습니다.
결론
본 연구는 사회공포증 개선을 위해 실시간 심박수 기반 햅틱 피드백 시스템을 설계하고, VRET 환경에서 세 가지 피드백 유형의 효과를 비교 분석했습니다. 실험 결과 햅틱 피드백이 있는 조건에서 평균 심박수가 111에서 107로 감소했으며, 특히 심호흡 유도 진동이 심박수 감소폭과 효과 지속 시간 모두에서 가장 우수한 성능을 보였습니다. 이는 단순 노출 요법의 한계를 임상적으로 검증된 행동 기법을 촉각 피드백으로 통합함으로써 개인이 공포 상황에서 스스로 이완할 수 있는 가능성을 제시합니다. 다만 발표 공포증이 있는 참가자 확보가 충분하지 않아 피드백이 발생한 표본이 적었다는 한계가 있으며, 향후 시선 추적이나 뇌파 측정 등 다중 생체 신호를 통합하고 피드백 발생 기준에 통계적 알고리즘을 적용하여 시스템의 강건성을 높이는 연구가 필요합니다.
OUTCOME
OUTCOME
결과
본 연구는 2024년 6월 한국정보과학회 한국컴퓨터종합학술대회(KCC 2024)에서 1저자로 논문을 발표하며 학술적 성과를 인정받았습니다. 이후 데이터 분석 결과를 토대로 시스템 사용성 개선과 프로그램 최적화를 진행하여 창업 아이템 형태로 발전시켰고 경희대학교 대표로 Vietnam Mobile Summit 2024에 참가해 부스 전시 발표를 진행했습니다. Vietnam Mobile Summit은 베트남 호치민에서 개최되는 베트남 최대 규모의 모바일 기술 컨퍼런스로, "Mobile & Life"를 주제로 모바일 기술이 삶과 산업 전반에 미치는 영향과 미래를 조망하는 자리입니다. 이를 통해 학술 연구에서 출발한 프로젝트가 실제 산업 현장에서의 적용 가능성을 검증받는 경험을 얻었으며 연구의 사회적 확장성을 확인할 수 있었습니다
프로젝트 인사이트
이종 플랫폼 통합에서의 기술적 문제 해결: 스마트워치, Unity 클라이언트, bhaptics 햅틱 장치라는 서로 다른 플랫폼을 실시간으로 연동하는 과정에서 다양한 기술적 난관에 직면했습니다. 초기에는 갤럭시 워치에서 서버를 통해 직접 심박수 데이터를 전송하는 네이티브 연동을 시도했으, 갤럭시 헬스케어 API의 허가가 일주일을 기다려도 발급되지 않고 Wear OS 개발과 WebSocket 서버 구축의 복잡도가 높아 개발 역량에서의 한계를 느꼈습니다. 이를 해결하기 위해 개발자 커뮤니티를 탐색하고 HypeRate라는 서드파티 중계 서비스를 도입해 개발 복잡도를 낮출 수 있었습니다. 이를 통해 모든 것을 직접 구현하기보다 외부 솔루션을 적절히 활용하는 것이 제한된 리소스 내 프로젝트를 완수하는 전략을 배웠습니다.
데이터 기반 의사결정의 중요성: 세 가지 햅틱 패턴 중 어떤 것이 가장 효과적일지를 검증하기 위해 정량적 데이터 수집과 분석 파이프라인 설계에 집중했습니다. 타임스탬프 기반 로깅 시스템을 통해 심박수 변화, 피드백 발생 시점, 콘텐츠 구간을 동기화하여 기록했고 데이터 분석 결과 심호흡 유도 진동이 즉각성과 지속성 모두에서 가장 우수하다는 결론을 도출할 수 있었습니다. 실제 사용자 데이터에 기반해 프로덕트 방향을 결정하는 경험을 통해 데이터 파이프라인 설계가 의사결정의 근거를 만들 수 있는 과정임을 체감했습니다.
학술 연구에서 창업 아이템으로의 전환: KCC 2024 논문 발표 이후 Vietnam Mobile Summit 전시를 준비하면서 학술적 검증과 시장 적용 사이의 간극을 경험했습니다. 논문에서는 통제된 실험 환경과 정량적 분석이 핵심이었다면 창업 전시에서는 일반 사용자가 즉시 이해할 수 있는 가치 제안과 시연 가능한 프로토타입이 필요했습니다. 이를 위해 정성 평가에서 도출된 사용성 관련 이슈를 개선하고 복잡한 기술 스택을 단순화된 사용자 경험으로 재설계하고자 했습니다.
프로젝트 인사이트
이종 플랫폼 통합에서의 기술적 문제 해결: 스마트워치, Unity 클라이언트, bhaptics 햅틱 장치라는 서로 다른 플랫폼을 실시간으로 연동하는 과정에서 다양한 기술적 난관에 직면했습니다. 초기에는 갤럭시 워치에서 서버를 통해 직접 심박수 데이터를 전송하는 네이티브 연동을 시도했으, 갤럭시 헬스케어 API의 허가가 일주일을 기다려도 발급되지 않고 Wear OS 개발과 WebSocket 서버 구축의 복잡도가 높아 개발 역량에서의 한계를 느꼈습니다. 이를 해결하기 위해 개발자 커뮤니티를 탐색하고 HypeRate라는 서드파티 중계 서비스를 도입해 개발 복잡도를 낮출 수 있었습니다. 이를 통해 모든 것을 직접 구현하기보다 외부 솔루션을 적절히 활용하는 것이 제한된 리소스 내 프로젝트를 완수하는 전략을 배웠습니다.
데이터 기반 의사결정의 중요성: 세 가지 햅틱 패턴 중 어떤 것이 가장 효과적일지를 검증하기 위해 정량적 데이터 수집과 분석 파이프라인 설계에 집중했습니다. 타임스탬프 기반 로깅 시스템을 통해 심박수 변화, 피드백 발생 시점, 콘텐츠 구간을 동기화하여 기록했고 데이터 분석 결과 심호흡 유도 진동이 즉각성과 지속성 모두에서 가장 우수하다는 결론을 도출할 수 있었습니다. 실제 사용자 데이터에 기반해 프로덕트 방향을 결정하는 경험을 통해 데이터 파이프라인 설계가 의사결정의 근거를 만들 수 있는 과정임을 체감했습니다.
학술 연구에서 창업 아이템으로의 전환: KCC 2024 논문 발표 이후 Vietnam Mobile Summit 전시를 준비하면서 학술적 검증과 시장 적용 사이의 간극을 경험했습니다. 논문에서는 통제된 실험 환경과 정량적 분석이 핵심이었다면 창업 전시에서는 일반 사용자가 즉시 이해할 수 있는 가치 제안과 시연 가능한 프로토타입이 필요했습니다. 이를 위해 정성 평가에서 도출된 사용성 관련 이슈를 개선하고 복잡한 기술 스택을 단순화된 사용자 경험으로 재설계하고자 했습니다.