September 2024 ~ November 2024
🏆 과학기술정보통신부 주최 XR 디바이스 콘텐츠 메이커톤 2위 (정보통신산업진흥원장상)
Introduction
i-There는 제가 3학년 여름방학부터 2학기에 과학기술정보통신부가 주최한 'XR 디바이스 콘텐츠 메이커톤 2024'에서 수행한 프로젝트입니다. 본 대회는 국내 AR 개발 스타트업 피앤씨솔루션의 최신 프로토타입 XR 글래스 'MERALENSE2'를 활용한 서비스 기획·개발·시연 경진대회로 제안서 예선을 통해 총 10팀이 선발되었습니다. 약 40일의 개발 기간 동안 실제 산업용 장비의 SDK를 기반으로 프로그램을 완성해야 하며 본선에서는 발표 및 실시간 시연을 통해 평가받았습니다. 저는 대학생 연합 동아리에서 직접 아이디어를 기획하고 피칭하여 팀을 구성했으며 팀장으로서 개발자 2명, 디자이너 3명, 기획자 1명으로 구성된 7인 팀을 이끌었습니다. 경진대회 출전이라는 명확한 목표 설정부터 역할 분담, 프로덕트 개발까지 전 과정을 주도하며 공학·디자인·의과대학·콘텐츠 등 다양한 전공 배경의 구성원이 각자의 강점을 최대한 발휘할 수 있도록 소통과 협업을 조율했습니다. 팀원들이 서로 다른 학교와 지역에 분산되어 있어 협업에 큰 제약이 있었으나 제한된 시간 내에 완성도 높은 결과물을 구현했습니다. 그 결과 아동 ADHD 대상 딥러닝 기반 스크리닝 콘텐츠를 완성하여 국내 스타트업·연구소·대학이 함께 경쟁한 전국 규모 경진대회에서 최종 2위(정보통신산업진흥원장상)와 상금 500만원을 수상했습니다. 본 프로젝트는 이후 국제 학술대회 CHI 2025 Student Design Competition 참가의 기반이 되었습니다.
BACKGROUND
ADHD 아동은 정신과 진단 및 치료 과정에서 부정적인 자아 정체성과 감정을 경험하는 경우가 많습니다. ADHD의 바이오마커 발굴, 뇌 영상 분석, 신경전달물질 연구, 유전자 검사 등 생리학적 연구가 활발히 진행되고 있는 반면, 정신과를 내원하는 아동의 심리적 배경을 세심하게 이해하고 접근하는 과정은 상대적으로 부족한 실정입니다. 본 프로젝트는 이를 핵심 문제로 정의하고 리서치를 수행했습니다.
ADHD는 조기 발견과 신속한 치료가 매우 중요합니다. 정신과 외래를 방문하는 아동의 46.7%가 ADHD로 진단받으며, 약 60%는 성인기까지 증상이 지속됩니다. ADHD 아동은 학업 성취도 저하, 행동 문제, 대인관계 어려움을 경험할 가능성이 높아 질병의 조기 발견과 빠른 치료 개입이 필수적입니다. 그러나 진단 및 약물 치료 과정에서 아동은 심각한 심리적 부담을 겪습니다. 선행연구에 따르면 아동들은 스스로를 탓하며 부정적인 자기 정체성을 형성하고 부모에게 죄의식과 죄책감을 느낍니다. 이러한 부정적 감정은 우울증, 불안장애, 반사회적 인격장애 등으로 이어져 오히려 ADHD 치료를 저해하는 악순환을 초래합니다. 따라서 ADHD 치료는 의학적 개입과 함께 아동의 심리적·정서적 어려움을 해소하는 통합적 접근이 필요합니다. 조기 치료만큼이나 치료 과정에서 아동이 느끼는 죄책감을 완화하고 긍정적 자아상을 형성하도록 돕는 심리적 지원이 함께 제공되어야 합니다.
보건복지부는 디지털 기술을 정신 건강 분야에 접목하여 객관적 데이터 구축을 추진하고 있습니다. 현재 정신 질환은 "기분이 우울하다", "환청이 들린다"와 같은 주관적 정보에 의존하고 있으며정신 질환도 혈압처럼 객관화된 디지털 측정 자료를 통해 환자 스스로 자신의 데이터를 수집하고 의사와 논의하여 치료 방법을 결정하는 개인화된 맞춤형 시스템이 필요한 상황입니다. 이러한 맥락에서 디지털 치료제(DTx)는 데이터를 기반으로 증상을 정량화하고 객관적으로 측정할 수 있다는 점에서 주관적 진단의 한계를 보완하며 개인별 데이터를 기반으로 맞춤형 치료를 제공할 수 있는 잠재력으로 주목받고 있습니다. 실제로 ADHD 치료에서 DTx는 유의미한 효과를 입증했으며 미국소아학회(AAP, 2019)와 영국 국립보건임상연구소(NICE, 2018)의 진료 지침 역시 6세~18세 아동 및 청소년의 ADHD 치료에 있어 약물치료와 함께 행동 치료 또는 부모 교육 프로그램 병행을 권장하고 있습니다. 따라서 XR 및 딥러닝 기반의 ADHD 스크리닝과 맞춤형 증상 개선 시스템은 증상의 정량화와 개인 맞춤형 데이터 수집을 통해 기존 약물 치료를 보완할 수 있는 효과적인 아동 맞춤형 디지털 치료제로의 확장 가능성을 지니고 있습니다.
본 프로젝트는 자아 정체성이 형성되는 시기인 8~12세 아동을 구체적인 타겟으로 선정했습니다. 이는 미국소아학회(AAP) 진료지침에서 행동 치료가 권장되는 6~18세 범위 내이며 FDA 승인 ADHD 치료 기기인 EndeavorRx의 타겟 연령대와도 일치하기 떄문입니다. 본 시스템은 아동 친화적 사용자 경험 디자인을 기반으로 XR 데이터셋과 딥러닝 분석을 통해 개인 맞춤형 스크리닝 데이터를 산출하고 이를 토대로 맞춤형 혼합 현실 프로그램을 제공함으로써 ADHD 진단 및 치료 과정에서 발생하는 아동의 심리적 부담을 효과적으로 완화하고자 합니다.
DESIGN
본 시스템은 MERALENSE2 XR 글래스를 기반으로 아동의 행동 데이터를 다층적으로 수집합니다. 가상 환경은 아동 친화적 스토리텔링과 시각적 디자인을 통해 자연스러운 몰입을 유도하며 이 과정에서 HMD 디바이스에 내장된 트래킹 센서가 행동 데이터를 실시간으로 기록합니다. 동시에 각 과제의 수행 시간, 중간 이탈 시간, 과제 전환 시간과 함께 음성 인식 시스템을 통해 고주파 빈도, 음량, 질문 완료 전 답변 시작 패턴 등 언어적 충동성 지표도 측정됩니다. 수집된 원시 데이터는 Unity 엔진의 Static 배열을 통해 메모리 상에서 효율적으로 관리되며 정규화 및 필터링 등의 전처리 과정을 거칩니다. 전처리된 데이터는 Barracuda를 통해 통합된 딥러닝 모델에 입력되어 실시간 AI 학습 및 진단이 수행되고 도출된 진단 결과와 원본 데이터는 REST API를 통해 서버로 전송되어 데이터베이스에 영구 기록됩니다. 이렇게 축적된 데이터는 지속적인 모델 개선과 장기적 증상 추적을 위한 데이터셋으로도 활용됩니다.
DSM-5의 ADHD 진단 기준 18개 증상 항목은 선행 연구의 근거 자료를 기반으로 가상 환경에서 측정 가능한 디지털 지표로 활용했습니다. 이에 딥러닝 모델을 접목함으로써 손목 움직임, 시선 추적, 음성 패턴, 과제 수행 시간 등 여러 데이터가 복합적으로 나타나는 ADHD 증상을 보다 정교하게 분류하고 정량화하고자 했습니다. CNN은 이미지에서 형태를 인식하듯 행동 데이터에서 의미 있는 패턴을 찾아냅니다. 예를 들어, 과제 수행 중 반복되는 손목의 불필요한 움직임이나 집중도가 떨어지는 시점을 학습하고, 아동마다 다른 기본 활동량 차이는 걸러내어 ADHD 증상과 직접 관련된 행동 특징만을 추출할 수 있습니다. Barracuda를 통해 Unity와 연동된 AI 모델은 수집된 데이터를 실시간으로 분석하여 각 증상을 0~3점으로 평가하고, K-ARS-IV 형식의 총 54점 만점 심각도 점수를 산출합니다.
이렇게 축적된 진단 데이터베이스는 개인화된 ADHD 개선 보조 프로그램으로 확장할 수 있습니다. 의료 전용 솔루션에서 재활 운동치료를 처방하고 환자용 애플리케이션에서 수행하는 MORA의 사례처럼 본 시스템도 과잉행동 정도에 따른 움직임 제어 과제의 난이도 조정, 집중력 부족 정도에 따른 주의력 훈련 과제의 난이도 조정 등 개인별 증상 수준에 맞춘 맞춤형 치료 콘텐츠를 제공할 수 있습니다.
ADHD 아동은 주의 통제력이 약하고 쉽게 집중력을 잃으며, 여러 일에 동시에 집중하기 어려운 특성을 가지고 있습니다. 이러한 인지적 한계를 극복하고자 본 시스템은 직관적이고 명확한 인터페이스 설계를 핵심으로 삼았습니다. 특히 AR 환경에서는 오브젝트와의 물리적 거리가 멀어질수록 아동의 주의력이 분산되고 집중에 더 많은 인지 에너지가 소모된다는 연구 결과를 반영하여 거리에 따라 시각적 자극의 강도를 조절하고 색상과 형태의 연속성을 유지했습니다. 캐릭터는 아동에게 심리적 안정감과 친근함을 주기 위해 둥글고 부드러운 형태의 진흙 돼지로 디자인했으며 파스텔 톤을 사용해 시각적 부담을 최소화했습니다. 설명은 AI 음성을 활용해 천천히 명확하게 전달하고 동화적 공간 모델링으로 자연스러운 몰입을 유도합니다. 또한 미션 완료 시 3D 이펙트를 통한 즉각적인 보상을 제공하여 아동이 성취감을 느끼고 지속적으로 참여할 수 있도록 설계했습니다.
프로그램은 아동이 아기돼지 캐릭터를 만나며 시작됩니다. 아기돼지와의 대화를 통해 자연스럽게 프로그램에 몰입하게 되며 네이버 음성인식 API를 활용해 아동이 자신의 이름을 말하면 자동으로 입력됩니다. 본격적인 과제는 DSM-5 진단 기준의 부주의와 과잉행동-충동성 총 18가지 증상 데이터를 수집하도록 설계되었습니다. Step 1에서는 집 만들기 재료를 순서대로 수집하는 과제를 수행하며 이 과정에서 아동의 총 이동 경로 거리로 과잉행동을, 잘못된 재료를 건드린 횟수로 부주의를 측정합니다. Step 2에서는 오븐에 구워지는 진흙을 가만히 바라보는 과제를 제시하여 오븐 외 다른 곳을 본 시간으로 주의력 유지 능력을, 캐릭터가 말을 걸 때 집중력이 흐트러진 횟수로 주의 산만 정도를 평가합니다. 이러한 단계별 콘텐츠는 아동의 자연스러운 참여 속에서 객관적이고 정량화된 행동 데이터를 수집합니다.
Step 3에서는 벽돌을 규칙에 따라 쌓는 과제를 통해 맞춤형 증상 개선 훈련을 제공합니다. 이 단계는 이전 Step 1, 2에서 수집되어 Tensor에 입력된 진단 데이터와 학습된 기준을 토대로 개인별 증상 수준에 맞춰 설계됩니다. 아동은 순서를 조직화하고 체계적으로 실행하는 활동을 통해 실질적인 증상 개선 훈련을 경험합니다. Final Stage에서는 모든 미션을 성공적으로 완수한 아동이 아기 돼지의 벽돌 집을 완성하고 이를 획득하는 보상을 받습니다. 이러한 후속 단계는 단순한 진단을 넘어 혼합현실 디지털 치료제로 확장할 수 있음을 보여주는 프로토타입으로 개인별 진단 데이터에 기반한 맞춤형 훈련 콘텐츠와 즉각적 보상 시스템을 통해 진단부터 치료까지 아우르는 통합 솔루션으로 발전할 수 있는 확장성을 갖추고 있습니다.
BUISNESS MODEL
본 시스템은 3단계 확장 전략을 통해 지속 가능한 비즈니스 모델을 구축합니다. 먼저 B2C 모델로 메타렌즈 2와 I-THERE를 ADHD 개선을 원하는 아동과 부모에게 직접 제공하며, 기기 판매와 구독 서비스를 통해 초기 수익을 창출하고 사용자 데이터를 축적합니다. 이후 축적된 데이터를 바탕으로 학교 및 교육기관과 파일럿 프로그램을 운영하여 ADHD 증상 개선 효과를 객관적으로 검증하고, 공공기관의 신뢰와 보조금을 확보합니다. 마지막으로 검증된 성과 데이터를 활용해 보험사와 협력하여 I-THERE를 보험 혜택으로 포함시키며, 성과 기반 과금 모델을 적용해 개선 효과가 입증된 경우에만 비용을 청구함으로써 보험사의 부담을 줄이고 장기적인 협력 관계를 구축합니다. 이를 통해 안정적인 수익 구조와 시장 점유율 확대를 동시에 달성할 수 있습니다.
저희 팀은 2024년 11월 판교 메타버스 허브에서 개최된 본선에서 심사위원들 앞에서 프로젝트를 발표했습니다. 특히 경진대회의 산업체 장비인 메타렌즈2 개발사 피앤씨솔루션의 대표이자 심사위원으로 참여하신 분께서 우리 프로젝트에 큰 관심을 보이셨으며 당시 미완성 상태였던 아이트래킹 기능을 추가로 제공할 테니 프로젝트를 지속할 의향이 있는지 제안하셨습니다. 시연 평가에서는 AI 모델 사용의 타당성과 기기 측정 범위를 벗어날 경우 데이터 신뢰성에 대한 비판적 질문들이 이어졌습니다. 최종 결과 발표에서 우리 팀은 현직 스타트업과 석박사급 연구소 등이 참여한 치열한 경쟁 속에서 최종 2위로 정보통신산업진흥원장상을 수상하며 500만원의 상금을 수여했습니다.