작업 사진
핸드트래킹 제어 앱
카메라와 추적 옵션·상태를 확인하는 SconVisionTracker 제어 화면입니다.
내가 한 일
스테레오 손 추적과 손가락 포즈 계산, 제어 앱·설치 배포를 단독 개발했습니다.
자료 범위
v1.1.1 화면 한 시점이며 표시 FPS는 보장 성능이 아닙니다.
소프트웨어 / SCON
구현SconVisionTracker
구현한 기능
스테레오 RGB 카메라로 손을 추적해 기존 Leap 입력 앱에 연결하는 프로그램을 만들었습니다. 기기 실험부터 추적 처리·설정 앱·설치 프로그램까지 개발했습니다.
내가 한 일
기술 검토·실험·추적 파이프라인·호환 계층·배포 단독 개발
- Jetson·Android를 검토·실험한 뒤 PC 스테레오 카메라 방식을 선택했습니다.
- 카메라 보정과 손 위치·손가락 포즈 계산을 연결했습니다.
- Leap 호환 연결과 기기 재연결·설정·설치 기능을 개발했습니다.
작업 사진
추적한 손을 기존 아바타에 적용
Unity 아바타의 손에 추적 포즈를 적용한 화면입니다.
내가 한 일
손 추적 출력과 Leap 호환 통신을 구현해 기존 Unity 앱으로 연결했습니다.
자료 범위
2026년 7월 적용 화면입니다.
기술과 문제 해결 과정구현 방법 · 사용 기술 · 적용 범위
작업 배경
기존 핸드트래킹 장비를 대체하면서 이미 사용 중인 앱의 입력 경로를 유지해야 했습니다.
구현한 내용
- 01
Jetson과 Android 경로를 검토·실험한 뒤 PC 스테레오 RGB 방식을 선택했습니다.
- 02
양안 보정과 손 랜드마크 추론, 삼각측량, 손가락 포즈 계산·필터를 연결했습니다.
- 03
Leap 서비스 호환 계층과 Unity 입력 경로를 만들어 기존 앱과의 연결을 다뤘습니다.
- 04
카메라 재연결·프로세스 관리·설정 저장과 설치 프로그램을 준비했습니다.
시험 조건과 적용 범위
여기에 표시한 앱 화면과 아바타 적용 자료는 서로 다른 시점의 기록입니다. 전신 추적 확장은 손 추적과 별도 연구로 보류했습니다.
함께 볼 작업
관련 프로젝트
광학 모션캡처·방송 제작
모션캡처를 아바타와 방송에 연결하고, 밍글에서는 하리무·리아킴의 모션을 녹화해 납품했습니다. 미라이·엔터콘과 콘서트 등 팀 콘텐츠의 기술 제작에도 참여했습니다.
FacialTestTool · 아바타 검수
Unity 에디터를 열지 않고 FBX 아바타의 재질과 표정 연결을 검수하는 앱을 만들었습니다. 실시간 표정 입력·슬라이더·반복 재생으로 매핑과 보정을 확인하도록 구성했습니다.
Newton–Motive Bridge
Newton 글러브의 센서 입력으로 손가락 포즈를 계산하고 Motive에 전달하는 브리지를 연구했습니다. 장치 통신과 액터별 설정 화면, Motive 플러그인 경로를 개발했습니다.