KindRetargeting
체형이 다른 아바타에 배우의 모션을 적용하는 리타게팅을 개발했습니다. 스콘의 방송용 보정·원격 제어부터 밍글 Streamingle의 팔·다리 보정과 설정 저장까지, 두 환경에서 맡은 작업을 정리했습니다.
개발·연구
김광진 · KINDNICK
제작에 필요한 도구
만든 기능과 담당 작업부터 볼 수 있습니다. 상세 구현과 시험 조건은 각 프로젝트에서 펼쳐볼 수 있습니다.
먼저 볼 개발
리타게팅·녹화·핸드트래킹
Motion Recorder · Vicon
Vicon 모션과 표정·음향을 녹화하고 편집해 Unity로 다시 보내는 앱을 만들었습니다. 재송출 중 Unity가 멈추는 문제와 중단된 파일의 복구를 다뤘습니다.
MMRP · OptiTrack 모션 녹화·재생
바디·표정·음향을 기록하고 편집·재송출하는 앱을 만들었습니다. 실제 테이크의 탐색·연결 오류를 수정하고 씬 상태·영상의 저장과 복구 기능도 개발했습니다.
SconVisionTracker
스테레오 RGB 카메라로 손을 추적해 기존 Leap 입력 앱에 연결하는 프로그램을 만들었습니다. 기기 실험부터 추적 처리·설정 앱·설치 프로그램까지 개발했습니다.
Mingle Face · MFT
ESP 기반 무선 페이셜 장비와 카메라 입력을 받아 표정을 Unity로 보내는 앱을 개발했습니다. 영상 수신·추론·표정 보정·출력을 연결했습니다.
제작 도구와 연구
카메라·조명·입력·장비
Streamingle
모션캡처와 아바타·카메라·조명·소품을 연결하는 Unity 공연·방송 환경을 개발했습니다. 조작용 카메라 화면의 부하를 방송 출력과 나누고 영상 재생을 통합했습니다.
Sluice · 광학 캡처 연구
광학 카메라 관측에서 공간 보정·마커 재구성·강체 추적을 연구했습니다. 카메라 초기화 실패와 무너지는 공간 형상, 잘못된 마커가 추적을 끌어당기는 문제를 다뤘습니다.
Mingle Audio
음향 장비를 직접 제작하고 PC 앱·음향 엔진을 개발했습니다. 마이크·인이어와 네트워크 오디오를 연결하고 USB 진단·무선 송신 보드는 별도 연구로 진행했습니다.
GNM·iPhone 교사 데이터 연구
합성 얼굴 화면과 iPhone 촬영 영상·표정값을 연결하는 연구 도구를 만들었습니다. 프레임 정렬을 검사하고 대용량 연구 데이터를 다른 PC에 검증·복원하는 절차를 구성했습니다.
Newton–Motive Bridge
Newton 글러브의 센서 입력으로 손가락 포즈를 계산하고 Motive에 전달하는 브리지를 연구했습니다. 장치 통신과 액터별 설정 화면, Motive 플러그인 경로를 개발했습니다.
CW-AI · 카메라 제작 도구
기존 작업자의 카메라 움직임과 새 공연의 음악·모션으로 카메라 Timeline을 생성하는 도구를 만들었습니다. 선택한 샷만 다시 만들고 Unity에 가져오는 기능을 개발했습니다.
Virtual DMX · 가상 조명
음악·영상 분석을 편집 가능한 Unity 조명 Timeline으로 바꾸는 가상 조명 도구를 개발했습니다. 빔·레이저 표현과 타이밍·캐릭터 수광 조절을 만들었습니다.
FacialTestTool · 아바타 검수
Unity 에디터를 열지 않고 FBX 아바타의 재질과 표정 연결을 검수하는 앱을 만들었습니다. 실시간 표정 입력·슬라이더·반복 재생으로 매핑과 보정을 확인하도록 구성했습니다.
ViconSimulator · 모션 레코더 이전 버전
모션 레코더 이전 버전으로, 녹화한 모션의 재생·배속·구간 반복과 CGStream 재송출을 개발했습니다. 멀티 트랙 타임라인과 음원 파형·여러 액터 미리보기를 구성했습니다.
OptiTrack → SteamVR 가상 트래커
OptiTrack 스켈레톤의 본을 SteamVR 가상 트래커에 연결하는 도구를 개발했습니다. HMD와 광학 캡처 공간을 보정하고 변환한 위치·회전을 전송하도록 만들었습니다.