작업 사진
다양한 표정·외형·조명 조건의 합성 얼굴 샘플
내가 한 일
GNM 기반 합성 데이터 생성과 조건 분산, 품질 검토·학습 파이프라인을 구축했습니다.
자료 범위
기하 프로토타입이며 이미지의 범주가 ARKit 정답 라벨이라는 뜻은 아닙니다.
연구 / Mingle
연구GNM·iPhone 교사 데이터 연구
연구 결과
합성 얼굴 화면과 iPhone 촬영 영상·표정값을 연결하는 연구 도구를 만들었습니다. 프레임 정렬을 검사하고 대용량 연구 데이터를 다른 PC에 검증·복원하는 절차를 구성했습니다.
내가 한 일
합성 연구 데이터 생성·촬영 제어·프레임 정렬·검수·데이터 인계 도구 개발
- 합성 얼굴의 생성 계획·표시·촬영·검수 도구를 만들었습니다.
- 표시한 원본 프레임과 촬영 영상·표정값의 시간 관계를 검사했습니다.
- 파일 해시 대조와 중단 재개를 포함한 연구 데이터 인계를 구성했습니다.
작업 사진
고정한 합성 입력에서 이전·개선 모델 출력 비교
내가 한 일
동일 입력과 제어 목표를 고정해 모델 변경 전후의 표정 제어 출력을 비교하는 평가 자료를 구성했습니다.
자료 범위
합성 테스트 비교이며 실제 카메라·ARKit 정확도 시험이 아닙니다.
작업 사진
학습에서 분리한 합성 외형의 표정 제어 추정
내가 한 일
합성 데이터의 학습·검증 분리와 목표 제어값 대비 예측 결과를 확인하는 실험을 진행했습니다.
자료 범위
합성 데이터의 held-out 시험입니다. ARKit·실카메라 정확도 검증이 아닙니다.
기술과 문제 해결 과정구현 방법 · 문제 해결 사례 2개 · 시험 조건
작업 배경
합성 프레임과 iPhone 추정 계수는 시간과 척도가 달랐고, 화면을 빠르게 바꾸면 촬영한 얼굴이 원본과 같은 상태인지 알기 어려웠습니다. 대용량 자료 이동에서도 원본과 중복 파일·이전 실험의 누락을 구분해야 했습니다.
구현한 내용
- 01
인물·표정 클립 계획과 렌더 결과에 원본 hash·프레임 ID를 붙이고 큐 재생과 촬영·검수 도구를 구성했습니다.
- 02
촬영 영상의 광학 프레임 ID와 CRC를 해독해 표시 원본에 연결하고, 영상·계수 시간과 표정이 안정된 구간을 함께 검사했습니다.
- 03
iPhone의 실제 진행 중인 입력과 녹화 시작 ACK를 분리해 확인하고, 오래된 스트림이나 확인되지 않은 시작으로 발표 큐가 진행되지 않도록 했습니다.
- 04
중복 콘텐츠를 SHA-256으로 묶고 원래 경로를 manifest에 남겨 독립 ZIP pack·중단 재개·검증 후 복원을 구현했습니다.
- 05
합성 validation 개선과 실제 얼굴 평가를 나눠 기록하고, 이전 모델의 부족한 실사 결과를 최신 모델의 정확도로 포장하지 않았습니다.
문제 해결
어떤 문제를 다뤘는지
01
화면 원본과 실제 iPhone 촬영을 연결하기
- 문제
- 화면 표시 시각만으로 촬영 영상의 얼굴과 표정 계수를 정확히 원본에 연결할 수 없었습니다. iPhone 네트워크 응답이 있다는 사실도 실제 프레임 진행이나 녹화 시작을 보장하지 않았습니다.
- 처리 방법
- 표시 프레임에 CRC가 있는 광학 ID를 넣고 실제 MOV의 ID와 CSV 계수 시각을 대조했습니다. 최근 진행 중인 native 프레임과 별도의 RecordStart 확인을 촬영 전 조건으로 사용했습니다. 빠른 전환 구간은 그대로 학습쌍으로 쓰지 않고 원본 형상과 계수·영상이 안정된 구간을 보수적으로 선별했습니다.
- 결과·범위
- 2026년 10월 2일 기록에는 4인물·64클립에서 표시 원본 ID 2,880개 중 2,878개를 촬영 영상에서 확인한 결과가 있습니다. 원본 프레임 후보 2,750개를 분리했지만 표정 계수 의미와 학습 품질까지 검증된 쌍으로 간주하지 않았습니다. 이후 원격 녹화 경로의 실기 미완료도 별도로 남겼습니다.
02
대용량 연구 자료를 검증하며 옮기기
- 문제
- 생성 이미지·연구 산출물·원본 테이크가 여러 경로에 흩어져 있었고, 중복 저장을 줄이면서도 원래 경로와 파일을 모두 복원해야 했습니다.
- 처리 방법
- 원본 경로·크기·SHA-256과 콘텐츠 객체를 분리한 manifest를 만들었습니다. 독립 ZIP pack과 체크포인트로 중단 재개를 지원하고, 파일·pack hash와 경로 안전성을 검증한 뒤 임시 파일을 원자적으로 배치하도록 했습니다. 과거 문서에만 있고 실제 없는 가중치는 이번 전달물에 포함했다고 적지 않았습니다.
- 결과·범위
- 2026년 10월 3일 인계 보고서에는 약 123.3GiB·257,691개 파일을 별도 빈 경로에 복원하고 원본 SHA-256과 대조한 기록이 있습니다. 이는 당시 데이터 인계 결과입니다. 현재 checkout에서 일부 LFS pack이 삭제된 상태를 관측했으므로 지금 모든 pack이 로컬에 있다고 주장하지 않습니다.
구현과 검증 범위
합성 생성·촬영·정렬·검수·인계 도구 구현. 교사 데이터 후보 확보·품질 검토 단계와 실제 얼굴 모델 성능을 구분. 최신 모델 실사 성능·전체52채널 실용 품질은 미검증.
실행·측정 결과는 각 사례에 적힌 당시 기록과 조건을 따릅니다.시험 조건과 적용 범위
GNM과 iPhone 계수는 외부 기술을 활용한 연구입니다. 화면 얼굴을 촬영한 교사 후보의 정렬·복원 성공은 실제 사람의 페이셜 정확도나 모델 학습 완료를 뜻하지 않습니다. 최신 합성 후보의 실사 정확도는 미측정이며 원본 얼굴·MOV·계수는 웹에 복사하지 않습니다.
함께 볼 작업
관련 프로젝트
Mingle Face · MFT
ESP 기반 무선 페이셜 장비와 카메라 입력을 받아 표정을 Unity로 보내는 앱을 개발했습니다. 영상 수신·추론·표정 보정·출력을 연결했습니다.