UNIST 인공지능대학원 백승렬 교수 연구팀은 여러 사람이 나오는 편집 영상에서 인물의 형상과 움직임을 영상 전반에 걸쳐 일관되게 추적하는 AI 기술 ‘멀티썸즈(Multi-THuMBS)’를 개발했다. 영화나 스포츠 중계처럼 화면 각도와 구도가 자주 바뀌는 영상에서는 같은 사람이 다른 사람으로 인식되거나 3차원 위치가 잘못 복원되는 문제가 있었는데, 이 기술은 장면 전환 전후를 하나의 기준 공간으로 연결해 이런 오류를 줄이도록 설계됐다.

핵심은 장면 경계의 두 프레임에 3차원 장면 복원 기술을 적용해 배경과 카메라 위치를 추정하고, 두 화면이 공유하는 3차원 공간을 만든 뒤 인체 메시를 그 좌표계에 정렬하는 방식이다. 이후 이 정렬 정보를 장면 전체로 확장해 인물의 위치 관계와 옷차림, 자세 유사성을 함께 비교한다. 연구팀은 EgoHumans에 장면 전환 편집을 적용해 성능을 평가했고, GVHMR 대비 관절 위치 오차를 약 31% 줄였으며 신원 전환 오류는 약 62% 낮췄다고 밝혔다. 현재는 같은 장소를 촬영한 장면 전환에 적용된다.