LiteTracker: 시간적 인과관계를 활용한 고정밀 저지연 조직 추적

배경 및 학술적 계보

내시경 영상 스트림에서 조직을 추적하는 문제는 수술 내비게이션 및 확장 현실(XR) 시스템이 변형 가능한 비강체(non-rigid) 생체 표면에서 안정적인 참조점을 유지해야 한다는 필요성에서 비롯되었다. 역사적으로 이 분야는 일반적인 컴퓨터 비전의 "점 추적(point tracking)"(고전적인 Particle Videos 접근 방식 등)에서 출발하여, 극도의 정확성과 초저지연(ultra-low latency)이라는 고위험 요구사항이 핵심인 특수 의료 응용 분야로 발전해 왔다.

CoTracker3와 같은 기존 SOTA 모델들의 근본적인 "페인 포인트(pain point)"는 슬라이딩 윈도우(sliding-window) 처리에 대한 의존성이다. 이러한 모델들은 예측값을 출력하기 전에 여러 프레임(윈도우)을 누적해야 한다. 수술 환경에서 이는 종종 200ms를 초과하는 상당한 인위적 지연을 발생시키며, 이는 실시간 로봇 피드백이나 증강 현실 오버레이에 허용될 수 없는 수준이다. 더욱이, 이러한 모델의 반복적 정교화(iterative refinement) 모듈은 연산 비용이 매우 높아, 프레임 단위의 고속 추적을 저해하는 선형적인 런타임 증가를 초래한다.

직관적 도메인 용어

• 슬라이딩 윈도우 처리(Sliding-Window Processing): 대화 내용을 이해할 때 상대방이 16단어짜리 문장을 완전히 끝낼 때까지 기다려야만 단어를 처리할 수 있다고 가정해 보자. 이 경우 항상 16단어만큼 뒤처지게 된다. LiteTracker는 이를 "라이브" 스트림으로 전환하여, 각 단어가 발화되는 즉시 처리하도록 한다.
• 시간적 메모리 버퍼(Temporal Memory Buffer): 이를 "단기 기억" 수첩으로 생각하면 된다. 새로운 프레임마다 복잡한 수학 연산을 처음부터 다시 계산하는 대신, 시스템은 이전 프레임의 중요한 결과를 수첩(버퍼)에 기록해 두었다가 필요할 때 참조함으로써 막대한 시간을 절약한다.
• 지수 이동 평균(EMA) 흐름(Exponential Moving Average Flow): 이는 자동차의 최근 속도와 방향을 바탕으로 위치를 예측하는 것과 같다. 무작위로 추측하는 대신, 과거 움직임의 가중 평균을 사용하여 다음 순간의 위치를 매우 스마트하고 빠르게 예측함으로써 느리고 반복적인 보정 과정을 피한다.
• 비강체 변형(Non-rigid Deformations): 강체(예: 테이블)와 달리 조직은 늘어나고, 접히고, 찌그러진다. 이를 추적하는 것은 수술 도구에 의해 끊임없이 당겨지고 비틀리는 천 조각의 특정 지점을 추적하려는 것과 같다.

표기법 표

표기	설명
$I_t$	시간 $t$에서의 비디오 프레임
$Q$	추적할 쿼리 포인트 집합
$V_t$	시간 $t$에서의 예측 가시성 점수 ($V_t \in [0, 1]$)
$C_t$	시간 $t$에서의 예측 신뢰도 점수 ($C_t \in [0, 1]$)
$P_t$	시간 $t$에서의 포인트의 예측 2D 위치 $(x, y)$
$T_W$	윈도우 크기 (함께 처리되는 프레임 수)
$S$	스트라이드 (처리 간 건너뛰는 프레임 수)
$T_B$	시간적 메모리 버퍼 용량
$F_t$	지수 이동 평균 흐름 벡터
$\alpha$	EMA 흐름을 위한 시간적 평활화 계수

수학적 해석

저자들은 무거운 슬라이딩 윈도우 아키텍처를 시간적 메모리 버퍼로 지원되는 프레임 단위 접근 방식으로 대체하여 지연 문제를 해결했다. 기존의 반복적 정교화 없이 정확도를 유지하기 위해, 스마트 초기화 전략을 도입했다.

초기화의 핵심은 다음과 같이 정의되는 EMA 흐름이다:
$$F_t = \alpha(P_{t-1} - P_{t-2}) + (1 - \alpha)F_{t-1}$$
이 방정식은 가장 최근의 움직임 $(P_{t-1} - P_{t-2})$과 과거의 추세 $F_{t-1}$를 혼합하여 모션 벡터 $F_t$를 계산한다. $\alpha = 0.8$로 설정함으로써 모델은 가장 최근의 움직임에 더 큰 가중치를 부여하여 다음 위치 $P_t^{\text{init}}$를 높은 정밀도로 예측할 수 있게 한다:
$$P_t^{\text{init}} = P_{t-1} + F_t$$
이러한 정확한 시작점을 제공함으로써 모델은 단일 패스($L=1$) 내에서 수렴을 달성하며, 기존 모델들을 괴롭히던 연산 집약적인 반복 루프를 효과적으로 제거한다. 이후 시간적 메모리 버퍼는 링 버퍼에서 캐시된 상관관계 특징을 단순히 검색함으로써 특징 추출의 "무거운 작업"이 반복되지 않도록 보장한다.

문제 정의 및 제약 조건

핵심 문제 공식화 및 딜레마

시작점과 목표 상태
시스템의 입력은 연속적인 내시경 비디오 스트림이며, 목표는 "장기 포인트 추적(long-term point tracking)", 즉 다수의 프레임에 걸쳐 특정 해부학적 랜드마크나 조직 지점을 추적하는 것이다. 원하는 출력은 실시간으로 이 포인트들의 정확한 좌표 $(x_t, y_t)$와 가시성 및 신뢰도 점수이다. 여기서 부족한 연결 고리는 높은 추적 정확도(보통 무거운 다중 프레임 컨텍스트 처리가 필요함)를 유지하면서 동시에 수술실 환경의 엄격한 저지연 요구사항을 충족하는 능력이다.

근본적인 딜레마
저자들은 시간적 컨텍스트(temporal context)와 연산 지연(computational latency) 사이의 고전적인 트레이드오프에 직면한다. 비강체 변형, 도구에 의한 가림, 급격한 카메라 움직임으로 특징지어지는 복잡한 수술 장면에서 조직을 정확하게 추적하기 위해, 현대 모델들(이전 모델인 CoTracker3 등)은 "슬라이딩 윈도우" 처리에 의존한다. 이는 알고리즘이 프레임 시퀀스(예: 16프레임)를 버퍼링하고 정확한 위치로 수렴하기 위해 여러 번의 반복적 정교화 단계를 수행해야 함을 의미한다. 이는 실시간 수술 로봇이나 XR 응용 분야에서 허용될 수 없는 "대기" 시간을 발생시키며, 밀리초 단위의 지연조차 디지털 오버레이와 물리적 조직 간의 불일치를 초래할 수 있다.

솔루션의 수학적 해석

이 간극을 메우기 위해, 저자들은 무겁고 중복된 연산의 필요성을 우회하는 두 가지 주요 "학습 불필요(training-free)" 최적화를 도입했다.

1. 시간적 메모리 버퍼 (효율적인 특징 재사용)
모든 새로운 프레임에 대해 전체 슬라이딩 윈도우를 재처리하는 대신, 저자들은 용량 $T_B = 16$의 링 버퍼를 구현했다. 이 버퍼는 쌍별 유사도 측정과 관련된 파이프라인 중 가장 연산 비용이 많이 드는 부분인 "상관관계 특징(correlation features)"을 캐싱한다. 이를 저장함으로써 시스템은 전체 윈도우 스트라이드를 기다리는 대신 프레임 단위 처리를 수행하여 중복 계산을 방지한다.

2. 지수 이동 평균(EMA) 흐름 초기화
포인트를 "찾기" 위해 이전에 필요했던 다중 반복 정교화 단계의 필요성을 제거하기 위해, 저자들은 영리한 초기화 전략을 도입했다. 이들은 EMA 흐름 $F_t$를 사용하여 정교화 모듈이 접근하기 전에 포인트의 위치를 예측한다:
$$F_t = \alpha(P_{t-1} - P_{t-2}) + (1 - \alpha)F_{t-1}$$
여기서 $P_t$는 포인트 위치이고 $\alpha$는 평활화 계수(경험적으로 $0.8$로 설정)이다. 이를 통해 모델은 새로운 프레임에 대한 초기 위치를 다음과 같이 계산할 수 있다:
$$P^{\text{init}}_t = P_{t-1} + F_t$$
트랜스포머에 이처럼 매우 정확한 "추측"을 제공함으로써, 모델은 정교화 모듈을 통한 단일 패스($L := 1$) 내에서 수렴을 달성할 수 있다. 이는 반복 루프의 연산 비용을 효과적으로 붕괴시키며, 이는 지연 시간을 줄이는 데 있어 주요한 돌파구이다.

Figure 3. Qualitative results on video samples from the STIR Challenge 2024 [16] (top) and StereoMIS [7] (bottom) datasets. LiteTracker shows high tissue-tracking accuracy and occlusion handling under challenging deformations, tool interactions and perspec- tive changes

이 접근 방식을 선택한 이유

선택의 불가피성

LiteTracker의 저자들은 현대 수술 추적의 근본적인 병목 현상, 즉 트랜스포머 기반 장기 포인트 추적기(CoTracker3 등)의 높은 정확도와 실시간 수술실 환경의 엄격한 저지연 요구사항 사이의 트레이드오프를 식별했다. 전통적인 "SOTA" 방법들은 강력하기는 하지만, 출력을 생성하기 전에 프레임 버퍼(예: 16프레임)를 기다리도록 강제하는 슬라이딩 윈도우 처리에 의존한다. 이는 수술 로봇에서 수백 밀리초의 지연조차 안전성을 저해할 수 있는 상황에서 허용될 수 없는 "암묵적 지연(implicit latency)"을 유발한다.

비교 우위

LiteTracker는 트랜스포머 모델을 효과적으로 만드는 시간적 컨텍스트를 희생하지 않으면서도, 윈도우 기반 배치 처리에서 프레임 단위 접근 방식으로 패러다임을 전환했기 때문에 질적으로 우수하다.
- 구조적 이점: 시간적 메모리 버퍼(용량 $T_B = 16$의 링 버퍼)를 구현함으로써, 저자들은 비용이 많이 드는 상관관계 특징의 중복 재계산을 방지한다. 이는 연산 오버헤드를 $O(N \cdot T_W)$에서 보다 효율적인 프레임 단위 업데이트로 감소시킨다(여기서 $N$은 포인트 수, $T_W$는 윈도우 크기).
- 효율성: 이 방법은 $29.67$ ms의 추론 지연 시간을 달성하는데, 이는 CoTracker3보다 약 $7\times$ 빠르고 이전의 가장 빠른 방법이었던 Track-On보다 $2\times$ 빠르다. 슬라이딩 윈도우 누적의 암묵적 지연을 고려하면, CoTracker3 대비 총 지연 시간 개선은 대략 $16.6\times$에 달한다.

수학적 및 논리적 메커니즘

수학적 엔진: 지수 이동 평균(EMA) 흐름

LiteTracker가 연산 집약적인 반복 정교화 없이 고속, 저지연 성능을 달성할 수 있게 하는 핵심 수학적 혁신은 지수 이동 평균(EMA) 흐름 초기화이다.

이 메커니즘을 지배하는 마스터 방정식은 다음과 같다:

$$F_t = \alpha(P_{t-1} - P_{t-2}) + (1 - \alpha)F_{t-1}$$

방정식 분석

• $F_t$: 현재 프레임 $t$에 대해 예측된 모션 벡터(흐름)이다. 이는 $t-1$ 위치에서 추정된 $t$ 위치로의 포인트 변위를 나타낸다.
• $\alpha$: 시간적 평활화 계수(0.8로 설정)이다. 이는 "메모리 가중치" 역할을 하며, 모델이 과거 추세 대비 가장 최근에 관찰된 움직임을 얼마나 신뢰할지 결정한다.
• $(P_{t-1} - P_{t-2})$: 이 항은 이전 두 프레임 사이의 포인트 순간 속도를 계산한다. 이는 조직의 "현재" 방향을 제공한다.
• $F_{t-1}$: 이전에 계산된 흐름 벡터이다. 이를 포함함으로써 저자는 모델이 일관된 궤적을 유지하도록 보장하며, 노이즈로 인한 추적 지터(jitter)를 방지하는 물리학의 운동량 항과 같은 역할을 한다.

결과, 한계 및 결론

LiteTracker 분석: 실시간 수술 조직 추적

LiteTracker의 저자들은 무겁고 반복적인 윈도우 기반 프로세스를 간소화된 단일 패스의 프레임 단위 프로세스로 변환하여 지연 문제를 해결했다. 이들은 링 버퍼에 비용이 많이 드는 특징들을 캐싱하고, 포인트 위치를 초기화하기 위해 단순하고 우아한 수학적 휴리스틱(EMA 흐름)을 사용하여 이를 달성했다.

실험적 검증

저자들은 CoTracker3, Track-On 및 다양한 MFT 변형과 같은 베이스라인 모델들에 대해 자신들의 아키텍처를 엄격하게 테스트했다. 증거는 설득력이 있다:
* 속도: LiteTracker는 29.67 ms의 추론 지연 시간을 달성하여 CoTracker3보다 약 7배, 이전의 가장 빠른 방법인 Track-On보다 2배 더 빨라졌다.
* 정확도: 엄청난 속도 향상에도 불구하고, STIR 및 SuPer 데이터셋에서 경쟁력 있는 추적 정확도를 유지했다.
* 어블레이션 연구(Ablation Studies): 저자들은 EMA 흐름 초기화가 너무 많은 정교화 단계를 사용할 경우 오히려 성능을 저하시킨다는 것을 증명했으며, 이는 초기화가 매우 정밀하여 추가적인 반복이 불필요할 뿐만 아니라 해롭다는 것을 확인시켜 준다.

타 분야와의 동형성(Isomorphisms)

LiteTracker 분석: 저지연 조직 추적

배경 및 동기

로봇 수술 및 확장 현실(XR) 맥락에서 연조직의 움직임을 실시간으로 추적하는 것은 근본적인 과제이다. 강체와 달리 생체 조직은 복잡한 비강체 변형, 자기 가림, 급격한 시점 변화를 겪는다. CoTracker3와 같은 기존 SOTA 방법들은 높은 정확도를 유지하기 위해 여러 프레임을 한꺼번에 처리하는 슬라이딩 윈도우 아키텍처에 의존한다. 효과적이기는 하지만, 이 접근 방식은 상당한 연산 지연을 초래하여 밀리초 단위의 지연이 안전성과 정밀도에 영향을 줄 수 있는 실시간 수술 환경에는 부적합하다. 본 논문의 저자들은 고정밀 장기 추적과 수술 중 응용 분야의 엄격한 저지연 요구사항 사이의 간극을 메우고자 했다.

핵심 문제 및 수학적 솔루션

저자들은 기존 모델의 주요 병목 현상이 슬라이딩 윈도우 내 특징의 중복 재계산과 연산 비용이 높은 반복적 정교화 모듈에 대한 의존성임을 확인했다.

이를 해결하기 위해 두 가지 핵심 최적화를 도입했다:
1. 시간적 메모리 버퍼: 프레임을 재처리하는 대신, 상관관계 특징을 캐싱하는 용량 $T_B = 16$의 링 버퍼를 구현했다. 이를 통해 시스템은 이전에 계산된 데이터를 재사용하여 프레임 단위 추적을 수행할 수 있으며, 연산 부하를 효과적으로 줄인다.
2. 지수 이동 평균(EMA) 흐름 초기화: 다중 반복 정교화 단계의 필요성을 제거하기 위해 모션 기반 초기화를 도입했다. 흐름 $F_t$를 다음과 같이 정의함으로써:
$$F_t = \alpha(P_{t-1} - P_{t-2}) + (1 - \alpha)F_{t-1}$$
($\alpha = 0.8$), 새로운 프레임에 대한 초기 위치 $P_t^{\text{init}}$를 다음과 같이 예측할 수 있다:
$$P_t^{\text{init}} = P_{t-1} + F_t$$
이는 모델이 단일 패스($L=1$)에서 높은 정확도를 달성할 수 있게 하는 강력한 시작점을 제공하여 추론 시간을 획기적으로 줄인다.

구조적 골격

중복된 반복 연산을 캐시된 시간적 메모리와 예측적 모션 기반 초기화로 대체하여 실시간 상태 추정을 달성하는 메커니즘.

먼 친척(Distant Cousins)

1. 대상 분야: 양적 금융(고빈도 매매, HFT)
2. 연관성: HFT에서 트레이더는 노이즈가 많고 속도가 빠른 데이터 스트림을 기반으로 자산의 미래 가격을 예측해야 한다. 여기서의 "거울 이미지"는 예측 모델(심층 신경망 등)의 복잡성과 "틱-투-트레이드(tick-to-trade)" 지연 사이의 트레이드오프이다. LiteTracker가 비싼 반복을 우회하기 위해 EMA 흐름을 사용하는 것처럼, HFT 알고리즘은 시장 상태가 변하기 전에 찰나의 결정을 내리기 위해 경량 선형 예측기를 사용한다.
3. 대상 분야: 위성 궤도 역학
4. 연관성: 저궤도 위성을 추적하려면 섭동 속에서 지속적인 상태 업데이트가 필요하다. 여기서의 "거울 이미지"는 다음 위치 추정치를 초기화하기 위해 이전 궤도 상태의 "메모리"를 사용하는 것으로, 모든 관측 윈도우마다 전체 N-체 문제를 처음부터 다시 풀 필요를 없애준다.

"만약(What If)" 시나리오

만약 고빈도 매매 연구자가 내일 LiteTracker 방정식을 "도용"한다면, 그들은 오더북 특징 맵을 캐싱하기 위해 시간적 메모리 버퍼를 구현할 가능성이 높다. 심층적인 반복 신경망 패스를 이 EMA 기반 초기화로 대체함으로써, 그들은 실행 지연 시간을 7배까지 줄일 수 있을 것이다. 이는 시장 미세 구조에 대해 경쟁자들보다 더 빠르게 반응하게 하여, 시장의 나머지 부분이 더 복잡하고 느린 모델의 계산을 마치기 전에 가격 움직임을 효과적으로 "보는" 것을 가능하게 할 것이다. 이는 경쟁 시장 우위에 있어 엄청난 돌파구가 될 것이다.

솔직히 이 부분에 대해서는 확신이 없지만, 이 접근 방식의 수학적 효율성은 실시간 상태 추정이 반복적 정교화에 의해 병목 현상을 겪는 모든 도메인으로 매우 이식 가능해 보인다. 본 논문은 "캐싱과 예측"이라는 논리가 복잡하고 역동적인 시스템에서 실시간 성능을 잠금 해제하는 보편적인 열쇠임을 입증하며, 보편적 구조 라이브러리(Universal Library of Structures)에 중요한 기여를 한다. 절대적인 반복 정밀도를 시간적 연속성과 맞바꾸는 구조적 패턴은 수술 로봇을 신호 처리 및 그 너머의 더 넓은 세계와 연결하는 근본적인 원리이다.