MICCAI

RedDino: 적혈구 분석을 위한 파운데이션 모델

Authors Luca Zedda, Andrea Loddo, Cecilia Di Ruberto, Carsten Marr

Original Paper Published 2026

ISOM Posted 2026-03-13 01:01 UTC

Read Time 11M

Open PDF Open MICCAI page

배경 및 학술적 계보

자동화된 적혈구(RBC) 분석 문제는 전통적으로 인적 오류와 높은 변동성에 취약한 혈액학적 진단을 표준화해야 한다는 임상적 필요성에서 비롯되었다. 역사적으로 혈액 도말 검사는 수동 현미경 검사에 의존해 왔으며, 이 과정은 염색 프로토콜과 물리적 슬라이드 준비 방식에 크게 좌우된다. 이러한 요인들은 '배치 효과(batch effect)'를 유발하는데, 이는 이미지 외관의 변동성을 초래하여 AI 모델이 서로 다른 실험실이나 환자 데이터에 대해 일반화(generalize)하는 것을 어렵게 만든다. 파운데이션 모델이 일반 컴퓨터 비전 분야를 혁신했음에도 불구하고, 기존 모델들은 건강한 세포와 병리학적 세포를 구분하는 데 필요한 미세하고 정교한 형태학적 차이를 식별하도록 특화되지 않았기 때문에 적혈구 분석에의 적용은 제한적이었다.

저자들이 해결하고자 하는 핵심적인 '페인 포인트(pain point)'는 이러한 배치 효과와 적혈구에 특화된 대규모 파운데이션 모델의 부재로 인해 기존 모델들이 다양한 데이터 소스 전반에서 일반화에 실패한다는 점이다. 나아가, 자연 이미지 모델에서 표준적으로 사용되는 정규화 기법(예: Koleo regularizer)은 오히려 임상의가 감지해야 할 형태학적 이상(예: 말라리아 감염 세포 또는 극세포)을 억제하는 균일성을 강제함으로써 역효과를 낳았다.

직관적 도메인 용어

파운데이션 모델(Foundation Model): 방대한 양의 데이터를 학습하여 이미지의 근본적인 구성 요소를 이해하는 '범용 전문가'로 간주할 수 있으며, 이를 특정 작업(예: 혈액 질환 식별)에 맞게 쉽게 'Fine-tuning'할 수 있다.
자기지도 학습(Self-Supervised Learning): 라벨이 없는 거대한 퍼즐 조각 더미를 학생에게 주고 스스로 조각을 맞추게 하는 학습 방식이다. 교사가 각 조각의 정체를 알려주는 대신, 학생이 스스로 조각 간의 관계를 파악하며 학습한다. 이를 통해 모델은 비용이 많이 드는 인간의 라벨링 데이터 없이도 특징(feature)을 학습할 수 있다.
배치 효과(Batch Effect): 서로 다른 카메라, 조명, 필터를 사용하여 촬영한 사진을 비교하려는 것과 같다. 여기서 '효과'란 실제 혈액 세포의 내용물이 아닌, 장비나 공정에 의해 발생하는 인위적인 이미지 차이를 의미하며, 이는 AI의 판단을 혼란스럽게 한다.
선형 프로빙(Linear Probing): 모델의 내부 표현(representation)이 얼마나 '지능적인지' 확인하는 간단한 테스트이다. 모델의 본체를 고정(freeze)하고 그 위에 매우 단순하고 얕은 층(layer)만을 학습시킨다. 이 단순한 층이 우수한 성능을 보인다면, 모델이 이미 고품질의 유용한 특징을 학습했음을 입증하는 것이다.

표기법 테이블

변수/파라미터	설명
$wF1$	가중 F1-score, 불균형 클래스에 대해 정밀도와 재현율의 균형을 맞추는 지표.
$bAcc$	균형 정확도(Balanced accuracy), 클래스별 재현율을 평균하여 클래스 불균형을 고려함.
$Acc$	표준 정확도, 전체 샘플 대비 올바른 예측의 비율.
$N$	학습 또는 테스트에 사용된 이미지나 패치의 수.
$d$	모델 임베딩 공간의 특징 차원(예: 384, 768, 또는 1024).

수학적 해석

저자들은 DINOv2 프레임워크를 적응시켜 적혈구의 특징 표현 문제를 해결하였다. 핵심 과제는 모든 입력을 동일한 지점으로 매핑하는 '특징 붕괴(feature collapse)'를 방지하기 위해 Koleo regularizer에 의존하는 표준 자연 이미지 학습 방식에서 벗어나는 것이었다. 저자들은 적혈구의 경우 이 정규화 기법이 오히려 해롭다는 점을 확인하였다.

그들은 표준 이동 평균 중심화(moving average centering)를 Sinkhorn-Knopp 알고리즘으로 대체하였다. 수학적으로 이는 최적 운송(optimal transport) 문제를 해결하여 특징 분포를 배치 전체에 걸친 균등 분포로 매핑함으로써, 모델이 특징을 붕괴시키지 않고 세포 유형별로 뚜렷한 클러스터를 유지하도록 보장한다. Koleo regularizer를 제거하고 이 특정 중심화 기법을 구현함으로써, 모델은 임상 진단에 필요한 미세한 형태학적 변이를 보존할 수 있게 되었다.

모델 아키텍처는 세 가지 버전으로 확장되었다:
1. RedDino Small: $d=384$, 2,200만 파라미터.
2. RedDino Base: $d=768$, 8,600만 파라미터.
3. RedDino Large: $d=1024$, 3억 400만 파라미터.

125만 개 이상의 패치를 학습함으로써, 저자들은 여러 독립적인 테스트 데이터셋에서 일관되게 더 높은 $wF1$ 및 $bAcc$ 점수를 달성하여 기존 SOTA 모델을 능가하는 강력한 백본을 구축하였다. 이는 개별 세포 분할(segmentation) 방식보다 '패치 기반(patch-based)' 학습 방식이 정확한 혈액학적 분석에 필요한 맥락을 더 잘 포착한다는 점을 확인시켜 준다.

문제 정의 및 제약 조건

핵심 문제 공식화 및 딜레마

본 연구의 일차적 목표는 다양한 임상 환경에서 세포 형태를 정확하게 분류할 수 있는 강력하고 일반화된 적혈구(RBC) 분석용 '파운데이션 모델'을 개발하는 것이다. 시작점(Input)은 다양한 실험실, 이미징 방식, 염색 프로토콜에서 수집된 방대하고 이질적인 원시 혈액 도말 이미지이다. 원하는 종착점(Output)은 서로 다른 현미경이나 준비 방식에 의해 도입된 기술적 노이즈인 '배치 효과'에는 불변(invariant)하면서도, 임상적으로 유의미한 미세한 형태학적 변이에는 민감하게 반응하는 고품질의 범용 특징 표현(embedding)이다.

근본적인 딜레마는 특징 불변성(feature invariance)과 판별력(discriminative power) 사이의 상충 관계에 있다. 표준 자기지도 학습(예: 원본 DINOv2)에서 모델은 임베딩의 균등 분포를 강제하여 '특징 붕괴'를 방지하도록 설계된 정규화 기법(예: Koleo regularizer)으로 학습되는 경우가 많다. 그러나 저자들은 적혈구의 경우 이러한 균등성이 오히려 독이 된다는 사실을 발견했다. 건강한 적혈구는 형태와 색상이 자연적으로 균일하기 때문에, 엄격한 균등성을 강제하는 모델은 결국 병리학적 또는 비정상 세포를 정의하는 특징까지 억제하게 된다.

솔루션의 수학적 해석

원시 노이즈 데이터와 강력한 특징 공간 사이의 간극을 메우기 위해, 저자들은 두 가지 핵심적인 개입을 통해 DINOv2 프레임워크를 수정하였다:

Koleo Regularizer 제거: Koleo regularizer를 제거함으로써 모델이 비정상 세포 특징을 '과도하게 억제'하는 것을 방지하였다. 수학적으로 이는 임베딩 공간이 더 높은 분산을 유지하도록 하며, 이는 '정상' 클러스터에서 벗어난 병리학적 세포를 구별하는 데 필수적이다.
Sinkhorn-Knopp 중심화: 저자들은 표준 이동 평균 중심화를 Sinkhorn-Knopp 알고리즘으로 대체하였다. 이는 최적 운송(Optimal Transport) 문제를 해결하기 위한 고전적인 접근 방식이다. 이 맥락에서 이는 특징 분포를 타겟 분포(주로 균등 분포)로 매핑하는 정규화 기법으로 작용하며, 적혈구 데이터의 특정 기하학적 구조에 더 안정적이고 적합하다.

또한 저자들은 학습 전략을 개별 세포 크롭(crop)에서 패치화된 도말 이미지(patched smear images)로 전환하였다. 이를 통해 모델은 세포와 배경 간의 관계와 같은 맥락을 학습할 수 있게 되었으며, 이는 실제 생물학적 구조와 아티팩트를 구분하는 데 결정적인 역할을 한다.

본 접근 방식의 타당성

RedDino의 개발은 범용 컴퓨터 비전에서 혈액학 도메인 특화 파운데이션 모델로의 전략적 전환을 의미한다. 저자들은 DINOv2와 같은 모델이 강력하기는 하지만, 적혈구의 특정 형태학적 뉘앙스에 본질적으로 최적화되어 있지는 않다는 점을 파악했다.

접근 방식의 논리

저자들은 기존의 'SOTA' 방법론들이 불충분하다고 판단했는데, 이는 해당 모델들이 자연 이미지의 특징 붕괴를 방지하기 위해 특징의 균등 분포를 강제하는 정규화 기법(특히 Koleo regularizer)에 의존하기 때문이다. 적혈구는 형태와 색상에서 높은 수준의 자연적 균일성을 보이기 때문에, 균일성을 강제하는 정규화 기법은 임상 진단에 중요한 특징(병리학적 또는 비정상적 변이)을 효과적으로 억제한다. 이 정규화 기법을 제거함으로써, 저자들은 모델이 건강한 세포와 질병 세포를 구분하는 미세하고 불균일한 형태학적 표지를 보존할 수 있도록 하였다.

비교 우위 및 구조적 장점

Sinkhorn-Knopp 중심화: DINOv2에서 사용되는 표준 이동 평균 중심화를 Sinkhorn-Knopp 알고리즘으로 대체하였다. 이러한 변경은 특징 분포의 중심화를 처리하는 보다 강력한 방법을 제공하며, 이는 의료 영상에서 흔히 발생하는 고차원 노이즈 환경에서 학습된 표현의 품질을 직접적으로 향상시킨다.
맞춤형 증강(Custom Augmentation): 표준 픽셀 수준 증강을 Albumentations 라이브러리의 32가지 픽셀 수준 증강으로 구성된 특화된 파이프라인으로 대체함으로써, 모델은 혈액 도말의 물리적 준비 과정에서 발생하는 아티팩트에 대해 훨씬 더 높은 복원력을 갖게 되었다.

Figure 4. Different classes show distinct clusters in the UMAP projection of the feature embeddings from the Elsafty dataset source 1. On the left, we show the subject distri- bution across the UMAP space (each patient identified by a unique identifier), while on the right, we show the class distribution

수학적 및 논리적 메커니즘

RedDino의 수학적 엔진

RedDino는 적혈구(RBC) 형태학 도메인에 DINO 자기지도 학습 프레임워크를 적용한다. 모델의 핵심은 교사-학생(teacher-student) 아키텍처로 기능하는 라벨 없는 자기 증류(Self-Distillation with No Labels, DINO) 메커니즘에 있다.

마스터 방정식

RedDino 학생 네트워크 $g_{\theta_s}$의 학습을 지배하는 목적 함수는 교사 네트워크 $g_{\theta_t}$의 출력 분포를 일치시키는 것이다. 핵심 메커니즘은 교사의 소프트 확률 분포와 학생의 예측값 사이의 교차 엔트로피 손실(cross-entropy loss)을 최소화하는 것이다:

$$ \mathcal{L} = - \sum_{x \in \{x_1, x_2\}} P_t(x) \log P_s(x) $$

여기서:
1. $P_t(x) = \text{softmax}\left(\frac{f_{\theta_t}(x)}{T_t}\right)$는 교사의 출력 분포이다.
2. $P_s(x) = \text{softmax}\left(\frac{f_{\theta_s}(x)}{T_s}\right)$는 학생의 출력 분포이다.

최적화 역학

모델은 적혈구 특징의 유사성으로 정의되는 손실 지형(loss landscape)을 탐색하며 학습한다. 특징의 균등 분포를 강제하는 Koleo regularizer를 제거함으로써, 저자들은 모델이 적혈구의 자연스러운 클러스터링을 보존하도록 하였다. Sinkhorn-Knopp 알고리즘은 표준 이동 평균 중심화를 대체하며, 모델이 특징 공간에서 균형 잡힌 분포로 입력을 매핑하도록 강제하는 제약 조건으로 작용하여, 모델이 단일한 자명한(trivial) 해로 '붕괴'되는 것을 효과적으로 방지한다.

결과, 한계 및 결론

RedDino 분석: 적혈구 분석을 위한 파운데이션 모델

본 논문은 적혈구(RBC) 형태학적 분석의 과제를 해결하기 위해 설계된 특화 파운데이션 모델인 RedDino를 소개한다.

실험적 증명

저자들은 ResNet50, DINOv2(범용 버전), DinoBloom(혈액학 분야의 현 SOTA)과 비교하여 모델을 테스트하였다. 그들은 '교차 소스(cross-source)' 평가 전략을 사용하였는데, 한 데이터 소스로 모델을 학습시키고 완전히 다른 미지의 소스에서 테스트하였다. RedDino는 일관되게 베이스라인을 능가하였으며, 선형 프로빙에서 평균 2% 이상, K-NN 지표에서 3% 이상의 성능 향상을 보였다.

고찰 및 향후 발전 방향

RedDino의 성공은 향후 연구를 위한 몇 가지 흥미로운 경로를 제시한다:
* 멀티모달 데이터 통합: 향후 반복 버전에서는 임상 메타데이터(예: 환자 연령, 헤모글로빈 수치)를 임베딩 공간에 통합할 수 있다.
* 희귀 병리학을 위한 능동 학습(Active Learning): 모델이 이미 이상치(outlier) 식별에 탁월하므로, 이를 능동 학습 루프에 사용하여 인간 병리학자가 검토할 수 있도록 희귀하고 진단되지 않은 혈액 질환을 자동으로 플래깅(flagging)하는 데 활용할 수 있다.

Table 1. RedDino models outperform ResNet50, DINOv2, and DinoBloom by over 2.1% in linear probing evaluation, and over 3.0% in 1-NN and 20-NN evaluation on the Elsafty dataset using a five-fold cross-validation strategy, where one source is fixed for training and the others are used for testing. "Avg Improvement" shows the average performance gain over baselines, while "Improvement" represents the performance gain compared to non-RedDino models

Table 2. RedDino outperforms baseline models in linear probing evaluations, with the only exception of the bAcc on the DSE dataset, in a five-fold cross-validation approach. "Avg Improvement" shows the average performance gain over baselines, while "Improvement" represents the performance gain compared to non-RedDino models

타 분야와의 동형성(Isomorphisms)

구조적 골격

본 연구의 핵심은 표준 정규화 기법을 최적 운송 기반 중심화 기법으로 대체하여 미세한 형태학적 변이를 보존함으로써, 고차원의 이질적인 시각 데이터를 강력하고 저차원적인 특징 공간으로 매핑하는 자기지도 학습 프레임워크이다.

원거리 친척 분야

대상 분야: 거시경제학 (시장 역학)
- 연관성: 경제학에서 '배치 효과'(이미징 프로토콜의 변동성)는 시계열 데이터의 '구조적 단절(structural breaks)'과 거울상 관계에 있다. RedDino가 염색 변이에도 불구하고 불변 특징을 추출하기 위해 자기지도 학습을 사용하는 것과 마찬가지로, 경제학자들은 서로 다른 국가나 재정 기간에 걸쳐 노이즈가 많고 비정상(non-stationary)인 데이터로부터 '진정한' 기저 경제 신호를 추출하는 데 어려움을 겪는다.
대상 분야: 천체물리학 (은하 형태학)
- 연관성: 천문학자들은 혈액학자와 동일한 과제에 직면해 있다. 즉, 대기 간섭이나 센서 아티팩트와 같은 '노이즈'에 의해 종종 가려지는, 연속적인 형태를 가진 객체(은하)를 분류하는 것이다. 적혈구에서 미묘한 형태학적 특징을 식별하기 위한 RedDino의 접근 방식은, 관측소마다 빛 포착 품질이 다른 망원경 이미지에서 은하 유형을 분류하기 위해 모델을 학습시키는 것과 직접적인 평행을 이룬다.