MICCAI

그림자 너머: 희소 주석에서 물리학 기반 초음파 신뢰도 맵 학습

Authors Matteo Ronchetti, Rüdiger Göbl, Bugra Yesilkaynak, Oliver Zettinig, Nassir Navab

Original Paper Published 2026

ISOM Posted 2026-03-19 14:48 UTC

Read Time 42M

Open PDF Open MICCAI page

배경 및 학문적 계보

기원 및 학문적 계보

초음파 영상에서 신뢰도 맵을 생성하는 문제는 새로운 것이 아니며, 의료 영상 분석 분야에서 상당히 오랫동안 지속적인 난제로 남아 있었습니다. 초음파 자체는 비침습성, 실시간 기능, 비용 효율성으로 인해 널리 사용되는 진단 도구입니다. 신뢰도 맵은 초음파 영상 내 각 픽셀의 신뢰성을 정량적으로 평가하는 방법으로 등장했으며, 다양한 후속 응용 분야에 중요한 정보를 제공합니다. 역사적으로 이러한 맵은 강도 재구성, 볼륨 컴파운딩, US-CT 등록, 그림자 감지 및 딥러닝 분할과 같은 영역에서 사용되었습니다. 최근에는 로봇 초음파에서 프로브 위치 지정 및 접촉력 최적화와 같은 작업을 위해 그 유용성이 확장되었습니다.

그러나 이러한 신뢰도 맵을 생성하는 이전 접근 방식은 상당한 한계에 직면했으며, 이는 저자들이 이 새로운 방법을 개발하도록 동기를 부여했습니다. 주요 "고충점"은 기존의 물리학 기반 모델이 종종 공명과 같은 일반적인 초음파 아티팩트를 간과하여 부정확한 신뢰도 평가로 이어진다는 것이었습니다. 그림자 기반 모델은 유용했지만 본질적으로 특정 아티팩트 유형으로 제한되었습니다. 또한 많은 방법이 임의 경계 조건으로 어려움을 겪었기 때문에 서로 다른 프레임 간에 신뢰도 맵을 일관되게 비교하기 어려웠습니다. 아마도 가장 중요하게는 이전 접근 방식이 제한된 사용자 제어를 제공했습니다. 잘못 할당된 신뢰도 값을 수정하려면 전체 알고리즘에 대한 복잡하고 광범위한 수정이 필요하여 실제 임상 시나리오에 덜 적합했습니다. 이 논문은 사용자 중심의 물리학 기반 접근 방식을 도입하여 이러한 단점을 해결하며, 이는 강력하고 유연합니다.

직관적인 도메인 용어

신뢰도 맵 (Confidence Map): 날씨 지도를 보고 있다고 상상해 보세요. 단순히 온도를 보는 것이 아니라 각 지점이 일기 예보의 확실성을 알려줍니다. 초음파의 "신뢰도 맵"도 비슷합니다. 각 작은 점(픽셀)이 초음파 영상의 특정 지점 정보가 얼마나 신뢰할 수 있는지 또는 믿을 수 있는지를 보여주는 색상으로 표시된 이미지입니다. 빨간색은 "매우 확실함", 파란색은 "전혀 확실하지 않음"을 의미할 수 있습니다.
초음파 아티팩트 (Ultrasound Artifacts): 초음파 영상에 나타나는 시각적 "트릭" 또는 "환상"으로 생각하세요. 실제 해부학적 구조는 아니지만 소리 파동이 조직이나 장비와 상호 작용하는 방식 때문에 발생합니다. 예를 들어, 뼈 뒤의 "그림자"는 빈 공간이 아니라 소리가 통과할 수 없어 어둡게 보이는 영역입니다. "공명"은 여러 번 반향하는 메아리와 같아서 잘못된 반복 패턴을 만듭니다. 이러한 아티팩트는 이미지를 오해하게 만들 수 있으며, 좋은 신뢰도 맵은 이러한 트릭이 발생하는 위치를 식별하는 데 도움이 됩니다.
확률적 그래픽 모델 (Probabilistic Graphical Model, PGM): 모든 증거 조각(각 픽셀의 잠재적 신뢰도)이 다른 조각과 연결된 정교한 "탐정 보드"와 같습니다. 연결은 알려진 관계 또는 규칙(물리학 원리 등)을 나타내며, 모델은 이러한 연결을 사용하여 일부 증거가 불확실하더라도 모든 증거에 맞는 가장 가능성 있는 전체 이야기 또는 "신뢰도 맵"을 파악합니다. 이는 불확실성과 관계에 대해 추론하는 방법입니다.
스캔라인 (Scanline): 초음파 기기가 이미지를 생성할 때 전체 그림을 한 번에 캡처하는 것은 아닙니다. 대신, 좁은 소리 빔을 하나씩 연속적으로 보내는데, 마치 화가가 완성된 그림을 형성하기 위해 많은 얇고 수직인 선을 그리는 것과 같습니다. 변환기에서 신체 내부로 들어갔다가 다시 나오는 이러한 개별 "소리 데이터 라인" 각각을 스캔라인이라고 합니다. 전체 초음파 이미지는 이러한 수백 개의 스캔라인으로 구성됩니다.

표기법 표

표기법	설명
f(d)	깊이 $d$에서 변환기로 돌아오는 에코의 강도

문제 정의 및 제약 조건

핵심 문제 공식화 및 딜레마

이 논문에서 다루는 핵심 문제는 초음파(US) 영상에 대한 "신뢰도 맵"을 생성하는 것입니다. 이러한 맵은 초음파 영상 내 각 픽셀의 신뢰성을 정량적으로 평가하는 데 중요하며, 이는 강도 재구성, 볼륨 컴파운딩 및 로봇 초음파 안내와 같은 다양한 후속 응용 프로그램을 지원합니다.

시작점(입력/현재 상태)은 종종 사용자가 제공한 희소 이진 주석과 함께 원시 초음파 영상이며, "양호"(높은 신뢰도) 또는 "불량"(낮은 신뢰도)을 나타냅니다.

원하는 종점(출력/목표 상태)은 해당 초음파 영상의 각 픽셀의 신뢰성을 정확하게 반영하는 신뢰도 맵입니다. 이 맵은 다음과 같은 몇 가지 주요 속성을 가져야 합니다.
1. 대부분 단조적: 소리 감쇠로 인해 신뢰도는 일반적으로 깊이에 따라 감소해야 합니다.
2. 픽셀 강도와 느슨하게 관련됨: 픽셀 강도와 신뢰도 간의 관계는 복잡하고 비선형적이므로 간단한 직접 매핑으로는 불충분합니다.
3. 그림자 너머: 맵은 그림자뿐만 아니라 공명, 커플링 문제 및 전자 노이즈와 같은 광범위한 초음파 아티팩트를 고려해야 합니다.
4. 음파 인지: 계산은 조사 방향을 고려하고 비선형 팬 기하학을 보상해야 합니다.
5. 수평적으로 부드러움: 점 확산 함수로 인해 맵은 비현실적인 수평 불연속성을 피해야 합니다.
또한 원하는 신뢰도 맵 생성 프로세스는 빠르고 시간적으로 안정적이어야 하며 사용자가 주석을 통해 알고리즘의 동작에 직접 영향을 미칠 수 있어야 합니다.

누락된 연결 또는 수학적 격차는 원시 초음파 영상 데이터와 희소하고 주관적인 사용자 피드백을 이러한 복잡한 속성을 준수하는 정량적이고 물리학 기반 신뢰도 맵으로 강력하고 효율적으로 변환하는 방법입니다. 이전 방법은 초음파 아티팩트의 전체 스펙트럼을 포착하지 못하는 단순화된 물리 모델에 의존하거나, 다양한 이미징 조건에 대한 적응성이 제한적이거나, 사용자 제어가 부족하여 이 격차를 해소하는 데 어려움을 겪었습니다.

이 문제는 이전 연구자들이 갇혔던 중요한 고통스러운 절충 또는 딜레마를 제시합니다.
* 단순성 대 현실성: 이전의 물리학 기반 접근 방식은 종종 초음파 전파의 단순화된 모델을 사용합니다. 수학적으로 다루기 쉽지만 이러한 모델은 "공명과 같은 아티팩트를 간과"(1페이지)하여 실제 시나리오에서 부정확한 신뢰도 평가로 이어집니다. 초음파 물리학 및 다양한 아티팩트의 전체 복잡성을 통합하면 모델을 공식화하고 해결하기가 훨씬 더 어려워집니다.
* 특수성 대 일반성: 일부 기존 방법은 "그림자 기반 모델[15]은 설계에 의해 제한됩니다"(1페이지)는 의미에서 단일 유형의 아티팩트만 감지하도록 맞춤화되었으며 초음파 영상의 다른 다양한 신뢰도 감소 현상으로 일반화할 수 없습니다.
* 자동화 대 사용자 제어: 전통적인 방법은 종종 "임의 경계 조건"으로 작동하고 "제한된 제어"(2페이지)를 제공하여 실무자가 전체 시스템에 대한 복잡한 수정 없이 잘못 할당된 신뢰도를 수정하기 어렵게 만듭니다. 이는 완전히 자동화된 엄격한 시스템과 유연하고 사용자에게 적응 가능한 시스템 간의 딜레마를 만듭니다.
* 픽셀 강도 대 신뢰도: 이 논문은 신뢰도와 픽셀 강도 간의 관계가 "복잡하며 간단한 모델로는 포착할 수 없다"(3페이지, 속성 2)고 명시적으로 명시합니다. 이는 강도 값을 신뢰도로 매핑하는 것만으로는 불충분하며 더 정교하고 간접적인 접근 방식이 필요함을 의미합니다.

제약 조건 및 실패 모드

정확한 초음파 신뢰도 맵을 생성하는 문제는 저자들이 직면하는 몇 가지 가혹하고 현실적인 벽으로 인해 엄청나게 어렵습니다.

물리적 제약 조건:
- 복잡하고 다양한 아티팩트: 초음파 영상은 본질적으로 노이즈가 많고 그림자 외에도 공명, 음향 커플링 부족 및 전자 노이즈와 같은 수많은 아티팩트에 취약합니다(3페이지, 속성 3, 그림 2b, 2c). 이상적인 신뢰도 맵은 이러한 모든 것을 처리해야 하며, 이는 단일 모델에 상당한 과제입니다.
- 비선형 물리학: 조직과의 소리 상호 작용(감쇠, 반사, 산란 포함)은 복잡하고 비선형적입니다. 음파 빔 강도는 깊이에 따라 감소하지만(3페이지, 속성 1), 이 관계는 엄격한 단조 감소가 아닙니다. 왜냐하면 강한 반사체는 여전히 명확한 에코를 생성할 수 있기 때문입니다.
- 빔 기하학 의존성: 초음파 스캔라인은 비선형 팬 기하학(예: 볼록 프로브 사용)에서 기울어질 수 있습니다. 신뢰도 맵 계산은 "음파 인지"해야 하며 조사 방향을 보상해야 합니다(3페이지, 속성 4).
- 점 확산 함수 효과: 점 확산 함수로 인한 초음파 음파의 고유한 폭과 중첩으로 인해 "수평적으로 부드러운" 신뢰도 맵이 필요하며, 비현실적인 불연속성을 방지합니다(3페이지, 속성 5).
계산 제약 조건:
- 실시간 지연 요구 사항: 초음파는 종종 실시간 진단 및 중재 설정에서 사용됩니다. 신뢰도 맵 생성은 "빠르고" "실시간 응용 프로그램에 적합해야"(초록, 1페이지 및 결론, 8페이지) 합니다. 저자들은 NVIDIA RTX 4090에서 모델이 2,300fps를 초과함을 보여주며 이 엄격한 요구 사항을 강조합니다.
- 모델 복잡성 대 효율성: 단순화된 모델이 실패하지만, 포괄적인 물리학 기반 확률적 그래픽 모델(PGM)은 계산 집약적일 수 있습니다. 과제는 이러한 모델을 신경망(CNN)과 실시간 추론에 효율적인 방식으로 통합하는 것입니다.
데이터 기반 제약 조건:
- 주석의 희소성: 이 방법은 "희소 이진 주석(양호/불량)"에 의존합니다(초록, 1페이지). 이는 조밀하고 픽셀 단위의 정확한 지상 진실 신뢰도 맵을 훈련에 사용할 수 없음을 의미합니다. 모델은 제한적이고 잠재적으로 주관적인 사용자 입력에서 학습해야 합니다.
- 포괄적인 지상 진실 부족: 모든 유형의 초음파 아티팩트에 대한 지상 진실을 얻는 것은 매우 어렵습니다. 이 논문은 "그림자 특정 주석 부족"(6페이지)으로 인해 비교에서 그림자 특정 접근 방식을 제외했다고 언급하며, 포괄적인 아티팩트별 레이블을 획득하는 일반적인 어려움을 나타냅니다.
- 데이터셋 크기: CNN은 훈련용 291 프레임과 검증용 72 프레임으로 구성된 데이터셋에서 훈련됩니다(5페이지). 매우 작지는 않지만 딥러닝에 대한 적당한 데이터셋이므로 제한된 예에서 잘 일반화할 수 있는 모델이 필요하며, 이는 강력한 사전 지식을 활용할 가능성이 높습니다.

Figure 2. Complex relationship between confidence and pixel intensities. (a): tissue that blocks sound (bone) causing a weaker signal than a tissue that doesn’t block sound (muscle). (b-c): different common ultrasound artifacts

왜 이 접근 방식인가

선택의 불가피성

물리학 기반 확률적 그래픽 모델(PGM)과 컨볼루셔널 신경망(CNN)을 결합한 하이브리드 접근 방식의 채택은 단순한 점진적 개선이 아니라 필수적인 패러다임 전환이었습니다. 저자들은 기존의 "최첨단"(SOTA) 방법이 몇 가지 고유한 한계로 인해 근본적으로 불충분하다는 것을 깨달았습니다. 종종 단순화된 물리 모델이나 제한된 설계에 의존하는 기존 접근 방식은 공명, 그림자 및 커플링 문제와 같은 광범위한 초음파 아티팩트를 일관되게 설명하지 못했습니다(소개, 섹션 2, 속성 3). 이러한 방법은 또한 임의 경계 조건으로 인해 프레임 간 비교가 어렵고 사용자 제어가 제한되어 복잡한 수정이 필요했습니다(소개).

결정적으로, 초음파 영상의 신뢰도와 원시 픽셀 강도 간의 관계는 매우 복잡하고 비선형적입니다(섹션 2, 속성 2). 단순한 모델, 물리학 기반이든 기본 이미지 처리에 의존하든 이러한 복잡한 종속성을 적절하게 포착할 수 없었습니다. 이 깨달음은 이러한 미묘한 패턴을 식별할 수 있는 학습 기반 구성 요소의 필요성을 강조했습니다. 따라서 도메인별 물리적 사전 지식을 강력하게 통합하고, 희소한 사용자 피드백을 활용하며, 복잡하고 데이터 기반 관계를 학습할 수 있는 솔루션이 유일하게 실행 가능한 경로였습니다.

비교 우위

이 방법은 고유한 하이브리드 아키텍처와 사용자 중심 설계를 통해 이전의 황금 표준에 비해 질적으로 우수함을 입증합니다. 순수 물리학 기반 모델(예: Karamalis et al. [12]) 또는 스펙클 감소 및 단순 전파(예: Hung et al. [11])에 초점을 맞춘 모델과 달리 이 접근 방식은 초음파 신뢰도의 다면적인 특성을 구조적으로 다룹니다.

주요 구조적 이점은 PGM과 CNN의 "결합"에 있습니다. PGM은 대부분의 깊이에 따른 신뢰도의 단조적 감소(섹션 3.2, 방정식 4) 및 스캔라인 간의 수평적 부드러움(섹션 3.2, 방정식 5)과 같은 기본적인 초음파 물리학 사전 지식을 강제하는 동시에 희소한 사용자 주석을 직접 통합합니다. 이는 강력하고 해석 가능한 기반을 제공합니다. 이 PGM 위에 훈련된 CNN은 단순한 모델이 포착할 수 없는 복잡한 비선형 관계를 학습합니다(섹션 3). 이러한 작업 분담을 통해 시스템은 물리적으로 근거가 있고 다양한 실제 아티팩트에 매우 적응할 수 있습니다.

질적으로, 이 방법은 복잡한 그림자(예: 부분 그림자, 강한 그림자), 공명 및 물 목욕으로 인한 비정상적인 피부 외관(섹션 4.1)을 포함한 광범위한 어려운 아티팩트를 처리하는 데 탁월합니다. 경쟁사보다 보이는 구조와 아티팩트 간의 더 깨끗한 분리를 제공합니다. 또한 실무자가 희소한 주석을 통해 알고리즘의 동작에 직접 영향을 미칠 수 있도록 하는 사용자 중심 설계는 비교할 수 없는 수준의 제어 및 적응성을 제공합니다. 이 접근 방식은 또한 NVIDIA RTX 4090에서 초당 2,300 프레임을 초과하는 놀랍도록 빠르므로 실시간 임상 응용 프로그램에 적합합니다(섹션 3.3). 물리적 근거, 학습 능력, 사용자 제어 및 속성의 이러한 조합은 압도적인 구조적 및 실질적 이점을 나타냅니다.

제약 조건과의 정렬

선택한 방법은 섹션 2에 설명된 "이상적인 신뢰도 맵" 속성과 완벽하게 일치하며, 문제의 가혹한 요구 사항과 솔루션의 고유한 속성 간의 사려 깊은 "결합"을 보여줍니다.

대부분 단조적 (속성 1): PGM 내의 스캔라인 내 잠재력 $\psi_v(x_i, x_j)$(방정식 4)은 이를 직접 강제합니다. 이는 스캔라인을 따라 신뢰도가 주로 감소하도록 권장하며, 이 물리적 원리에서 벗어나는 것을 처벌합니다. $\log(x_i)$를 사용하여 처벌하는 것은 신뢰도 값이 0에 가까워지는 문제를 현명하게 우회합니다.
픽셀 강도와 느슨하게 관련됨 (속성 2): 이것이 CNN이 중요한 역할을 하는 부분입니다. 이 논문은 PGM이 픽셀 강도를 직접 통합하지 않는다고 명시적으로 명시합니다. 왜냐하면 신뢰도와의 관계가 복잡하기 때문입니다. 대신 CNN은 PGM의 출력에 대한 음의 로그 가능성을 최소화함으로써 가장 가능성 있는 신뢰도 맵을 예측하도록 훈련되어, 단순한 모델이 포착할 수 없는 이러한 복잡한 비선형 강도-신뢰도 관계를 효과적으로 학습합니다(섹션 3, 섹션 3.3).
그림자 너머 (속성 3): PGM의 물리학 기반 사전 지식과 CNN의 다양한 데이터 및 희소 주석에서 학습하는 능력은 이 방법이 그림자뿐만 아니라 공명 및 커플링 문제와 같은 광범위한 초음파 아티팩트를 처리할 수 있도록 합니다(섹션 4.1). 이러한 포괄적인 아티팩트 처리는 이전의 더 제한적인 모델의 한계에 대한 직접적인 대응입니다.
음파 인지 (속성 4): PGM의 그래프 구조는 스캔라인 내 및 스캔라인 간 관계를 구별하도록 설계되어 소리 전파의 인과적 특성을 반영합니다. 또한, 비선형 팬 기하학에서도 수직으로 정렬된 스캔라인을 보장하기 위해 역 스캔 변환이 사전 처리 단계로 적용되어 신뢰도 맵 계산이 조사 방향을 인지하도록 합니다(섹션 3, 섹션 3.3).
수평적으로 부드러움 (속성 5): 스캔라인 간 잠재력 $\Psi_H(x_i, x_j)$(방정식 5)은 이를 명시적으로 강제합니다. 가우시안 함수를 사용하여 인접 스캔라인 간의 부드러운 전환을 권장함으로써 모델은 신뢰도 맵이 중첩된 음파 빔과 점 확산 함수의 물리적 현실을 반영하도록 보장합니다.

이 통합 접근 방식은 솔루션이 강력하고 정확할 뿐만 아니라 물리적으로 타당하고 사용자 제어가 가능하도록 보장하여 이상적인 신뢰도 맵의 모든 정의된 속성을 직접 해결합니다.

대안의 거부

이 논문은 초음파 신뢰도 맵 생성이라는 맥락에서 이러한 방법의 근본적인 단점을 강조함으로써 대체 접근 방식을 암묵적으로 그리고 명시적으로 거부합니다.

첫째, "단순화된 모델에 의존하는 기존 방법"(초록)은 "광범위한 초음파 아티팩트를 설명하지 못하고 임의 경계 조건으로 제한된다"(초록)는 이유로 불충분하다고 간주됩니다. 이 광범위한 거부는 초음파의 복잡한 물리학을 과도하게 단순화하거나 엄격한 가정을 사용하는 접근 방식을 포함합니다.

더 구체적으로, 이 논문은 Karamalis et al. [12]과 같은 물리학 기반 그래프 모델을 평가하고 따라서 암묵적으로 거부합니다. Karamalis의 방법은 그래프 노드와 초음파 물리학에서 파생된 엣지 가중치를 사용하지만, 고정된 경계 조건으로 무작위 워크 문제를 해결하여 신뢰도를 계산합니다. 저자들은 이 접근 방식이 그림자를 "잘 관리하지 못했고" 보이는 구조에 "잘못된 낮은 신뢰도를 할당했다"(섹션 4.1)고 보여줍니다. 복잡한 픽셀 강도 관계를 포착하는 학습 구성 요소의 부족과 고정된 경계 조건에 대한 의존성은 다양한 아티팩트 유형에 대한 적응성과 정확성을 제한합니다.

마찬가지로, 스펙클을 줄이고 방향성 비순환 그래프를 통해 신뢰도를 전파하는 Hung et al. [11]과 같은 방법은 다양한 아티팩트, 특히 그림자로 어려움을 겪고 종종 보이는 구조에 낮은 신뢰도를 잘못 할당하는 것으로 나타났습니다(섹션 4.1). 이러한 방법은 스펙클과 같은 일부 측면을 다룰 수 있지만, 제안된 하이브리드 모델의 포괄적인 아티팩트 처리 및 사용자 제어 기능이 부족합니다.

이 논문은 또한 "그림자 기반 모델[15]은 설계에 의해 제한됩니다"(소개)라고 언급하며, 사용 가능한 데이터셋에 그림자 특정 주석이 부족하여 정량적 비교에서 명시적으로 제외합니다. 이는 실제 초음파에 존재하는 광범위한 아티팩트에 일반화되지 못하는 너무 특화된 접근 방식의 한계를 강조합니다.

마지막으로 Ultra-NeRF 기반 접근 방식[22,23]은 "훈련 단계에 대한 완벽하게 정렬된 초음파 및 CT 볼륨의 요구 사항"(섹션 4.2)으로 인해 정성적 평가에 포함되지 않았습니다. 이는 이러한 방법을 쉽게 사용할 수 있는 다중 모달 데이터가 부족한 시나리오에 덜 적합하게 만드는 실질적인 제약 조건을 나타내며, 더 쉽게 사용할 수 있는 희소 주석으로 작동하는 방법의 중요성을 강조합니다.

본질적으로 이러한 대안의 거부는 다음을 동시에 수행하지 못하는 데서 비롯됩니다. 1) 광범위한 초음파 아티팩트를 설명하고, 2) 픽셀 강도와 신뢰도 간의 복잡한 비선형 관계를 포착하고, 3) 사용자 제어를 제공하고, 4) 시간적 안정성과 실시간 성능을 유지합니다. 제안된 PGM-CNN 하이브리드는 이러한 집단적 실패를 극복하기 위해 개발되었습니다.

Figure 4. Ultrasound frames (before scan conv.), with confidence maps generated by three methods. Red and blue represent high and low confidence, respectively. The squares on the confidence maps show regions of interest. See text for details

수학적 및 논리적 메커니즘

마스터 방정식

이 논문의 메커니즘의 핵심은 희소한 사용자 주석과 물리학 기반 사전 지식을 고려하여 신뢰도 맵의 가능성을 정량화하는 확률적 그래픽 모델(PGM)과, 이 PGM에서 파생된 음의 로그 가능성을 최소화하여 컨볼루셔널 신경망(CNN)의 학습을 주도하는 목적 함수라는 두 가지 축의 수학적 엔진입니다.

핵심 확률 모델은 희소 주석 $y$가 주어졌을 때 신뢰도 맵 $x$의 가능성을 정의합니다.
$$ p(x|y) \propto \prod \phi(x_i, y_i) \prod_{(i,j)\in V} \psi_V(x_i, x_j) \prod_{(i,j)\in H} \psi_H(x_i, x_j) \quad (2) $$
그리고 CNN이 최적화하는 궁극적인 목적 함수는 다음과 같습니다.
$$ \theta^* = \arg \min_\theta - \log p(f(I^{(i)}, \theta), y^{(i)}) \quad (6) $$

항별 분석

이러한 방정식을 분해하여 모든 구성 요소를 이해해 보겠습니다.

방정식 (6): 최적화 목적 함수

$\theta^*$:
1. 수학적 정의: 컨볼루셔널 신경망(CNN)의 최적 매개변수 집합입니다.
2. 물리적/논리적 역할: 이것이 학습 과정의 궁극적인 목표입니다. 이는 정의된 확률 모델에 따라 가장 가능성 있는 신뢰도 맵을 생성할 수 있도록 하는 CNN 내의 가중치와 편향의 특정 구성을 나타냅니다.
$\arg \min_\theta$:
1. 수학적 정의: 후속 표현식을 최소화하는 인수(이 경우 매개변수 $\theta$)입니다.
2. 물리적/논리적 역할: 이 연산자는 학습 알고리즘이 손실 함수의 가장 작은 값을 산출하는 CNN 매개변수를 찾고 있음을 나타냅니다.
$-\log$:
1. 수학적 정의: 음의 자연 로그입니다.
2. 물리적/논리적 역할: 이 변환은 두 가지 주요 목적을 수행합니다. 첫째, 확률(0과 1 사이)을 양수 값으로 변환하여 최소화에 적합하게 만듭니다(음의 로그 가능성 최소화는 가능성 최대화와 동일함). 둘째, 확률(또는 잠재력, 방정식 2에서 볼 수 있듯이)의 곱을 합으로 변환하여 역전파 과정에서 미분하기 훨씬 쉽습니다.
3. 이유: 로그는 PGM의 곱 구조를 합으로 단순화하기 위해 선택되며, 이는 계산적으로 더 안정적이고 기울기 기반 최적화에 더 쉽습니다. 음수 기호는 문제를 최대화에서 최소화로 전환합니다.
$p(\cdot)$:
1. 수학적 정의: 확률 분포입니다.
2. 물리적/논리적 역할: 이 항은 확률적 그래픽 모델(PGM) 방정식 (2)에 의해 정의된 예측 신뢰도 맵의 가능성을 나타냅니다. 이는 CNN의 출력이 사용자 주석과 물리학 기반 사전 지식 모두와 얼마나 호환되는지를 정량화합니다.
$f(I^{(i)}, \theta)$:
1. 수학적 정의: 입력 초음파 영상 $I^{(i)}$와 현재 매개변수 $\theta$가 주어졌을 때 컨볼루셔널 신경망 $f$의 출력입니다.
2. 물리적/논리적 역할: 이것은 CNN의 예측입니다. 즉, $i$번째 초음파 영상에 대한 신뢰도 맵 $x$입니다. CNN은 이러한 맵을 생성하도록 훈련되며, 이는 PGM에 의해 평가됩니다.
$y^{(i)}$:
1. 수학적 정의: $i$번째 초음파 영상에 대해 제공된 희소 이진 주석입니다.
2. 물리적/논리적 역할: 이는 학습 과정에 대한 감독 역할을 하는 사용자 제공 레이블(양호, 불량 또는 없음)입니다. 이는 신뢰도 맵을 인간 전문가의 지식에 고정합니다.

방정식 (2): 확률적 그래픽 모델

$p(x|y)$:
1. 수학적 정의: 희소 주석 $y$가 주어졌을 때 신뢰도 맵 $x$의 확률입니다.
2. 물리적/논리적 역할: 이것이 PGM의 핵심입니다. 사용자 입력 $y$와 내장된 물리학 기반 규칙을 모두 고려할 때 특정 신뢰도 맵 $x$의 가능성을 정량적으로 측정합니다.
$\propto$:
1. 수학적 정의: ~에 비례합니다.
2. 물리적/논리적 역할: 이는 오른쪽 표현식이 실제 확률에 비례함을 나타냅니다. 확률을 합계 1로 만드는 암묵적인 정규화 상수(종종 분할 함수라고 함)가 있습니다. 최적화 목적의 경우 상대적 가능성에 영향을 미치지 않으므로 이 상수는 종종 무시될 수 있습니다.
$\prod$:
1. 수학적 정의: 곱 연산자입니다.
2. 물리적/논리적 역할: 그래픽 모델에서 결합 확률은 일반적으로 클리크(상호 연결된 노드 그룹)에 대한 잠재 함수의 곱으로 표현됩니다. 여기서는 개별 단항 및 쌍별 잠재력을 곱으로 결합하여 전체 가능성을 형성합니다.
3. 이유: 이 곱셈 구조는 잠재력이 전역 확률을 형성하기 위해 결합되는 지역 "동의" 또는 "호환성"을 나타내는 마르코프 랜덤 필드 및 기타 PGM의 기본입니다.
$\phi(x_i, y_i)$:
1. 수학적 정의: 픽셀 $i$에 대한 단항 잠재 함수입니다.
2. 물리적/논리적 역할: 이 항은 특정 픽셀에 대한 예측 신뢰도 값 $x_i$와 해당 희소 주석 $y_i$ 간의 호환성을 측정합니다. 이는 사용자 입력을 개별 픽셀에 직접 강제합니다.
3. 이유: 곱셈은 각 주석이 달린 픽셀의 개별 호환성을 결합합니다.
$\prod_{(i,j)\in V}$:
1. 수학적 정의: 모든 수직으로 인접한 픽셀 쌍 $(i,j)$에 대한 곱입니다.
2. 물리적/논리적 역할: 이 연산자는 스캔라인 내 잠재력에 대한 물리학 기반 사전 지식이 전체 신뢰도 맵에 적용되도록 스캔라인 내 쌍별 잠재력을 집계합니다.
3. 이유: 이 곱셈은 수직 관계 호환성을 결합합니다.
$\psi_V(x_i, x_j)$:
1. 수학적 정의: 수직(스캔라인 내) 쌍별 잠재 함수(방정식 4에 정의됨)입니다.
2. 물리적/논리적 역할: 이 잠재력은 스캔라인을 따라 신뢰도의 "대부분 단조적" 속성(속성 1)을 강제합니다. 이는 깊이가 증가함에 따라 신뢰도가 충분히 감소하지 않는 상황을 처벌하며, 초음파 신호의 자연적인 감쇠를 반영합니다.
3. 이유: 곱셈은 이러한 수직 관계 호환성을 결합합니다.
$\prod_{(i,j)\in H}$:
1. 수학적 정의: 모든 수평으로 인접한 픽셀 쌍 $(i,j)$에 대한 곱입니다.
2. 물리적/논리적 역할: 이 연산자는 스캔라인 간 잠재력에 대한 물리학 기반 사전 지식이 전체 신뢰도 맵에 적용되도록 스캔라인 간 쌍별 잠재력을 집계합니다.
3. 이유: 이 곱셈은 수평 관계 호환성을 결합합니다.
$\psi_H(x_i, x_j)$:
1. 수학적 정의: 수평(스캔라인 간) 쌍별 잠재 함수(방정식 5에 정의됨)입니다.
2. 물리적/논리적 역할: 이 잠재력은 스캔라인 간의 "수평적으로 부드러운" 속성(속성 5)을 강제합니다. 이는 스캔라인 간의 인접 픽셀에 유사한 신뢰도 값을 갖도록 권장하며, 이는 중첩된 초음파 빔과 연속적인 조직의 특성을 반영하고 급격한 수평 변화를 처벌합니다.
3. 이유: 곱셈은 이러한 수평 관계 호환성을 결합합니다.

방정식 (3): 단항 잠재력 세부 정보

$\text{Beta}(z; \alpha, \beta)$:
1. 수학적 정의: 베타 분포의 확률 밀도 함수(PDF)입니다.
2. 물리적/논리적 역할: 베타 분포는 0과 1 사이의 확률 또는 신뢰도 값을 모델링하는 데 이상적입니다. 모양 매개변수 $\alpha$ 및 $\beta$를 사용하면 다른 신뢰도 수준을 나타내는 다른 값에서 피크될 수 있습니다.
3. 이유: 본질적으로 확률인 신뢰도 값을 모델링하는 데 자연스러운 선택입니다.
$x_i$:
1. 수학적 정의: 픽셀 $i$에 대한 신뢰도 값입니다.
2. 물리적/논리적 역할: 이는 CNN이 특정 픽셀에 대해 예측한 신뢰도 점수(0과 1 사이)입니다.
$y_i$:
1. 수학적 정의: 픽셀 $i$에 대한 주석입니다.
2. 물리적/논리적 역할: 이는 사용자의 픽셀 $i$에 대한 레이블로, '양호'(높은 신뢰도), '불량'(낮은 신뢰도) 또는 '없음'(주석 없음)일 수 있습니다.
$\alpha, \beta$:
1. 수학적 정의: 베타 분포의 모양 매개변수입니다.
2. 물리적/논리적 역할: 이러한 매개변수는 베타 분포의 모양을 결정합니다. '양호' 주석($\alpha=5, \beta=1$)의 경우 분포는 1을 향해 강하게 피크되어 높은 신뢰도를 강력하게 선호합니다. '불량' 주석의 경우 $\text{Beta}(1-x_i; \alpha=5, \beta=1)$을 적용하면 $x_i$에 대한 분포가 0을 향해 피크되어 낮은 신뢰도를 선호합니다. '없음' 주석($\alpha=1.1, \beta=1.1$)의 경우 분포가 더 평평하여 극단적인 신뢰도 값에 대한 선호도가 약해지므로 쌍별 잠재력이 더 큰 영향을 미칠 수 있습니다.
3. 이유: 이러한 특정 값은 그림 3b에 표시된 대로 각 주석 유형에 대한 원하는 확률 분포를 반영하도록 경험적으로 선택됩니다.

방정식 (4): 수직 쌍별 잠재력 세부 정보

$\exp(\cdot)$:
1. 수학적 정의: 지수 함수입니다.
2. 물리적/논리적 역할: 이는 처벌 항(지수에 있음)을 잠재력 값으로 변환합니다. 더 큰 처벌(더 음수 지수)은 더 작은 잠재력을 초래하여 호환성이 낮음을 나타냅니다.
$-\gamma$:
1. 수학적 정의: 음수 스케일링 인수입니다.
2. 물리적/논리적 역할: $\gamma$는 이 사전 지식의 강도를 제어하는 매개변수입니다. $\gamma$가 클수록 스캔라인을 따라 신뢰도의 단조적 감소를 위반하는 상황에 대한 처벌이 더 강해집니다.
$\max(0, \cdot)$:
1. 수학적 정의: 0과 인수 중 더 큰 값입니다.
2. 물리적/논리적 역할: 이는 단조적 감소에 대한 조건이 위반된 경우에만 처벌이 적용되도록 합니다. $x_j$가 예상대로 또는 그 이상으로 감소하면 처벌이 없습니다(항이 0이 되고 $\exp(0)=1$이 되어 잠재력 감소가 없음).
$\log(x_j) - \log(x_i)$:
1. 수학적 정의: 자연 로그의 차이로, $\log(x_j/x_i)$와 같습니다.
2. 물리적/논리적 역할: 이 항은 픽셀 $i$와 픽셀 $j$ 간의 신뢰도 변화의 상대적 변화를 측정합니다. 로그를 사용하면 $x_i$가 이미 매우 낮을 때 더 이상 많이 감소할 수 없어 처벌하기 어렵다는 신뢰도 값의 직접적인 한계를 해결합니다. 로그는 아래로 제한되지 않아 일관된 처벌 적용이 가능합니다.
$s$:
1. 수학적 정의: 상수 매개변수입니다.
2. 물리적/논리적 역할: 이 매개변수는 스캔라인을 따라 인접 픽셀 간의 신뢰도 원하는 감소를 나타냅니다. 이는 임계값 역할을 합니다. $\log(x_j) - \log(x_i)$가 $-s$보다 크면 $x_j$가 $x_i$에 비해 충분히 감소하지 않았음을 의미하며 처벌을 받습니다.
3. 이유: 저자들은 신뢰도 값의 "0 제한" 문제를 극복하기 위해 $\log(x)$를 선택하여 낮은 신뢰도 수준에서도 단조적 감소 사전 지식을 효과적으로 적용할 수 있도록 했습니다.

방정식 (5): 수평 쌍별 잠재력 세부 정보

$\exp(\cdot)$:
1. 수학적 정의: 지수 함수입니다.
2. 물리적/논리적 역할: $\psi_V$와 유사하게, 이는 제곱 차이 처벌을 잠재력으로 변환합니다. 더 큰 차이는 더 작은 잠재력을 초래합니다.
$-\sigma$:
1. 수학적 정의: 음수 스케일링 인수입니다.
2. 물리적/논리적 역할: $\sigma$는 수평으로 인접한 픽셀 간의 차이에 대한 사전 지식의 강도를 제어하는 매개변수입니다. $\sigma$가 클수록 인접 픽셀 간의 차이에 대한 처벌이 더 강해져 더 큰 부드러움을 권장합니다.
$(x_i - x_j)^2$:
1. 수학적 정의: 수평으로 인접한 픽셀 $i$와 $j$의 신뢰도 값 간의 제곱 차이입니다.
2. 물리적/논리적 역할: 이 항은 $x_i$와 $x_j$ 간의 부드러움 부족 또는 불일치를 정량화합니다. 제곱은 처벌이 항상 양수이고 더 큰 편차가 더 많이 처벌되도록 보장합니다.
3. 이유: 제곱 차이는 원하는 상태(여기서는 부드러움)에서 벗어나는 것을 처벌하는 표준적이고 효과적인 방법입니다. 음수 지수는 신뢰도 값이 매우 유사한 픽셀이 높은 잠재력을 생성하고 비유사한 픽셀이 낮은 잠재력을 생성하는 가우시안 유사 잠재력을 생성합니다.

단계별 흐름

단일 초음파 영상 $I^{(i)}$가 조립 라인의 원자재처럼 이 시스템에 들어온다고 상상해 보세요. 신뢰도 맵을 생성하고 개선하는 방법은 다음과 같습니다.

초기 예측 (CNN 단계): 원시 초음파 영상 $I^{(i)}$가 먼저 컨볼루셔널 신경망 $f(\cdot, \theta)$에 공급됩니다. 이 CNN은 초기 처리 장치 역할을 하여 이미지를 예비 신뢰도 맵 $x = f(I^{(i)}, \theta)$로 변환합니다. 이 맵의 각 픽셀 $x_k$는 네트워크의 초기 추측 신뢰도를 나타내며, 일반적으로 0과 1 사이의 값입니다.
주석 호환성 확인 (단항 잠재력): 다음으로, 예측된 신뢰도 맵의 각 개별 픽셀 $x_k$에 대해 시스템은 사용자가 제공한 해당 희소 주석 $y_k$가 있는지 확인합니다. 주석이 있으면(양호, 불량 또는 없음), 베타 분포를 사용하여 "단항 잠재력" $\phi(x_k, y_k)$가 계산됩니다. 이 단계는 품질 관리 스테이션 역할을 하여 CNN의 예측 신뢰도 $x_k$가 인간 전문가의 레이블 $y_k$와 얼마나 잘 일치하는지 측정합니다. 높은 잠재력은 좋은 일치를 의미합니다.
수직 물리학 강제 (스캔라인 내 잠재력): 동시에 시스템은 각 스캔라인을 따라 수직으로 인접한 픽셀 쌍 $(x_i, x_j)$을 검사합니다. "수직 쌍별 잠재력" $\psi_V(x_i, x_j)$이 계산됩니다. 이 메커니즘은 깊이가 증가함에 따라 신뢰도가 일반적으로 감소하도록 보장하는 물리학 기반 규제 역할을 하며, 초음파 신호의 자연적인 감쇠를 반영합니다. 신뢰도가 예상보다 증가하거나 충분히 감소하지 않으면 이 잠재력이 처벌을 부과하여 전체 가능성을 줄입니다.
수평 부드러움 강제 (스캔라인 간 잠재력): 병렬로, 시스템은 스캔라인 간의 수평으로 인접한 픽셀 쌍 $(x_i, x_j)$도 살펴봅니다. "수평 쌍별 잠재력" $\psi_H(x_i, x_j)$이 계산됩니다. 이 구성 요소는 스캔라인 간의 인접 픽셀이 유사한 신뢰도 값을 갖도록 권장하는 스무딩 필터 역할을 합니다. 이는 중첩된 초음파 빔과 연속적인 조직 특성을 반영하여 급격한 수평 변화를 처벌합니다.
전역 가능성 조립 (PGM 통합): 이러한 모든 개별 호환성 점수(주석의 단항 잠재력, 물리학의 수직 잠재력, 부드러움의 수평 잠재력)는 곱해집니다. 방정식 (2)에 정의된 이 곱셈은 전체 예측 신뢰도 맵 $x$에 대한 단일의 포괄적인 가능성 점수 $p(x|y)$를 생성합니다. 이 점수는 모든 안내 원칙을 고려할 때 CNN의 출력이 얼마나 "가능성이 있는지"를 나타냅니다.
손실 계산 (음의 로그 가능성): 마지막으로, 이 전역 가능성 $p(x|y)$는 음의 로그를 취하여 변환되어 $-\log p(x|y)$가 됩니다. 이 값은 시스템이 최소화하려는 "손실"입니다. 이는 가장 가능성 있는 신뢰도 맵을 찾는 문제를 CNN에 대한 표준 최적화 문제로 효과적으로 전환합니다.

이 전체 프로세스는 많은 이미지에 대해 반복되어 CNN이 PGM에서 제공하는 피드백을 통해 학습할 수 있습니다.

최적화 역학

메커니즘은 확률적 그래픽 모델(PGM)에 의해 정의된 음의 로그 가능성을 최소화하기 위해 CNN 매개변수($\theta$)를 반복적으로 개선하는 과정을 통해 학습, 업데이트 및 수렴합니다.

손실 지형 형성: PGM은 CNN의 손실 지형을 형성하는 데 중요한 역할을 합니다. 단순한 픽셀별 손실 대신 PGM은 희소한 사용자 주석과 일치할 뿐만 아니라 기본적인 초음파 물리학 원리를 준수하는 신뢰도 맵에 해당하는 "계곡"이 있는 정교한 지형을 만듭니다.
- 단항 잠재력: 이는 강력한 인력 역할을 합니다. 픽셀이 '양호'로 주석이 달리면 손실 지형은 CNN의 출력 $x_i$를 1로 밀어내는 가파른 경사를 갖게 됩니다. '불량'이면 $x_i$를 0으로 밀어냅니다. '없음' 주석의 경우 지형이 더 평평하여 쌍별 잠재력이 신뢰도 값을 안내할 수 있습니다.
- 수직 쌍별 잠재력: 이는 방향성 편향을 도입합니다. 지형은 깊이가 증가함에 따라 값이 증가하거나 충분히 감소하지 않는 신뢰도 맵의 경우 더 가팔라집니다(더 높은 손실). 이는 스캔라인을 따라 신뢰도의 "내리막길"을 효과적으로 만듭니다.
- 수평 쌍별 잠재력: 이는 부드러움을 강제합니다. 지형은 수평으로 인접한 픽셀이 매우 유사한 신뢰도 값을 갖는 영역에서 깊고 좁은 계곡을 가지며, 급격한 불연속성을 처벌하고 부드러운 전환을 권장합니다.
- 음의 로그는 매우 가능성 있는 구성에서 약간 벗어나더라도 손실이 크게 증가하도록 보장하여 학습을 위한 강력한 기울기를 제공합니다.
기울기 하강 및 역전파: CNN은 일반적으로 확률적 경사 하강법(예: Adam)의 변형인 반복 최적화 알고리즘을 사용하여 학습합니다.
- 각 훈련 단계 동안 초음파 영상 배치가 CNN에 공급되어 예측된 신뢰도 맵 배치를 생성합니다.
- 각 예측된 맵에 대해 PGM은 음의 로그 가능성 손실을 계산합니다(단계별 흐름 참조).
- 그런 다음 역전파를 사용하여 이 손실을 CNN 내의 모든 매개변수 $\theta$에 대한 기울기를 계산합니다. 이러한 기울기는 손실을 줄이기 위해 각 매개변수에 필요한 변경의 방향과 크기를 나타냅니다.
- 최적화 프로그램은 기울기의 반대 방향(손실 지형 아래)으로 학습률에 의해 스케일링된 단계만큼 CNN 매개변수를 업데이트합니다. 이러한 반복적인 조정은 CNN이 PGM의 기준을 충족하는 초음파 영상에서 신뢰도 맵으로의 복잡한 매핑을 점진적으로 학습할 수 있도록 합니다.
수렴 동작: 강력한 CNN과 물리학 기반 PGM의 조합은 강력한 수렴을 촉진합니다.
- PGM은 강력하고 해석 가능한 사전 지식 역할을 하여 CNN을 물리적으로 가능성 있는 솔루션으로 안내하고 희소한 주석을 충족하지만 기본적인 물리학을 위반하는 지역 최소값에 갇히는 것을 방지합니다. 이는 순수하게 데이터 기반 접근 방식에 비해 주요 이점입니다.
- 저자들은 훈련 손실 0.25와 매우 유사한 0.32의 검증 손실을 보고합니다. 이는 모델이 효과적으로 학습하고 보이지 않는 데이터에 잘 일반화되며 상당한 과적합 없이 작동함을 나타냅니다. PGM의 정규화 효과는 이러한 좋은 일반화에 기여할 가능성이 높습니다.
- 반복적인 업데이트는 기울기가 매우 작아져 매개변수 조정이 개선을 거의 제공하지 않는 손실 지형의 안정적인 지점에 도달했음을 나타낼 때까지 계속됩니다. 이는 실시간으로 고품질의 물리학적으로 일관된 신뢰도 맵을 신속하게 생성할 수 있는 CNN을 결과로 낳습니다.

Figure 1. Overview of our method, showcasing how sparse Good (red, high confi- dence) and Bad (blue, low confidence) annotations are utilized to predict confi- dence maps with a CNN in pre-scan converted space

결과, 한계 및 결론

실험 설계 및 기준선

새로운 접근 방식을 엄격하게 검증하기 위해 저자들은 물리학 기반 CNN 기반 신뢰도 맵 생성을 확립된 방법과 비교하는 일련의 실험을 설계했습니다. 이 비교 분석의 "희생자"(기준선 모델)는 주로 Karamalis et al. [12] 및 Hung et al. [11]이 제안한 방법이었습니다.

Karamalis의 방법은 영상 픽셀을 그래프의 노드로 모델링하며, 엣지 가중치는 초음파 물리학에서 파생됩니다. 그런 다음 신뢰도는 고정된 경계 조건(상단에는 높은 신뢰도, 하단에는 낮은 신뢰도)으로 제약된 무작위 워크 평형 문제를 해결하여 계산됩니다. 공정한 비교를 위해 저자들은 이 방법의 공개적으로 사용 가능한 Python 구현을 사용했으며 알파 매개변수를 1로 설정했습니다. 반면에 Hung의 접근 방식은 먼저 이방성 필터를 사용하여 스펙클 노이즈를 줄인 다음 영상의 맨 위 행에서 방향성 비순환 그래프를 통해 신뢰도를 전파합니다. 저자들은 Hung의 방법의 공식 구현을 사용했으며, 신뢰도 감소가 너무 빠르지 않도록 매개변수($\alpha = 10^{-2}$ 및 $\xi = 0.4$)를 신중하게 설정했습니다. 주목할 점은 그림자 특정 신경망 접근 방식[15]은 사용 가능한 데이터셋에 필요한 그림자 주석이 부족하여 비교에서 제외되었습니다.

실험 설계는 다양한 초음파 시나리오에 걸쳐 질적 및 양적 평가를 모두 포함했습니다.

질적 평가: 검증 데이터셋에서 7개의 대표적인 초음파 프레임(A-G)이 선택되었습니다. 프레임 A-F는 훈련 데이터와 유사한 조건에서 획득되었으며, 프레임 G는 완전히 다른 설정(다른 초음파 기기 및 음향 커플링을 위한 물 목욕 포함)에서 의도적으로 선택되어 제안된 방법의 일반화 능력을 테스트했습니다. 이를 통해 각 방법이 다양한 아티팩트와 이미징 조건을 얼마나 잘 처리하는지 시각적으로 평가할 수 있었습니다.
양적 평가: 뼈 그림자 분할: 이 작업은 Yesilkaynak et al. [23]의 이전 작업을 기반으로 합니다. 저자들은 Yesilkaynak의 공개적으로 사용 가능한 코드와 초음파 프레임 및 해당 뼈 그림자 마스크를 포함하는 데이터셋을 활용했습니다. 편향되지 않은 비교를 보장하기 위해 제안된 신뢰도 추정치를 모든 프레임에 적용한 다음, 무작위 포레스트 분류기(수정 또는 미세 조정 없이)를 사용하여 그림자를 예측했습니다. 이 설정은 제안된 방법의 품질이 아닌 생성된 신뢰도 맵의 품질에만 기인하도록 보장했습니다.
양적 평가: 등록 가중치: 두 번째 후속 작업의 경우 저자들은 Ronchetti et al. [16]의 평가 방법론을 따랐습니다. 이 작업에 대한 데이터셋은 두 개의 다른 초음파 기기에서 29개의 추적된 간 클립으로 구성되었으며, 광학 추적을 통해 위치 정보가 얻어졌습니다. 각 클립은 해당 CT 또는 MR 볼륨과 쌍을 이루었고, 전문가는 최소 4쌍의 랜드마크를 수동으로 주석했습니다. 개별 신뢰도 맵이 모든 프레임에 대해 계산되었으며, 이는 3D 신뢰도 볼륨을 재구성하는 데 사용되었습니다. 실험은 다중 모달 강도 기반 등록에 대한 가중치 요소로 신뢰도 맵을 직접 사용하고, 로컬 패치 분산과 곱하는 방식으로 수행되었으며, 패치 분산 자체의 일반적인 사용을 대체했습니다. 이를 통해 신뢰도 맵이 등록 알고리즘의 견고성과 수렴을 얼마나 향상시키는지 직접 평가할 수 있었습니다.

증거가 증명하는 것

이 논문에서 제시된 증거는 초음파 신뢰도 맵 생성을 위한 제안된 물리학 기반 학습 접근 방식의 효과와 우수성에 대한 강력한 사례를 제공합니다. 희소한 주석을 확률적 그래픽 모델(PGM)에 통합하여 컨볼루셔널 신경망(CNN)을 안내하는 핵심 메커니즘은 실제로 작동하며 다양한 어려운 시나리오에서 기준선을 능가함을 입증합니다.

질적 증거 (그림 4):
그림 4의 시각적 비교는 이 방법의 견고성에 대한 부인할 수 없는 증거를 제공합니다. 제안된 접근 방식은 특히 복잡한 아티팩트가 있는 경우 Karamalis 및 Hung의 방법과 비교하여 일관되게 더 정확하고 직관적인 신뢰도 맵을 생성합니다.
* 그림자 처리: 이 방법은 기준선에서 종종 제대로 관리되지 않는 그림자를 식별하고 설명하는 데 탁월합니다. 예를 들어, 프레임 B에서 부분 그림자 뒤에 강한 반사체(횡격막)가 있는 경우 올바르게 감지되며, 횡격막에도 적절한 중간 신뢰도를 할당합니다. 대조적으로, 다른 방법은 이 미묘한 그림자를 완전히 놓칩니다. 마찬가지로, 프로브 접촉 부족으로 인한 강한 그림자(프레임 A 및 E)는 경쟁 접근 방식에 의해 완전히 오해되어 이러한 일반적인 아티팩트를 해석하는 데 중요한 실패를 강조합니다.
* 공명 및 아티팩트 분리: Hung의 방법은 공명(프레임 A, F)을 처리하는 데 어느 정도 능력을 보여주지만, 우리 방법은 보이는 구조와 아티팩트 간의 훨씬 더 깨끗한 분리를 제공하여 더 신뢰할 수 있는 신뢰도 평가로 이어집니다.
* 높은 신뢰도 보존: 결정적으로, 제안된 방법은 보이는 구조에 낮은 신뢰도를 잘못 할당하는 것을 피합니다(프레임 C, D, G). 이는 Karamalis 및 Hung 방법의 일반적인 함정입니다.
* 일반화: 완전히 다른 초음파 기기와 물 목욕(훈련 데이터에 포함되지 않음)으로 획득한 프레임 G의 성능은 특히 인상적입니다. 우리 방법은 비정상적인 피부 외관과 아티팩트를 올바르게 인식하여 물리학 기반 사전 지식과 강력한 특징을 학습하는 CNN의 능력에 대한 강력한 증거인 훈련 분포를 넘어선 강력한 일반화 능력을 보여줍니다.

양적 증거 (뼈 그림자 분할 - 표 1):
뼈 그림자 분할에 대한 양적 결과는 질적 관찰을 강조하는 정확한 숫자를 제공합니다. 훈련에서 작업별 미세 조정이나 목표 없이 제안된 방법은 최첨단 기술을 훨씬 능가합니다.
* 주사위 점수: 우리 방법은 58.9%의 주사위 점수를 달성했으며, 이는 Yesilkaynak(50.4%), Karamalis(49.3%) 및 Hung(47.6%)보다 훨씬 높습니다. 더 높은 주사위 점수는 예측된 그림자 영역과 지상 진실 그림자 영역 간의 더 나은 중첩을 나타냅니다.
* 정밀도: 우리 방법의 정밀도는 86.8%로 Yesilkaynak(71.5%), Hung(63.4%), Karamalis(61.1%)를 훨씬 능가했습니다. 이 측정치는 우리 방법이 그림자를 식별할 때 올바를 가능성이 높다는 것을 확인하여 거짓 양성(false positive)을 최소화합니다.
* 하우스도르프 거리: Yesilkaynak의 방법이 약간 더 나은 하우스도르프 거리(우리 방법의 경우 5.6 대 6.2)를 가졌지만, 전반적으로 우수한 주사위 점수 및 정밀도 성능은 우리 신뢰도 맵이 이 후속 작업에 더 효과적임을 확실히 증명합니다.

양적 증거 (등록 가중치 - 표 2):
다중 모달 등록에 초점을 맞춘 두 번째 양적 평가는 주장을 더욱 공고히 합니다. 제안된 방법으로 생성된 신뢰도 맵은 등록 알고리즘의 수렴 속도를 크게 향상시킵니다.
* 수렴 사례 증가: 초기 등록 오류(<25mm, 25-50mm, >50mm)의 모든 범주에서 "우리" 및 "우리 × 분산"은 일관되게 가장 높은 수렴 사례 비율을 산출했습니다. 초기 오류가 25mm 미만인 경우 우리 방법은 77.9%의 수렴(분산과 결합 시 78.7%)을 달성했으며, 이는 기준선 "분산"(69.7%), Karamalis(31.1%) 및 Hung(49.4%)을 극적으로 능가했습니다. 분산과 결합된 기준선(예: Karamalis × 분산 70.4%)조차도 우리 방법은 여전히 명확한 이점을 보였습니다.
* 이는 신뢰도 맵이 등록에 대한 더 신뢰할 수 있고 견고한 가중치 요소 역할을 하여 초음파 및 CT/MR 볼륨 간의 더 성공적이고 안정적인 정렬로 이어진다는 것을 보여줍니다. 훨씬 더 많은 사례에서 등록 수렴을 지원하는 능력은 중요한 임상적 이점입니다.

요약하면, 시각적 및 수치적 실험 결과는 제안된 사용자 중심의 물리학 기반 접근 방식이 아티팩트에 견고하고, 잘 일반화되며, 뼈 그림자 분할 및 다중 모달 영상 등록과 같은 후속 작업에서 성능을 크게 향상시키는 우수한 초음파 신뢰도 맵을 생성한다는 결정적이고 부인할 수 없는 증거를 제공합니다.

한계 및 향후 방향

제안된 방법은 강력한 초음파 신뢰도 맵 생성에 있어 상당한 발전을 이루었지만, 현재의 한계를 인정하고 향후 개발을 위한 영역을 고려하는 것이 중요합니다. 논문 자체는 몇 가지 영역을 지적하며, 더 넓은 관점은 추가적인 비판적 사고를 자극할 수 있습니다.

한 가지 내재된 한계는 섹션 2에서 언급했듯이 이상적인 신뢰도 맵에 대한 기본 물리 모델이 다중 경로 산란 또는 공명과 같은 복잡한 현상을 명시적으로 설명하지 않는다는 것입니다. CNN은 이러한 아티팩트를 암묵적으로 처리하도록 훈련되었지만, 이러한 현상을 확률적 그래픽 모델(PGM)에 더 직접적으로 통합하면 견고성이 향상되고 광범위한 훈련 데이터에 대한 의존도를 줄일 수 있습니다. 마찬가지로, PGM은 이미지 강도를 직접 사용하지 않고 이 복잡한 관계를 CNN에 위임합니다. 이 설계 선택은 의도적이었지만, PGM 자체 내에서 강도 데이터를 물리학적으로 더 정교하게 통합하면 특히 모호한 영역에서 더 정확한 신뢰도 추정이 가능할 수 있는지에 대한 의문을 제기합니다.

또 다른 실질적인 한계는 명시적으로 언급되지는 않았지만 현재 2D 초음파 프레임에 초점을 맞추고 있다는 것입니다. 이 방법은 실시간 응용 프로그램에 충분히 빠르지만, 임상 워크플로우는 종종 볼륨 분석을 필요로 합니다. 논문의 결론에서는 볼륨 분석을 위한 3D 초음파로의 접근 방식 확장을 미래 작업으로 언급하며, 이는 자연스럽고 필요한 진행입니다.

앞으로 이러한 결과를 더욱 개발하고 발전시키기 위한 몇 가지 논의 주제가 나옵니다.

물리학 기반 학습 심화: 현재의 물리학 기반 사전 지식을 진정한 물리학 제약 또는 물리학 정규화 학습 프레임워크로 어떻게 발전시킬 수 있을까요? 더 풍부하고 정확한 사전 지식을 제공하기 위해 훈련 루프에 미분 가능한 물리학 시뮬레이터를 통합하여 방대한 주석 데이터셋에 대한 필요성을 줄이고 보이지 않는 아티팩트 또는 변환기 유형에 대한 일반화를 개선할 수 있을까요? 이는 비선형 음향 또는 조직별 감쇠 프로파일과 같은 더 복잡한 파동 전파 현상을 모델링하는 것을 포함할 수 있습니다.
적응형 및 능동 주석 전략: 현재 방법은 희소한 이진 주석에 의존합니다. 효과적이지만 이러한 주석을 얻는 과정은 여전히 노동 집약적일 수 있습니다. 향후 작업에서는 모델이 불확실성 또는 불일치 영역을 지능적으로 식별하고 전문가에게 대상 주석을 요청하는 능동 학습 프레임워크를 탐색할 수 있습니다. 이는 주석 노력을 최적화하여 인간의 입력을 가장 가치 있는 곳에 집중하고 새로운 임상 시나리오에 대한 효율적인 모델 훈련 및 적응으로 이어질 수 있습니다.
신뢰도 맵의 불확실성 정량화: 이 방법은 신뢰도 맵을 생성하지만, 신뢰도 맵 자체의 불확실성을 명시적으로 정량화하지는 않습니다. 높은 위험의 임상 결정에서 모델이 신뢰도 예측에 대해 얼마나 확신하는지 아는 것은 매우 중요할 수 있습니다. 베이지안 신경망, 앙상블 방법 또는 기타 불확실성 정량화 기술을 탐색하면 "신뢰도에 대한 신뢰도" 메트릭을 제공하여 임상의에게 영상 신뢰성에 대한 더 완전한 그림을 제공할 수 있습니다.
실시간 임상 통합 및 피드백 루프: 보고된 2,300fps의 속도는 이 방법을 실시간 임상 사용에 매우 적합하게 만듭니다. 다음 개척지는 기존 초음파 기기 및 임상 워크플로우로의 원활한 통합입니다. 신뢰도 맵을 표시하는 것 외에, 임상의는 실시간으로 직관적인 피드백(예: 제스처, 음성 명령 또는 직접 조작)을 제공하여 라이브 설정에서 모델의 동작을 지속적으로 개선할 수 있을까요? 이는 진정으로 개인화되고 적응 가능한 신뢰도 매핑 시스템으로 이어질 수 있습니다.
다중 모달 및 다중 소스 신뢰도 융합: 이 논문은 다중 모달 등록에 대한 신뢰도 맵의 유용성을 입증합니다. 이 개념은 신뢰도 정보를 여러 소스에서 융합하도록 확장될 수 있습니다. 즉, 다른 영상 모달리티(예: 초음파 신뢰도와 CT 기반 해부학적 확실성 결합)뿐만 아니라 다른 초음파 획득 매개변수 또는 심지어 다른 연산자에서도 가능합니다. 다양한 입력의 강점을 활용하는 복합 신뢰도 맵은 영상 품질에 대한 더 강력하고 포괄적인 평가를 제공할 수 있습니다.
현재 후속 작업 너머: 이 방법은 뼈 그림자 분할 및 등록에서 유망한 결과를 보여주었습니다. 이러한 고품질 신뢰도 맵의 상당한 이점을 얻을 수 있는 다른 중요한 후속 작업은 무엇일까요? 잠재적 응용 프로그램에는 자동 병변 감지 및 특성화, 조직 신뢰성에 대한 정확한 지식이 필수적인 로봇 중재(예: 생검, 절제) 안내 또는 영상 신뢰도를 기반으로 손실 함수를 가중하여 다른 딥러닝 모델 훈련 개선이 포함됩니다.
윤리적 고려 사항 및 AI에 대한 신뢰: AI 기반 신뢰도 맵이 임상 의사 결정에 점점 더 통합됨에 따라 윤리적 고려 사항이 가장 중요해집니다. 임상의가 이러한 시스템에 대한 적절한 신뢰를 개발하도록 어떻게 보장할 수 있으며, 과도한 의존과 부당한 회의론 모두를 피할 수 있을까요? 신뢰도 맵에 대한 설명 가능한 AI(XAI) 연구는 특정 영역이 높은 또는 낮은 신뢰도로 간주되는 이유를 명확히 하는 데 도움이 되어 투명성을 높이고 도구 자체에 대한 임상의의 신뢰를 구축할 수 있습니다. 이는 성공적인 임상 채택에 중요한 측면입니다.

"그림자 너머"의 여정은 분명히 이제 막 시작되었으며, 이러한 발견은 초음파 영상이 실시간일 뿐만 아니라 신뢰할 수 있게 정량화되어 임상의에게 진단 및 중재를 위한 더 나은 정보를 제공하는 미래를 위한 견고한 기반을 마련합니다.

Table 2. Impact of using confidence as voxel weight for registration. A case is considered “converged” if the Fiducial Registration Error after registration is below 15 mm. The best results and the ones not significantly different (p > 10−3) are highlighted in bold

Table 1. Random forest shadow segmentation using confidence maps. All rows except the last one are reprinted from [23], see text for details

다른 분야와의 동형성

구조적 골격

이 논문의 핵심 수학적 및 논리적 메커니즘은 희소하고 질적인 인간 피드백을 물리학 기반 확률 모델과 통합하여 신경망을 훈련하여 공간적으로 변화하는 신뢰도 점수를 예측하는 프레임워크입니다.

먼 친척

대상 분야: 금융 위험 관리
- 연결성: 금융 위험 관리에서 복잡한 금융 모델(예: 자산 가치 평가, 신용 위험 또는 시장 변동성)의 신뢰성 또는 "신뢰도"를 다양한 시장 조건 및 자산 클래스에 걸쳐 정확하게 평가하는 것은 오랜 문제입니다. 이 논문의 핵심 논리는 이 과제에 대한 거울 이미지입니다. 초음파 영상에 신뢰도 평가를 복잡하게 만드는 아티팩트가 있는 것처럼 금융 시장에는 전통적인 모델을 무시하는 "변칙" 또는 "블랙 스완" 이벤트가 있습니다. 논문의 희소 이진 주석(양호/불량)은 특정 자산 또는 시장 부문에 대한 희소하고 질적인 전문가 의견 또는 감성 지표에 해당할 수 있습니다. 물리학 기반 확률적 그래픽 모델(PGM)은 근본적인 경제 원칙(예: 효율적 시장 가설, 무위험 이자율, 수요-공급 역학)을 통합하여 시장 행동에 대한 기본 이해를 확립하는 것과 유사할 수 있습니다. 컨볼루셔널 신경망(CNN)은 그런 다음 전체 포트폴리오 또는 시장에 대한 "신뢰도 맵"을 예측하도록 훈련되어, 전문가 직관과 기본 경제 "물리학"을 모두 고려하여 모델 예측이 더 신뢰할 수 있거나 덜 신뢰할 수 있는 영역(자산, 부문, 시간 기간)을 식별합니다.
대상 분야: 환경 모델링 및 기후 과학
- 연결성: 특히 기후 과학의 환경 모델링은 광대한 지리적 영역에 걸쳐 다양한 수준의 확실성으로 미래 상태(예: 온도, 강수량, 해수면)를 예측하는 데 어려움을 겪습니다. 이는 초음파 신뢰도 매핑에 대한 거울 이미지 문제입니다. 기상 관측소, 위성 데이터 또는 생태 조사(희소 주석과 유사)의 희소한 지상 진실 관찰은 제한적이고 국지적인 "신뢰도" 지점을 제공합니다. 대기 및 해양 역학, 열역학 및 생지화학의 기본 물리 법칙(PGM의 "물리학 기반 사전 지식")이 전체 시스템을 지배합니다. 그런 다음 신경망을 훈련하여 기후 예측에 대한 "신뢰도 맵"을 생성하여 복잡한 상호 작용, 데이터 부족 또는 알려진 모델 제한(초음파 아티팩트와 유사)으로 인해 모델 확실성이 높거나 낮은 영역 또는 시나리오를 강조할 수 있습니다. 이는 정책 결정 및 자원 관리에 중요한 지식을 제공할 것입니다.

만약 시나리오

고변동성 기간 동안 시장 안정성을 예측하는 전통적인 정량적 모델의 능력이 부족하여 깊이 좌절한 금융 연구원이 내일 이 논문의 정확한 방정식을 "훔친다"고 상상해 보세요. 그들은 PGM-CNN 프레임워크를 결합하여 포트폴리오의 미래 성과에 대한 신뢰도를 평가합니다.

연구원은 현재 조건에서 자산의 직관적인 신뢰도 감각을 반영하는 특정 주식 또는 채권에 대한 숙련된 시장 분석가 패널로부터 희소하고 질적인 "양호" 또는 "불량" 주석을 수집하는 것으로 시작합니다. 동시에, 그들은 자산 가격이 일반적으로 위험 증가와 함께 어떻게 감소해야 하는지(깊이 감쇠와 유사) 또는 관련 자산이 위험 프로필에서 부드러운 전환을 보여야 하는지(수평 부드러움과 유사)와 같은 기본 경제 원칙을 인코딩하는 "물리학 기반" 확률적 그래픽 모델을 구축합니다. 이 PGM은 시장 역학에 대한 기본적이고 원칙적인 이해를 제공합니다.

그런 다음 컨볼루셔널 신경망은 희소한 전문가 주석과 경제 PGM 모두에 의해 안내되는 전체 포트폴리오에 대한 "시장 신뢰도 맵"을 예측하도록 훈련됩니다. 돌파구는 실시간으로 동적인 "신뢰도 맵"이 될 것이며, 포트폴리오의 어느 부분이(예: 특정 산업, 지리적 시장 또는 자산 클래스) 매우 신뢰할 수 있는 가치 평가를 가지고 있고 어떤 부분이 "금융 아티팩트"(예: 투기 거품 또는 갑작스러운 시장 조정)가 존재하더라도 상당한 불확실성에 취약한지를 시각적으로 강조합니다. 이는 포트폴리오 관리자가 동적으로 자본을 재할당하고, 위험을 헤지하고, 위기가 완전히 발생하기 전에 낮은 신뢰도 영역을 식별함으로써 상당한 손실을 피할 수 있도록 할 것입니다. 이는 인간의 직관과 수학적 엄격함을 혼합하여 "그림자 너머"로 나아가는 강력하고 사용자 중심적인 시스템을 제공할 것입니다.

구조의 보편적 라이브러리

이 논문은 모든 과학적 문제가 공유된 수학적 패턴을 통해 상호 연결되어 있다는 아이디어를 강력하게 강화하며, 희소한 인간 전문 지식과 물리적 사전 지식을 통합하여 신뢰할 수 있고 공간적으로 인식되는 신뢰도 평가를 생성하기 위한 구조의 보편적 라이브러리에 강력한 프레임워크를 기여합니다.