VesselSDF:用于血管网络重建的距离场先验
背景与学术渊源
起源与学术渊源
从医学影像数据,特别是从稀疏的CT扫描切片中精确重建血管网络的问题,长期以来一直是临床诊断和手术规划中的一个基本挑战。这个问题最早在计算机断层扫描(CT)等医学影像技术成为诊断冠状动脉疾病到肿瘤评估等各种疾病不可或缺的工具时出现并日益受到重视。对这些复杂、树状结构进行分割的早期方法通常依赖于传统的图像处理技术。然而,随着对手术导航、血流动力学分析和异常早期检测所需的血管三维模型精度的需求不断增长,这些方法的局限性变得越来越明显。深度学习的出现为医学图像分割带来了显著的进步,但即使是这些复杂的模型在处理血管网络的独特特性时也遇到了困难。
迫使作者开发 VesselSDF 的根本“痛点”源于先前方法的三项关键局限性:
- 表面锯齿状伪影:传统的二值体素分类方法将血管表示为离散的三维立方体。这种离散性质常常导致重建血管的表面出现锯齿状、块状的纹理,这对于表面积与体积比很高的细小血管尤其成问题。这种平滑度的缺乏使得模型在临床应用中的精度较低。
- 各向异性畸变与碎片化:医学CT扫描通常在每个切片内(面内,$\Delta x, \Delta y$)的分辨率远高于切片之间的间距(层厚,$\Delta z$)。这种显著的差异会产生各向异性畸变,导致血管看起来碎片化或断开连接,尤其是在分支点或血管快速改变方向的地方。
- SDF 中的浮动伪影:虽然符号距离场(SDF)为表示连续表面提供了一种有前景的方式,但现有的基于 SDF 的方法本身经常会产生“浮动伪影”——在重建中出现的小的、断开连接的表面碎片,但它们并不对应于实际的血管结构,从而降低了三维模型的整体质量和可靠性。
直观的领域术语
- 符号距离场 (Signed Distance Field, SDF):想象你有一个城市的3D地图,你想知道城市中的每个点离最近的河流有多远。SDF 就像那张地图,但它是关于血管的。对于空间中的任何一点,它告诉你到血管表面的最短距离。如果该点在血管内部,距离为负;如果它在外部,距离为正;如果它正好在表面上,距离为零。这种连续的表示有助于捕捉平滑的形状。
- 二值体素分类 (Binary Voxel Classification):将三维图像想象成由微小的乐高积木(体素)组成。二值体素分类就像决定每个单独的乐高积木是否是血管的一部分(你把它涂成红色)还是不是血管的一部分(你把它留空)。这是对每个微小立方体的简单“是”或“否”的决定,这可能导致块状或碎片化的结果。
- 稀疏CT扫描切片 (Sparse CT Scan Slices):想象一下,只通过观察树干和树枝上几个非常薄、间隔很远的横截面来理解一棵复杂树木的完整三维形状。稀疏CT扫描类似:你只能获得身体有限的“切片”,并且它们之间有很大的间隙。从这些稀疏、遥远的切片中重建连续结构(如血管)是一个重大挑战。
- 结构连续性 / 几何保真度 (Structural Continuity / Geometric Fidelity):这指的是重建的血管在多大程度上保持其自然的、不间断的流动和准确的形状。“结构连续性”意味着血管没有间隙或断裂。“几何保真度”意味着其曲线、分支和直径准确地匹配真实血管,而不是锯齿状、扭曲或简化。
- 浮动伪影 (Floating Artifacts):想象一位雕塑家试图雕刻一个精美的雕像,但却不小心在主雕像周围留下了微小的、不想要的石屑。在三维血管重建中,浮动伪影是出现在最终模型中但属于实际血管网络的小的、断开连接的几何碎片。它们是降低重建质量和真实感的虚假元素。
符号表
| 符号 | 描述 |
|---|---|
| $V$ | 输入体数据CT扫描 |
| $D, H, W$ | CT扫描的尺寸(深度、高度、宽度) |
| $\mathbf{x}$ | $\mathbb{R}^3$ 中的三维空间坐标 |
| $f_{SDF}(\mathbf{x}; \theta_r)$ | 在 $\mathbf{x}$ 处的预测符号距离场(SDF),由 $\theta_r$ 参数化 |
| $S$ | 血管表面,定义为 $f_{SDF}$ 的零水平集 |
| $f_o(\mathbf{x}; \theta_o)$ | 在 $\mathbf{x}$ 处的预测二值占用概率,由 $\theta_o$ 参数化 |
| $f^*_{SDF}(\mathbf{x})$ | 在 $\mathbf{x}$ 处的真实值 SDF |
| $y$ | 在 $\mathbf{x}$ 处的占用率的真实值二值标签(1表示血管,0表示背景) |
| $\mathcal{L}$ | 总损失函数 |
| $\mathcal{L}_{sdf}$ | SDF 监督损失(L1范数) |
| $\mathcal{L}_{occ}$ | 占用率监督损失(二元交叉熵) |
| $\mathcal{L}_{eik}$ | 欧拉正则化损失 |
| $\mathcal{L}_{gauss}$ | 距离加权高斯正则化损失 |
| $\mathcal{L}_{sur}$ | 表面正则化损失 |
| $\lambda_s, \lambda_o, \lambda_e, \lambda_g, \lambda_r$ | 各损失项的权重 |
| $\partial_x, \partial_y, \partial_z$ | 相对于 x, y, z 坐标的偏导数 |
| $\gamma$ | 欧拉损失中 z 维度梯度的各向异性缩放因子 |
| $G_\sigma(\cdot)$ | 标准差为 $\sigma$ 的三维高斯模糊算子 |
| $\beta$ | 表面正则化的超参数 |
| $\Omega$ | 三维训练体积 |
| $\theta_o$ | 二值占用率 U-Net 的参数 |
| $\theta_r$ | SDF 精炼器 U-Net 的参数 |
| $g_e, h_e$ | 注意力门中的门控和跳跃连接特征图 |
| $a_e$ | 注意力权重 |
| $\mathcal{A}(\cdot)$ | 学习到的注意力函数 |
| $W_g, W_h$ | 注意力门的训练权重矩阵 |
问题定义与约束
核心问题表述与困境
本文解决的核心问题是从稀疏的医学成像数据,特别是CT扫描切片中,精确且鲁棒地重建复杂的血管网络。
提议的 VesselSDF 框架的起点(输入/当前状态)是体数据CT扫描,表示为 $V \in \mathbb{R}^{D \times H \times W}$,其中 $D$ 表示轴向切片的数量,$H, W$ 是面内尺寸。该输入数据具有固有的稀疏性,尤其是在成像平面之间,并且由于辐射剂量降低或时间限制等因素,通常在穿层分辨率方面存在不足。
期望的终点(输出/目标状态)是连续的符号距离场(SDF),$f_{SDF}(\mathbf{x}; \theta_r)$,它将血管表面隐式地定义为其零水平集:$S := \{\mathbf{x} \in \mathbb{R}^3 \mid f_{SDF}(\mathbf{x}; \theta_r) = 0\}$。该 SDF 应能够生成高质量的重建血管,精确捕捉血管的平滑管状几何形状、复杂的分支模式,并保持结构连续性和几何保真度。最终目标是为临床环境提供更可靠的血管分析。
VesselSDF 试图弥合的确切缺失环节或数学鸿沟在于超越离散的、基于体素的表示和有缺陷的连续 SDF 方法,以实现真正精确且拓扑一致的连续血管表面。传统的二值体素分类方法虽然是基础,但固有地产生锯齿状表面伪影,在细小血管中尤为明显。此外,CT扫描中面内分辨率($\Delta x, \Delta y$)与层厚($\Delta z$)之间显著的各向异性导致血管结构碎片化,尤其是在关键的分支点。虽然符号距离场为连续表面表示提供了一个有前景的方向,但现有的基于 SDF 的方法经常产生不受欢迎的“浮动伪影”——断开连接的表面碎片,严重降低了重建质量。本文将血管分割重新表述为连续 SDF 回归问题,通过学习一种固有地捕捉血管几何形状和连通性的连续表示,直接解决了这些局限性。
历史上将研究人员困在这个领域的痛苦的权衡或困境是,在保持精细血管连通性和保持精确边界之间存在根本性的张力,尤其对于细小的、树状结构而言。改善一个方面通常会损害另一个方面。例如,为了确保连续性而进行的激进平滑可能会导致过度平滑和细节丢失,而专注于精确边界可能会导致血管段碎片化或断开连接。先前基于深度学习的方法,通常基于二值体素分类,在此困境中挣扎,导致模型要么缺乏结构连贯性,要么无法超越特定训练数据进行泛化,而是记忆配置而非学习可泛化的几何原理。
约束与失效模式
由于研究人员遇到的几个严峻的现实障碍,精确血管网络重建的问题极其困难:
-
物理/几何约束:
- 细小、分支结构:血管具有复杂的血管分支模式和变化的直径,通常非常细小。从稀疏数据中精确重建这些精细的、树状结构是一个重大挑战。
- 复杂拓扑:血管网络的复杂拓扑,具有众多的分叉和曲折路径,使得在保持结构连贯性和防止碎片化方面存在困难,尤其是在血管分支或快速改变方向的区域。
- 各向异性分辨率:CT扫描中面内分辨率与层厚之间存在显著差异,会产生各向异性畸变。这会导致血管结构的断裂和碎片化,尤其是在分支点,使得重建平滑、连续的表面变得困难。
-
计算约束:
- 数据稀疏性:主要输入是稀疏的CT扫描切片,在成像平面之间存在固有的稀疏性。这种有限的穿层分辨率是为减少辐射剂量或满足临床环境中实时延迟要求所做的努力的直接结果,但它严重限制了用于三维重建的信息。
- 高分辨率的计算复杂性:从稀疏的二维切片中实现高分辨率的三维重建通常需要指数级增长的计算资源,这对模型复杂性和推理速度构成了实际限制。
-
数据驱动约束:
- 标注数据稀缺:高质量的医学影像数据集,特别是那些具有细小血管结构详细标注的数据集,本身就存在稀缺性。这种数据稀缺性常常导致模型记忆特定的血管配置,而不是学习鲁棒的、可泛化的几何原理。
- 高个体差异:血管解剖结构表现出高度的个体差异,这使得在有限数据集上训练的模型难以在不同患者和解剖变异中进行有效泛化。
VesselSDF 旨在克服的先前方法的失效模式包括:
* 表面锯齿状伪影:基于体素表示的离散性质不可避免地导致阶梯状或锯齿状表面,尤其是在表面积与体积比高的细小血管中尤为明显。
* 碎片化和断开连接的血管:由于数据稀疏和各向异性分辨率,先前的方法经常产生碎片化或在解剖学上不合理的重建,血管看起来断开连接或不完整。细小血管经常被漏检或碎片化。
* 浮动伪影:现有的基于 SDF 的方法虽然提供了连续表示,但经常产生虚假的“浮动”伪影——断开连接的表面碎片,不属于实际的血管网络,降低了整体重建质量。
* 缺乏泛化能力:模型倾向于记忆有限训练数据中的特定模式,而不是学习通用的几何原理,导致在未见过的数据或不同的血管配置上表现不佳。
为什么选择这种方法
选择的必然性
鉴于传统方法在血管网络重建中固有的局限性,采用连续符号距离场(SDF)回归方法,如 VesselSDF 所体现的,不仅仅是一种改进,而是一种必要的范式转变。作者通过详细阐述现有深度学习方法(特别是基于二值体素分类的方法,如标准 CNNs,U-Net 变体)的关键缺点,明确指出了实现这一认识的确切时刻。
这些传统方法因以下几个原因被发现根本不足:
- 离散表示伪影:二值体素表示的本质是产生锯齿状、阶梯状表面。这对于细小、复杂的血管结构尤其成问题,因为这些结构的表面积与体积比很高,导致几何保真度严重损失和解剖学上不合理的重建。
- 各向异性畸变与碎片化:医学影像数据,特别是稀疏的CT扫描切片,通常在面内分辨率($\Delta x, \Delta y$)和层厚($\Delta z$)之间存在显著差异。离散方法难以弥合这些差距,导致各向异性畸变和血管结构碎片化,尤其是在关键的分支点。这会导致不连续性和关键几何特征的丢失。
- 结构连贯性与泛化能力不足:现有的深度学习模型虽然强大,但常常无法在复杂的血管拓扑中保持结构连贯性。它们倾向于记忆有限训练数据中的特定血管配置,而不是学习可泛化的几何原理,这使得它们在未见过的数据中容易产生碎片化或断开连接的血管。
- 朴素 SDF 中的浮动伪影:虽然 SDF 提供了有前景的连续表示,但即使是现有的基于 SDF 的方法也会产生“浮动伪影”——断开连接的表面碎片,降低了重建质量。这意味着简单地切换到 SDF 并不足够;需要一种更鲁棒、对伪影敏感的方法。
SDF 的连续性,它固有地平滑地表示表面并捕捉一致的空间关系,成为克服离散表示根本无法解决的这些根深蒂固问题的唯一可行解决方案。该问题对从稀疏数据中重建精细、分支结构的要求,需要平滑、连续且拓扑连贯的重建,这使得转向连续几何回归框架成为必然。
比较优势
VesselSDF 通过其结构设计和新颖的正则化技术,在定性上展示了远超简单性能指标的优势。其优势源于它如何利用 SDF 的固有属性,同时细致地解决其常见缺陷:
- 固有的平滑性和几何保真度:与离散体素表示不同,SDF 自然地编码了平滑、连续的表面。VesselSDF 通过将血管分割重新表述为连续 SDF 回归问题来利用这一点。这使其能够固有地捕捉血管的平滑管状几何形状及其复杂的血管分支模式,从而产生具有卓越几何保真度和结构连贯性的重建。
- 自适应噪声处理与细节保留:一个关键的结构优势是新颖的距离加权高斯正则化器(方程 8)。该机制自适应地强制执行平滑:它在远离血管表面的区域(其中 $|f_{SDF}(\mathbf{x})|$ 较大且噪声更普遍)中积极地模糊和平滑 SDF,从而有效地处理高维噪声。至关重要的是,它同时保留了表面边界附近的精细血管细节(其中 $|f_{SDF}(\mathbf{x})| \approx 0$),防止了关键解剖特征的过度平滑。这比应用统一正则化的方法有了显著的定性飞跃。
- 通过几何先验增强泛化能力:通过将问题表述为连续几何回归而非离散分类,VesselSDF 学习了更通用的基本形状原理。距离加权正则化通过编码与血管连续性相关的通用几何先验,进一步增强了这一点,而不是记忆特定的模式。这使得模型能够更有效地将知识迁移到不同的血管配置和解剖变异中。
- 鲁棒的伪影消除:自适应高斯正则化器和表面正则化项(方程 9)的组合提供了一种鲁棒的机制来消除常见的 SDF 伪影,如浮动片段。表面正则化专门惩罚没有实际表面证据的接近零的 SDF 值,有效地抑制了可能以断开连接的碎片形式出现的虚假或微弱边界。
- 解耦的两阶段精炼:将初始二值占用率预测与后续 SDF 精炼分离的两阶段架构是一个结构优势。初始 U-Net 提供了一个可靠的起点,第二阶段,一个额外的三维 U-Net,专门专注于将其精炼为正确缩放的 SDF,并由几何正则化指导。这种解耦允许每个阶段优化其特定任务,从而实现更鲁棒、更精确的最终重建。
与约束的对齐
VesselSDF 的设计完美地符合从稀疏 CT 数据中进行血管网络重建的严苛要求,形成了“问题与解决方案的结合”:
- 约束:稀疏 CT 扫描切片与不连续性:该问题以穿层分辨率有限为特征,导致不连续性。
- 对齐:VesselSDF 的连续 SDF 表示固有地在稀疏切片之间进行插值。通过为体积中的每个点表示其到最近血管表面的符号距离,它创建了一个平滑、连续的表面,弥合了间隙,克服了由稀疏性引起的碎片化。SDF 表示“通过距离场属性固有地耦合相邻的预测”(第 5 页),确保了切片之间的一致性。
- 约束:细小、分支血管与锯齿状伪影:精细的树状结构容易因离散体素而产生锯齿状。
- 对齐:平滑、管状的几何形状由连续 SDF 自然捕捉。这消除了体素方法固有的锯齿状伪影,为细小血管和复杂血管分支模式提供了更精确、更符合解剖学的表示。
- 约束:保持结构连续性与几何保真度:确保血管保持连接且几何精确至关重要。
- 对齐:欧拉正则化(方程 7)通过强制执行接近单位的梯度来鼓励平滑的距离过渡,防止可能导致几何伪影的大偏差。此外,距离加权高斯正则化器在血管表面附近保持整体平滑的同时,确保了精确的几何形状,直接解决了连续性和保真度问题。
- 约束:超越训练数据的泛化能力:标注数据稀缺导致模型记忆特定模式。
- 对齐:通过将任务表述为连续几何回归,VesselSDF 学习了基本形状原理,而不是特定的体素模式。距离加权正则化通过编码与血管连续性相关的通用几何先验,进一步增强了这一点,提高了模型在不同血管配置和解剖变异中泛化的能力。
- 约束:消除浮动伪影:即使是现有的 SDF 方法也存在常见问题。
- 对齐:自适应高斯正则化器和表面正则化项(方程 9)专门用于解决此问题。高斯正则化器确保了血管表面远处的平滑性,而表面正则化则抑制了可能形成虚假、断开连接的血管组件的微弱、嘈杂的边界。
替代方案的拒绝
该论文主要通过关注离散体素分类方法的局限性以及 SDF 方法中对鲁棒正则化的需求,清晰地阐述了拒绝传统甚至一些当代方法的理由。
对流行的诸如标准 CNNs(例如 3D U-Net [5]、3D SA-UNet [8]、nnU-Net [9])等方法的根本论点是它们固有的无法表示连续、平滑表面以及有效处理各向异性数据的能力。如摘要所述,“现有的基于深度学习的方法,基于二值体素分类,常常在结构连续性和几何保真度方面遇到困难。”(摘要)。具体来说,这些方法:
- 产生锯齿状表面伪影:体素的离散性质不可避免地导致“锯齿状表面伪影,这在表面积与体积比高的细小血管中尤其明显。”(第 4 页)。
- 受各向异性畸变影响:成像平面($\Delta x, \Delta y$ vs. $\Delta z$)之间分辨率的显著差异会导致“各向异性畸变,尤其是在分支点处使血管结构碎片化。”(第 4 页)。
- 在结构连贯性方面遇到困难:它们经常导致“碎片化或在解剖学上不合理的重建”(第 2 页),无法保持血管网络的精细连通性。
尽管本文承认了其他隐式神经表示和基于 SDF 的方法(例如 [1, 3, 11, 21])的出现,但通过强调 VesselSDF 独特的贡献,暗示了它们的不足。作者指出,“现有的基于 SDF 的方法经常产生浮动伪影,即断开连接的表面碎片,这会降低重建质量。”(第 4 页)。这表明,如果没有 VesselSDF 特定的自适应高斯正则化和表面正则化技术,即使是其他 SDF 方法也无法为具有挑战性的血管数据提供所需的鲁棒性和伪影抑制水平。本文没有深入探讨其他流行的深度学习范式(如生成对抗网络(GANs)或扩散模型)在此特定任务上的具体失败之处,但对离散表示的普遍批评广泛适用于许多此类方法,如果它们依赖于基于体素的输出。
数学与逻辑机制
主方程
VesselSDF 框架的核心在于一个全面的损失函数,它协调了其两个阶段的学习过程。这个主方程,作者旨在训练过程中最小化,优雅地结合了监督学习目标和几个几何正则化项。它是驱动模型重建平滑、连续且拓扑精确的血管网络的能力的中心数学引擎。
总损失 $\mathcal{L}$ 定义为:
$$ \mathcal{L} = \lambda_s \mathcal{L}_{sdf} + \lambda_o \mathcal{L}_{occ} + \lambda_e \mathcal{L}_{eik} + \lambda_g \mathcal{L}_{gauss} + \lambda_r \mathcal{L}_{sur} $$
这个方程是五个不同损失分量的加权和,每个分量在塑造预测的符号距离场(SDF)和确保最终血管重建质量方面起着至关重要的作用。
按项解剖
让我们剖析主方程的每个组成部分,以理解其个体贡献及其包含的理由。
-
$\mathcal{L}$ (总损失):这是 VesselSDF 模型力求最小化的总体目标函数。其值反映了模型预测与真实值的一致程度以及满足的几何约束。优化过程的目标是找到产生最低 $\mathcal{L}$ 的模型参数。
-
$\lambda_s, \lambda_o, \lambda_e, \lambda_g, \lambda_r$ (损失权重):这些是标量超参数,决定了每个单独损失项的相对重要性。例如,作者在实验中将 $\lambda_s = 0.1$,$\lambda_o = 0.01$,$\lambda_e = 0.01$,$\lambda_g = 0.1$,$\lambda_r = 0.1$。通过调整这些权重,可以微调直接监督与几何正则化之间的平衡,强调重建的某些方面而不是其他方面。此处添加的选择是多任务学习中组合多个目标标准的标准做法,允许每个术语独立地为整体梯度做出贡献。
-
$\mathcal{L}_{sdf}$ (SDF 监督损失):
$$ \mathcal{L}_{sdf} = E_{x \in \Omega} |f_{SDF}(x) - f^*_{SDF}(x)| $$- 数学定义:此项计算在三维空间坐标 $x$ 处的预测符号距离场 $f_{SDF}(x)$ 与相应的真实值 SDF $f^*_{SDF}(x)$ 之间的 L1 绝对差值。期望值 $E_{x \in \Omega}$ 意味着该差值在三维训练体积 $\Omega$ 内所有采样点 $x$ 上取平均。
- 物理/逻辑作用:这是 SDF 精炼阶段的直接监督项。它迫使模型学习真实的符号距离值,确保预测的表面(其中 $f_{SDF}(x) = 0$)准确匹配真实值的血管边界。L1 范数(绝对差值)在回归任务中通常优于 L2(平方差值),当处理潜在的异常值或需要对误差进行稳健惩罚时,因为它对大误差的敏感度较低。它鼓励误差稀疏。
- 为什么是 L1? 与 L2 范数(平方误差,可能受大偏差的严重影响)相比,L1 范数对误差提供线性惩罚,使其对异常值更稳健。这有助于防止模型被嘈杂的真实值 SDF 值过度影响。
-
$\mathcal{L}_{occ}$ (占用率监督损失):
$$ \mathcal{L}_{occ} = -E_{x \in \Omega} [y \log(f_o(x)) + (1 - y) \log(1 - f_o(x))] $$- 数学定义:这是二元交叉熵损失。在此,$y \in \{0, 1\}$ 是点 $x$ 的二值真实值标签(1 表示血管,0 表示背景),而 $f_o(x)$ 是点 $x$ 属于血管的预测占用率概率。
- 物理/逻辑作用:此项监督网络的第一个阶段,即二值占用率预测器。它鼓励模型正确地将每个体素分类为属于血管或不属于血管。通过最小化此损失,模型学会为血管体素输出高概率,为背景体素输出低概率。
- 为什么是二元交叉熵? BCE 是二元分类问题的标准损失函数。它有效地衡量了预测概率分布与真实二值分布之间的不相似性,将模型的预测推向正确的标签。
-
$\mathcal{L}_{eik}$ (欧拉正则化损失):
$$ \mathcal{L}_{eik} = E_{x \in \Omega} [(\partial_x f_{SDF}(x))^2 + (\partial_y f_{SDF}(x))^2 + (\gamma \partial_z f_{SDF}(x))^2 - 1]^2 $$- 数学定义:此项惩罚与理想欧拉方程的偏差,该方程指出真实 SDF 的梯度幅度几乎处处为 1。它计算预测 SDF 的平方梯度幅度与 1 之间的平方差。$\partial_x, \partial_y, \partial_z$ 表示相对于 x, y, z 坐标的偏导数。$\gamma = \frac{\Delta x}{\Delta z}$ 是一个各向异性缩放因子,用于处理医学图像中沿轴向(z)维度与面内(x, y)维度相比可能存在的体素间距差异。
- 物理/逻辑作用:这是一个关键的几何正则化项。它强制预测的 $f_{SDF}(x)$ 表现得像一个真实距离函数,其中距离从表面开始均匀变化。这可以防止 SDF 变得过于陡峭或过于平坦,确保平滑的距离过渡并防止几何伪影,如“塌陷”或“膨胀”的表面。各向异性缩放 $\gamma$ 是一个巧妙的细节,用于处理医学图像中常见的非均匀体素分辨率问题。
- 为什么是与 1 的平方差? 真实符号距离函数的一个基本属性是其梯度幅度为 1。通过惩罚与 1 的平方差,损失鼓励模型学习此属性,使 SDF 在几何上一致。
-
$\mathcal{L}_{gauss}$ (距离加权高斯正则化损失):
$$ \mathcal{L}_{gauss} = E_{x \in \Omega} |f_{SDF}(x)| \cdot ||f_{SDF}(x) - G_\sigma(f_{SDF}(x))||_2^2 $$- 数学定义:此项应用距离加权的平滑约束。它计算预测 SDF $f_{SDF}(x)$ 与其高斯模糊版本 $G_\sigma(f_{SDF}(x))$ 之间的平方 L2 范数差值,其中 $G_\sigma$ 是标准差为 $\sigma$ 的三维高斯模糊算子。然后,该差值乘以预测 SDF 的绝对值 $|f_{SDF}(x)|$ 进行加权。
- 物理/逻辑作用:这是一个自适应平滑项,旨在减少高频噪声和浮动伪影,尤其是在远离血管表面的区域。加权因子 $|f_{SDF}(x)|$ 意味着当 $x$ 远离血管表面时(其中 $|f_{SDF}(x)|$ 较大),平滑效果更强,当 $x$ 接近表面时(其中 $|f_{SDF}(x)| \approx 0$),平滑效果较弱。这使得模型能够在不过度平滑关键血管细节的情况下实现全局平滑。
- 为什么是距离加权高斯模糊? 高斯模糊是标准的图像处理平滑技术。距离加权是这里的关键创新:它允许自适应平滑。没有它,全局平滑项可能会模糊掉重要的细小血管结构。通过使平滑强度依赖于到表面的距离,作者确保了在最关键的细节处保留细节。
-
$\mathcal{L}_{sur}$ (表面正则化损失):
$$ \mathcal{L}_{sur} = E_{x \in \Omega} \exp(-\beta |f_{SDF}(x)|) $$- 数学定义:此项使用负的绝对预测 SDF 的指数函数,并由超参数 $\beta > 0$ 加权。
- 物理/逻辑作用:此项专门用于抑制虚假或“浮动”的血管组件。它强烈惩罚接近零但缺乏实际表面证据的预测 SDF 值。较大的 $\beta$ 值会使此惩罚更具侵略性,从而有效地将微弱、嘈杂的边界推离零水平集,从而清理重建。
- 为什么是指数函数? 指数函数 $\exp(-z)$ 随着 $z$ 的增加而快速减小。当 $z = \beta |f_{SDF}(x)|$ 时,这意味着当 $|f_{SDF}(x)|$ 很小时(即接近表面),损失非常高,并且随着 $|f_{SDF}(x)|$ 的增加而迅速下降。这会产生一种强大的“排斥”效应,阻止模型预测模糊的近表面值。
分步流程
让我们想象一个抽象的三维空间坐标,称之为 $x$,在训练过程中遍历 VesselSDF 流程。可以将其视为一个微小粒子通过一个复杂装配线的旅程。
-
初始输入:我们的粒子 $x$ 作为原始体数据 CT 扫描 $V$ 中的一个坐标开始其旅程。系统还可以访问 CT 扫描中 $x$ 周围的局部图像特征。
-
阶段 1:占用率预测(“粗略草图”阶段):
- 坐标 $x$(或者更确切地说,从 CT 扫描在 $x$ 处及周围提取的特征)首先进入用于二值占用率预测的 3D U-Net,我们称之为 $f_o(\cdot; \theta_o)$。
- 在这个 U-Net 内部,输入特征通过编码器-解码器结构进行处理。在各个层级,3D 注意力门(如方程 2 所述)充当智能过滤器。它们分析传入的特征图 $g_e$ 和 $h_e$,并生成注意力权重 $a_e$。然后,这些权重会调节跳跃连接特征,确保网络将计算精力集中在显著的血管区域,并保留可能丢失的精细细节。
- 通过这个 U-Net 后,我们的粒子 $x$ 被分配了一个占用率概率,$f_o(x)$。该值通常在 0 到 1 之间,表示网络最初的“猜测”,即 $x$ 是否属于血管(例如,$f_o(x) \approx 1$)或背景(例如,$f_o(x) \approx 0$)。这就像得到了血管的粗略二值草图。
-
阶段 2:SDF 精炼(“精密雕刻”阶段):
- 阶段 1 的占用率概率 $f_o(x)$ 然后被传递给 SDF 精炼网络,$f_r(\cdot; \theta_r)$。至关重要的是,该阶段的梯度从第一个阶段的参数中分离出来 (
detach(fo(x;θo)))。这意味着 SDF 精炼器将占用率预测作为固定输入,防止其自身的几何约束干扰初始分割任务。 - SDF 精炼器,另一个 3D U-Net,接收此占用率信息,并通过其多分辨率处理,将其转换为连续符号距离值,$f_{SDF}(x)$。该值不再是概率,而是一个实数:如果 $x$ 在血管内部,则为负;如果 $x$ 在外部,则为正;如果正好在血管表面,则为零。这是粗略草图转化为精确、连续几何表示的地方。
- 阶段 1 的占用率概率 $f_o(x)$ 然后被传递给 SDF 精炼网络,$f_r(\cdot; \theta_r)$。至关重要的是,该阶段的梯度从第一个阶段的参数中分离出来 (
-
损失计算(“质量控制”阶段):
- 现在,将 $f_o(x)$ 和 $f_{SDF}(x)$ 与它们各自的真实值(占用率的 $y$,SDF 的 $f^*_{SDF}(x)$)进行比较。
- $\mathcal{L}_{occ}$ 项检查 $f_o(x)$ 与真实二值标签 $y$ 的匹配程度。
- $\mathcal{L}_{sdf}$ 项测量 $f_{SDF}(x)$ 与真实 SDF $f^*_{SDF}(x)$ 之间的绝对差值。
- $\mathcal{L}_{eik}$ 项仔细检查 $f_{SDF}(x)$ 的梯度,确保其接近 1,从而验证 $f_{SDF}(x)$ 是否表现得像一个真正的距离场。
- $\mathcal{L}_{gauss}$ 项对 $f_{SDF}(x)$ 应用距离加权平滑检查,确保远处区域平滑,同时保留近表面的精细细节。
- 最后,$\mathcal{L}_{sur}$ 项惩罚任何微弱、模糊的接近零的 SDF 值,有效地“清理”潜在的浮动伪影。
- 所有这些单独的检查都合并到总损失 $\mathcal{L}$ 中,它为我们的粒子 $x$ 的模型性能提供了一个单一的度量。
-
参数更新(“学习”阶段):
- 基于总损失 $\mathcal{L}$,计算梯度并由优化器(在本例中为 Adam)用于调整两个 U-Net 的参数($\theta_o$ 和 $\theta_r$)。这种迭代调整,在许多粒子和 epoch 中重复进行,使整个系统能够学习和改进其预测。
-
最终输出(“重建血管”):
- 训练完成后,在推理时,系统接收新的 CT 扫描数据,对于任何点 $x$,它输出其预测的 $f_{SDF}(x)$。血管表面然后简单地定义为所有 $f_{SDF}(x) = 0$ 的点的集合。然后可以使用 Marching Cubes 等算法将该零水平集转换为三维网格,从而得到最终的高质量重建血管。
优化动力学
VesselSDF 模型通过使用Adam 优化器迭代最小化总损失函数 $\mathcal{L}$ 来学习和收敛。这个过程涉及梯度和损失景观塑造的复杂相互作用,由主方程中的各种项指导。
-
梯度行为:
- 在每次训练迭代中,Adam 优化器计算总损失 $\mathcal{L}$ 相对于所有可训练参数(占用率 U-Net 的 $\theta_o$ 和 SDF 精炼器 U-Net 的 $\theta_r$)的梯度。
- 方程 3 中的
detach操作是梯度流的关键方面。它确保来自 SDF 特定损失项($\mathcal{L}_{sdf}$、$\mathcal{L}_{eik}$、$\mathcal{L}_{gauss}$、$\mathcal{L}_{sur}$)的梯度不会反向传播以更新初始占用率预测网络的参数 $\theta_o$。这种设计选择将初始分割任务隔离,使其能够提供稳定、可靠的起点,而不会受到 SDF 更复杂的几何约束的干扰。只有 $\mathcal{L}_{occ}$ 项有助于更新 $\theta_o$。 - 相反,所有五个损失项都有助于更新 SDF 精炼器的参数 $\theta_r$。这意味着 SDF 精炼器同时学习匹配真实 SDF、强制执行欧拉属性、平滑远处区域并抑制浮动伪影,所有这些都建立在初始占用率预测的基础上。
-
损失景观塑造:主方程中的每一项都以特定方式塑造多维损失景观,将优化引导至期望的解决方案:
- $\mathcal{L}_{sdf}$ (L1 损失):此项在以真实 SDF 值为中心处创建了一个“V 形”山谷。线性惩罚确保了恒定的梯度幅度(除了精确最小值处),这有助于优化器有效地移向真实的 SDF 值。其对异常值的稳健性意味着偶尔嘈杂的真实值标签不会因极陡峭的梯度而严重扭曲景观。
- $\mathcal{L}_{occ}$ (二元交叉熵):对于占用率网络,此项塑造了一个强烈惩罚错误分类的景观。它创建了陡峭的斜坡,将预测概率推向背景的 0 和血管的 1,使其成为模型做出清晰、自信的二值决策的“能量有利”的。
- $\mathcal{L}_{eik}$ (欧拉正则化):这是一个强大的几何约束。它创建了一个景观,其中梯度幅度接近 1 的预测更受青睐,形成理想 SDF 流形上的一个“槽”。与该单位梯度的偏差会导致剧烈的惩罚,有效地“推动”模型的预测符合真实距离函数的属性。这可以防止 SDF 发生不自然的塌陷或膨胀。
- $\mathcal{L}_{gauss}$ (距离加权高斯正则化):此项对损失景观引入了自适应平滑效果。在远离血管表面的区域(其中 $|f_{SDF}(x)|$ 较大),此项创建了一个更平滑、更平坦的景观,鼓励模型减少高频噪声。然而,在血管表面附近(其中 $|f_{SDF}(x)| \approx 0$),其影响减弱,允许景观保留对应于细小血管细节的锐利特征。这是一种在保留局部精度的情况下平衡全局平滑度的巧妙方法。
- $\mathcal{L}_{sur}$ (表面正则化):此项的指数性质在 $f_{SDF}(x) = 0$ 附近创建了一个非常陡峭的“悬崖”。如果模型预测了一个微弱、不受支持的表面(即,$f_{SDF}(x)$ 接近零但没有强有力的证据支持),则此项会产生一个强大的梯度,将 $f_{SDF}(x)$ 推离零。这有效地“擦除”了虚假的浮动伪影,因为它使得模型预测模糊的近表面值变得非常不利。
-
迭代状态更新与收敛:
- Adam 优化器通过为每个参数使用自适应学习率,有效地导航了这个复杂的损失景观。它使用梯度的第一和第二矩的估计值来调整每个参数的步长,从而在相关方向上实现更快的收敛,并在嘈杂或平坦的区域实现更慢的更新。
- 在 100 个 epoch 中,模型迭代地更新其参数。最初,预测可能很粗糙,但随着训练的进行,监督项的综合影响将预测拉向真实值,而正则化项则精炼了几何形状,确保了平滑性、正确的距离场属性以及伪影的抑制。联合训练,通过分离的梯度流,允许模型首先建立一个鲁棒的占用率图,然后将其精细地精炼成高质量的连续 SDF,从而实现精确且拓扑连贯的血管重建。学习率 $5 \times 10^{-4}$ 是 Adam 的常见选择,在速度和稳定性之间提供了良好的平衡。
Figure 1. Overview of VesselSDF, our two-stage approach for vessel segmentation and reconstruction from CT scans. In the first stage, a 3D U-Net predicts a binary occupancy map. The second stage refines this occupancy into a signed distance field (SDF) using an additional 3D U-Net, guided by geometric regularization terms. The output 3D SDF, converted into a mesh, contains high-quality reconstructed vessels
结果、局限性与结论
实验设计与基线
作者精心设计了他们的实验,以验证 VesselSDF 的有效性,这是一个用于血管网络重建的两阶段框架。对于预测二值占用率图的第一阶段,他们采用了增强了注意力门的 3D U-Net 架构,以捕捉多尺度血管特征。负责将此占用率精炼为连续符号距离场(SDF)的第二阶段,使用了具有两个编码器-解码器级别的较轻量级 3D U-Net。两个阶段都使用 Adam 优化器以 $5 \times 10^{-4}$ 的学习率进行了 100 个 epoch 的联合训练。值得注意的是,训练期间没有应用数据增强,以保留 SDF 值的准确性。训练是在大小为 $512 \times 512 \times 16$ 的全体积输入上进行的,批次大小为 16。重建后,在 512 的分辨率下应用 Marching Cubes 来提取最终的血管网格。总损失函数 $\mathcal{L} = \lambda_s \mathcal{L}_{sdf} + \lambda_o \mathcal{L}_{occ} + \lambda_e \mathcal{L}_{eik} + \lambda_g \mathcal{L}_{gauss} + \lambda_{sur} \mathcal{L}_{sur}$ 包含了几个项:监督 SDF 和占用率损失,用于平滑距离过渡的欧拉正则化,用于自适应平滑的距离加权高斯正则化器,以及用于抑制浮动伪影的表面正则化。这些项的权重设置为 $\lambda_s = 0.1$,$\lambda_o = 0.01$,$\lambda_e = 0.01$,$\lambda_g = 0.1$,$\lambda_{sur} = 0.1$。
与 VesselSDF 进行严格测试的三个最先进的体数据分割架构是三个最先进的体数据分割架构,它们执行二值体素分类:
1. 3D-UNet [5]:一种基础的编码器-解码器架构,广泛用于医学图像分割。
2. 3D SA-UNet [8]:3D-UNet 的扩展,集成了空间注意力模块,旨在自适应地加权特征响应,这对于细小血管尤其有利。
3. nnU-Net [9]:一种自配置方法,采用两个 U-Net(一个用于低分辨率处理,一个用于更高分辨率处理)来实现鲁棒的医学图像分割。
VesselSDF 的性能在两个公开的肝脏血管分割数据集上进行了评估:
- 肝脏血管数据集(Medical Segmentation Decathlon - Task 08)[2]:包含 303 例半自动标注的肝静脉 CT 扫描。
- IRCADb 数据集 [19]:包含 20 例增强腹部 CT 扫描,具有完全手动分割的肝脏血管结构。
真实值 SDF 是从二值真实值计算得出的,用于训练。
为了明确证明其数学声明,作者使用了五种用于三维血管重建的综合指标:
- 体积重叠:Dice 分数和体积 IoU(交并比)。
- 拓扑相似性:Jaccard 距离(JD)。
- 几何精度:Chamfer 距离(CD)和 Hausdorff 距离(HD),分别衡量平均和最大表面距离。
证据证明的内容
表 1 和图 2 中提供的证据明确证明了 VesselSDF 的卓越性能,尤其是在保持复杂血管网络几何保真度和连通性方面。
在具有挑战性的肝脏血管数据集上,VesselSDF 在所有指标上都优于所有基线模型。例如,其 Dice 分数为 0.72,而 nnU-Net 为 0.69,其 Chamfer 距离(值越低表示性能越好)为 0.68,显著优于 nnU-Net 的 0.82。这是明确的、不容置疑的证据,表明 VesselSDF 的核心机制,利用连续 SDF 和几何正则化,比传统的二值体素分类产生了更精确的体积和表面重建。
对于 IRCADb 数据集,VesselSDF 在基于体积的指标(Dice、IoU、JD)上取得了与基线相当的性能,表明了相似的整体分割精度。然而,它在基于表面的指标(CD 和 HD)上显著优于基线。例如,VesselSDF 的 CD 为 0.60,而 nnU-Net 为 0.75,其 HD 为 3.5,而 nnU-Net 为 4.2。这突出表明,虽然整体体积可能相似,但 VesselSDF 产生了更精确、更平滑的血管表面几何形状,这对于临床分析至关重要。
图 2 中的定性结果进一步加强了这些发现。视觉比较清楚地表明,VesselSDF 比基线模型更能保留细小血管和复杂的血管分支模式,从而产生更完整、更符合解剖学的重建。该方法明显减少了常见的伪影,如浮动几何和断开的结构,这些伪影困扰着二值体素分类方法。
表 2 中的消融研究提供了对 VesselSDF 各个组件贡献的关键见解。移除 SDF 精炼阶段(“w/o SDF refinement”)导致 Dice 分数从 0.72 下降到 0.69,CD 从 0.68 增加到 0.70,证明了第二阶段对于几何精度至关重要。绕过初始二值占用率预测直接预测 SDF(“w/o Binary Occupancy”)导致性能下降更严重(Dice 0.65,CD 0.75),验证了两阶段方法在分离血管检测与几何精炼方面的优势。最后,移除自适应高斯正则化(“w/o Gaussian Loss”)保持了相似的 Dice 分数,但引入了表面伪影,证实了其在确保全局平滑而不过度平滑关键血管边缘方面的作用。完整的 VesselSDF 在所有指标上都实现了最佳性能,其中 SDF 精炼通过改进的重建指标特别增强了血管连续性。
局限性与未来方向
尽管 VesselSDF 在血管网络重建方面取得了重大进展,尤其是在稀疏 CT 数据方面,但该论文也暗示了进一步发展的领域。结论指出 VesselSDF 表现出“较少的浮动几何和断开连接的结构等问题”,这表明这些挑战虽然得到缓解,但可能并非完全消除。对肝脏血管和稀疏 CT 切片的关注也暗示了泛化能力的潜在局限性。
以下是一些关于如何进一步发展和演进这些发现的讨论话题:
-
跨解剖结构和模态的泛化能力:当前的工作侧重于 CT 扫描的肝脏血管。当应用于其他复杂的血管网络(如冠状动脉、脑血管系统或肾脏血管)时,VesselSDF 的鲁棒性如何?这些血管网络可能具有不同的几何特征和病理。此外,它在不同分辨率和噪声特征的不同成像模态(如 MRA 或 CTA)上的表现如何?是否可以通过整合多样化的数据集和域适应技术来开发更通用的血管重建“基础模型”?
-
计算效率与实时应用:虽然 SDF 提供了高几何保真度,但其计算和重建可能需要大量资源。对于需要快速反馈的临床应用,如术中引导或实时诊断支持,VesselSDF 的推理速度可能是一个瓶颈。未来的工作可以探索更有效的神经隐式表示、稀疏 SDF 技术或优化的硬件加速,以实现血管网络的近实时三维重建。
-
与高级临床工作流程的整合:除了静态重建,VesselSDF 生成的高质量三维血管模型如何整合到更高级的临床工作流程中?这可能包括模拟血流动力学分析的血流动力学,具有增强现实叠加的精确手术规划,甚至患者特定的设备设计。开发允许临床医生与这些连续三维表示进行交互和分析的用户友好界面和工具至关重要。
-
对病理变异和异常的鲁棒性:使用的数据集主要代表典型的血管结构。真实的临床数据通常包含显著的病理变异,如严重的狭窄、动脉瘤、动静脉畸形或肿瘤血管生成,这些都可能极大地改变血管形态。VesselSDF 对这些与典型解剖结构偏离的极端情况有多鲁棒?未来的研究可以侧重于整合更多样化的病理数据集,开发对特定病理特征敏感的损失函数,或采用对抗性训练来提高对异常结构的鲁棒性。
-
重建中的不确定性量化:在医学影像中,了解模型预测的置信度通常与预测本身一样重要。对于 VesselSDF,尤其是在稀疏性或噪声较高的区域,量化重建 SDF 的不确定性可以为临床医生提供有价值的信息。探索贝叶斯神经网络或集成方法来估计 SDF 预测中的不确定性,可以增强重建的临床效用和可信度。
-
超越静态三维:迈向四维重建:许多血管病理涉及动态过程,如血管搏动、血流变化或随时间的变化。VesselSDF 是否可以扩展以从动态成像序列重建四维(三维 + 时间)血管网络?这将为研究血管力学、血流模式和疾病进展提供更全面的途径。
Table 1. Quantitative Results on the Hepatic Vessels and IRCADb datasets. Comparison of vessel reconstruction performance using different baselines. We report volume metrics (Dice Coefficient, Intersection over Union (IoU), and Jaccard similarity (JD)) and surface metrics (Chamfer distance (CD) ×100 and Hausdorff Distance (HD))
Table 2. Ablations on the Hepatic Vessels dataset
Figure 2. Qualitative 3D reconstruction results on the Hepatic Vessels dataset. The bottom row displays 2D slices highlighting the segmentation results
与其他领域的同构性
结构骨架
本文提出了一种机制,通过回归符号距离场并进行正则化以在边界附近保留精细细节并在其他地方强制执行平滑性,从而从稀疏的二维观测中重建连续的三维表面。
远亲
-
目标领域:地球物理学(地下建模)
- 联系:在地球物理学中,一个长期存在的问题涉及从稀疏且通常嘈杂的二维地震剖面或钻孔数据中重建连续的三维地质结构,如油气藏、含水层或断层线。这与 VesselSDF 所解决的挑战相呼应:从有限的二维切片推断出连贯的三维形状。保持结构连续性(例如,平滑延伸的地层)和保留精细细节(例如,断层或薄储层的精确位置)同时抑制噪声并避免“浮动”或断开连接的地质特征的需求,与 VesselSDF 在没有伪影的情况下重建连续、分支血管网络的目标直接相似。VesselSDF 中的自适应正则化,它在远离表面的地方进行平滑处理但在表面附近保留细节,对于模拟复杂地下界面将非常有价值。
-
目标领域:金融工程(隐含波动率曲面构建)
- 联系:金融工程师面临着一个持续的挑战,即从离散的、观测到的期权价格中构建一个平滑的、无套利的隐含波动率曲面。该曲面是一个三维表示,其中两个维度是执行价格和到期时间,第三个维度是隐含波动率。问题是从稀疏、通常嘈杂的市场数据点推断出连续的、行为良好的曲面。本文中血管的“细小、分支结构”可以被视为类似于波动率曲面中复杂的非线性特征,如波动率微笑或偏斜,这些特征需要精确捕捉。VesselSDF 回归连续场并应用正则化以确保平滑性和防止伪影(如断开连接的片段)的方法,直接反映了创建一致且无套利的波动率曲面的需求,避免了可能导致定价错误的“浮动”或不连续的价格预测。
假设情景
想象一家主要投资银行的量化分析师“窃取”了 VesselSDF 的确切方程,并将其应用于构建隐含波动率曲面。他们将不依赖传统的插值方法或参数模型,而是训练一个神经网络,从离散的期权价格中回归一个连续的隐含波动率符号距离场(SDF)。自适应高斯正则化(方程 8)将特别具有革命性:它将在远离活跃交易期权(数据稀疏)的波动率曲面区域中积极地平滑噪声和不一致性,同时一丝不苟地保留靠近流动期权处的尖锐“微笑”和“偏斜”(类似于细小血管细节)。欧拉正则化(方程 7)将确保隐含波动率曲面表现得像一个真正的距离场,强制执行平滑过渡,并且至关重要的是,通过确保曲面的梯度属性行为良好来帮助防止套利机会。这可能在更鲁棒、无套利的期权定价、更准确的风险管理和更优越的套期保值策略方面取得突破,尤其是在数据稀疏性是一个重大障碍的奇异期权或流动性差的市场中。
结构通用库
本文提出的从稀疏数据中重建复杂血管网络的美妙解决方案,证明了连续场表示和自适应正则化在各种科学研究中普遍适用的通用结构库,为该库增添了重要的一章。