简介本资源是一项面向医学AI研究者与临床辅助诊断开发者的技术实践项目聚焦卵巢癌CT与超声影像的多模态融合分类建模旨在探索UNet架构下最优融合策略以提升早期诊断准确率。包内共73个文件含51张标注PNG/3张JPG医学影像、5个核心Python脚本ct_classify.py/us_classify.py/fusion_classify.py等、5个JSON配置与元数据文件、3个CSV评估结果表、2个训练好的.pth模型权重及README.md、说明文件.txt、附赠资源.docx等完整覆盖数据预处理、单模态训练、三类融合早期/中期/晚期实现与性能对比全流程压缩包大小为183.11MB。已有97人学习下载适合具备PyTorch基础的医学影像算法工程师开展复现、调优与临床验证。读者可直接运行代码复现UNet多模态分类实验获取标准化预处理流程、融合模块设计范式、交叉验证评估报告及模型鲁棒性测试方法显著降低同类研究的工程试错成本。1. 这不是又一个UNet复现它把CT和超声影像真正“缝”在一起跑通了卵巢癌分类的端到端链路你见过多少个标着“多模态”的项目最后只是把CT图和超声图并排喂进两个UNet再简单拼接特征图就交差这个资源不是。它用真实临床采集的卵巢癌CT与超声配对数据非公开数据集但结构完整、标注可信构建了三类可复现的融合范式早期特征级拼接、中期注意力门控加权、晚期决策级集成并在相同硬件RTX 3090 × 2、相同预处理流程窗宽窗位标准化灰度归一化病灶ROI裁剪下完成全量对比实验。结果很反直觉——最“重”的跨模态Transformer融合反而AUC最低0.82而轻量级的双流UNet通道注意力门控CAM-UNet以0.91 AUC胜出且推理速度比单模态UNet仅慢17%。适合正在做医学影像AI落地的工程师、规培中的放射科医生、以及需要交毕业设计但苦于找不到可复现多模态医疗项目的研究生。它不教你怎么调参而是告诉你当CT分辨率高但组织对比弱、超声实时性强但伪影多时“怎么缝”比“缝多厚”更重要。2. 数据准备与模态对齐为什么必须手动校准CT与超声的解剖坐标系2.1 从原始DICOM到统一NIfTICT与超声的格式鸿沟怎么跨CT数据来自医院PACS导出的DICOM序列512×512×64层厚1.25mm超声为动态视频帧提取的单帧B-mode图像768×576灰度8bit。二者根本不在同一坐标系CT是三维体素空间超声是二维平面投影且扫描角度、探头位置、患者呼吸相位均无同步标记。常见做法是直接resize后堆叠——这会导致后续所有融合策略失效。本项目采用解剖标志点引导配准在CT重建MPR图像上手动标注3个稳定解剖点子宫底、卵巢外缘、盆腔侧壁骨性突起在对应超声图像上标注相同点需由有经验的超声医师确认再用SimpleITK的Elastix模块执行刚性配准rigidtransform MutualInformationmetric。关键参数如下# elastix 参数配置elastixParameters.txt (Registration MultiResolutionRegistration) (FixedImagePyramid FixedRecursiveImagePyramid) (MovingImagePyramid MovingRecursiveImagePyramid) (NumberOfResolutions 3) (NumberOfIterations 1000 500 250) (Transform AffineTransform) (InitialTransformParameterFile NoInitialTransform) (HowToCombineTransforms Compose)提示配准前务必用dcm2niix转CT为NIfTI保留方向信息超声图像用cv2.resize保持长宽比缩放至512×512再转为NIfTInibabel.Nifti1Image否则Elastix会因方向矩阵缺失报错。2.2 ROI裁剪与病灶一致性验证避免“假阳性融合”配准后仍存在关键问题CT中可见的囊实性肿块在超声上可能因声影遮挡仅显示部分边界。若直接按CT病灶mask裁剪超声图会引入大量背景噪声。本项目采用双模态联合ROI策略先用CT的3D mask生成最小包围盒scipy.ndimage.find_objects再将该包围盒映射回超声图像坐标系通过配准变换矩阵逆运算最后在超声图上截取对应区域并做形态学闭运算填充微小空洞。验证脚本validate_roi_consistency.py会输出重叠率Dice系数和最大偏移像素应15px低于阈值的样本被自动剔除——共筛掉12.7%的原始配对数据。这是多模态训练稳定性的第一道防线。2.3 标签体系与临床可解释性对齐为什么不用one-hot编码标签不是简单的“良性/恶性”而是按FIGO分期组织学亚型复合编码0: ⅠA期浆液性癌低级别1: ⅠC期黏液性癌2: ⅡA期子宫内膜样癌3: ⅢC期透明细胞癌4: 良性囊肿含黄体囊肿、单纯性囊肿这种设计让模型输出不仅用于分类还能辅助病理分型。训练时采用标签平滑类别权重重采样恶性亚型样本量少仅占38%故在DataLoader中设置samplerWeightedRandomSampler(weights, num_sampleslen(dataset), replacementTrue)权重按1/类别频次计算。同时损失函数用LabelSmoothingCrossEntropy(smoothing0.1)替代标准CE防止模型对少数类过拟合。3. 模型架构与融合策略三种UNet变体的工程实现细节3.1 Baseline双流独立UNetDual-UNet——为什么它仍是强baseline双流结构看似简单却是检验融合必要性的黄金标尺。两路UNet共享编码器深度4层下采样但输入通道不同CT支路输入1通道窗宽窗位处理后超声支路输入1通道伽马校正CLAHE增强。关键细节在于解码器阶段的特征交互在每层上采样后将CT分支的特征图与超声分支同尺度特征图做逐元素相加torch.add(ct_feat, us_feat)而非拼接torch.cat。原因拼接会翻倍通道数导致后续卷积参数暴增而相加能保留模态特异性——CT特征更关注密度差异超声特征更关注纹理变化。代码核心片段如下class DualUNet(nn.Module): def __init__(self, in_channels1, num_classes5): super().__init__() self.ct_encoder UNetEncoder(in_channels, base_channels32) self.us_encoder UNetEncoder(in_channels, base_channels32) self.decoder UNetDecoder(base_channels64, num_classesnum_classes) # 注意base_channels64因两路特征相加 def forward(self, x_ct, x_us): ct_feats self.ct_encoder(x_ct) # list of [x1, x2, x3, x4] us_feats self.us_encoder(x_us) fused_feats [torch.add(ct_f, us_f) for ct_f, us_f in zip(ct_feats, us_feats)] return self.decoder(fused_feats)参数说明base_channels32保证单模态UNet参数量≈1.2Mfused_feats中每个张量通道数仍为32相加不增维解码器输入通道数设为64是因上采样后需融合更多上下文实际UNetDecoder内部会先用1×1卷积降维。3.2 CAM-UNet通道注意力门控融合——轻量但有效的“模态开关”CAM-UNet在Dual-UNet基础上增加通道注意力门控模块Channel Attention Gate, CAG。其核心思想不是平均融合而是让网络自己决定“此刻该信CT还是信超声”。CAG模块插入在每层解码器上采样后结构为全局平均池化 → 共享MLP降维→ReLU→升维→ Sigmoid → 与超声特征逐通道相乘。公式表达为us_attended us_feat × σ(MLP(GAP(us_feat)))fused ct_feat us_attended该设计使模型在CT清晰区域如钙化灶自动降低超声权重在超声纹理丰富区域如乳头状突起提升超声贡献。训练时发现CAG的MLP隐藏层设为通道数的1/8如32→4→32效果最佳过大则过拟合过小则门控失效。3.3 TransFuser跨模态Transformer融合——为何在小样本医疗数据上表现平庸TransFuser采用ViT-style的patch embedding将CT与超声特征图H×W×Creshape为N×DNH×W/16, DC×16输入双流Transformer编码器。关键改进是跨模态交叉注意力Cross-AttentionCT的Query与超声的Key/Value交互反之亦然。但实测发现在仅217例训练样本下Transformer极易过拟合——验证集loss震荡剧烈且注意力热图显示大量token关注无关背景。最终解决方案是冻结Transformer前2层仅微调最后2层分类头并加入更强的DropPath0.3和LayerScale0.1。即便如此其AUC仍比CAM-UNet低0.09证明在小样本医疗场景结构先验UNet的局部归纳偏置比纯数据驱动的全局建模更可靠。4. 训练策略与评估陷阱别让AUC数字骗了你4.1 多任务学习用分割任务正则化分类主干单纯分类易导致特征提取器忽略病灶边界细节。本项目引入辅助分割任务在UNet解码器每层输出添加1×1卷积头预测病灶二值maskCT与超声分别监督。总损失为L_total 0.7×L_cls 0.3×L_seg其中L_seg用Dice Loss1 - dice_coefficient计算。注意分割mask仅来自CT因CT病灶边界更清晰超声分支不参与分割监督但其特征仍通过融合影响分类结果。这一设计使分类模型在测试集上的Grad-CAM热图更聚焦于真实病灶区而非伪影区域。4.2 评估指标陷阱为什么Accuracy在医疗诊断中是危险的训练集Accuracy达92%但临床真正关心的是高灵敏度下的特异度即“不漏诊”前提下的“不错诊”。因此评估严格采用Youden指数最大化点作为分类阈值非默认0.5分层5折交叉验证按患者ID分层避免同一患者数据出现在训练/验证集混淆矩阵按FIGO分期展开例如ⅠA期误判为ⅠC期 vs 误判为良性临床意义天壤之别特别地对“良恶性”二分类任务报告敏感度Sensitivity≥95%时的特异度Specificity而非整体Accuracy。CAM-UNet在此指标下达到88.3%显著优于单模态CT UNet76.1%和单模态超声UNet69.5%。4.3 避坑多模态训练中最常踩的5个坑现象1训练初期Loss爆炸式增长→ 原因CT与超声图像强度分布差异大CT值范围[-1000, 2000]超声[0, 255]未做模态间归一化。→ 解决在DataLoader中对CT做z-score标准化μ40, σ300超声做min-max归一化[0,1]再统一乘以127.5。现象2CAM-UNet的注意力权重全趋近于0或1→ 原因CAG模块的Sigmoid输出饱和梯度消失。→ 解决在CAG的MLP最后一层前加入nn.BatchNorm1d并用LeakyReLU(negative_slope0.1)替代ReLU。现象3TransFuser的GPU显存占用是其他模型的2.3倍→ 原因patch embedding后序列长度N过大512×512→16384 tokens。→ 解决改用Convolutional Tokenization先用3×3卷积降采样至128×128再patch embeddingN1024显存降至1.4倍。现象4验证集AUC持续上升但测试集AUC停滞甚至下降→ 原因5折CV中某折包含大量晚期病例ⅢC期模型过拟合该分布。→ 解决强制每折中各FIGO分期样本数均衡StratifiedGroupKFold按分期患者ID分组。现象5Grad-CAM热图在超声图上完全空白→ 原因超声分支的梯度在融合层被CT分支主导CT梯度幅值更大。→ 解决在融合操作前对两分支特征做torch.nn.functional.normalizeL2归一化确保梯度贡献均衡。5. 模型部署与临床验证如何把.pth文件变成放射科医生愿意点开的工具5.1 ONNX导出与TensorRT加速从PyTorch到临床工作站的最后1公里医院PACS终端通常无CUDA环境需部署为ONNX再转TensorRT。关键约束输入必须为固定尺寸CT: 512×512×64 → 重采样为256×256×32超声: 512×512 → 保持动态轴仅允许batch维度dynamic_axes{input_ct: {0: batch}, input_us: {0: batch}}使用torch.onnx.export(..., opset_version13)避免opset14的nonzero不兼容TensorRT优化重点启用fp16精度CT/超声均为float32但推理精度足够设置max_workspace_size1301GB对CAM-UNet的CAG模块单独启用builder_config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 130)实测RTX A200024GB上TensorRT引擎推理单例耗时142msCT超声双输入比PyTorch原生快3.8倍满足临床实时性要求300ms。5.2 可视化交互界面医生真正需要的不是AUC而是“为什么”开发轻量Web界面Flask OpenCV.js核心功能上传DICOM CT序列与超声AVI自动执行预处理与配准并排显示CT/超声原图 Grad-CAM热图 融合决策热图点击热图任意区域弹出该区域的模态贡献度条形图CT贡献% / 超声贡献%输出PDF报告含FIGO分期概率、关键影像征象标注如“CT见砂粒体钙化”、“超声见乳头状突起”注意Grad-CAM计算需修改为双模态联合梯度——对分类logits求导时同时保留CT与超声分支的梯度分别生成两幅热图再按CAG权重加权融合。否则热图仅反映单模态响应。5.3 临床盲测结果真实世界验证比AUC数字更有说服力邀请3名副主任医师、2名主治医师进行盲测任务对50例未知病例25例已知病理结果仅看系统输出的PDF报告判断是否手术及推荐术式对照仅看PACS原始图像结果系统辅助下医生对ⅠA/ⅠC期的术式选择一致率提升22%从68%→90%对良恶性判断的误诊率下降31%主要减少将透明细胞癌误判为良性。这印证了一个血泪经验医疗AI的价值不在超越医生而在把医生的经验固化成可复现、可追溯、可解释的决策路径。从那以后我每次交付医疗模型都强制走一遍“医生盲测报告溯源”流程——哪怕多花两周也比上线后被退回强。希望帮到你。本文还有配套的精品资源点击获取
