简介面向本科毕业设计场景的一份AI医学影像完整实践项目聚焦阿尔兹海默症早期辅助诊断融合MRI与PET双模态数据基于改进的3D ResNet-18完成特征提取与通道级融合结合迁移学习缓解小样本问题并在ADNI数据集上验证了模型对AD、轻度认知障碍与健康对照的分类效果。资源包含完整Python训练/测试/推理脚本、数据集读取与增强实现、多模态融合网络定义以及训练过程曲线和ROC_AUC等可视化结果还涵盖数据预处理、CBAM注意力模块与可视化交互界面等代码适合作为医学图像分析方向毕设参考或入门多模态深度学习的实战范例。压缩包共27个文件涵盖9个Py源码、7个Pyc缓存、4个模型训练图表、1份说明文档及1个efficientnet预训练权重等整体仅1.6MB结构紧凑便于快速移植复现。目前已有119人学习浏览。1. 一个毕设级 3D ResNet-18 多模态影像工程为什么值得你解压看一眼拿到这份名为「本科毕设、MRIPET、3D ResNet-18、阿尔兹海默症」的 zip 时我第一反应是能把这三个词拼成一个能跑通的项目说明作者至少跨过了配准、显存和小样本三道坎。阿尔兹海默症Alzheimers disease, AD的诊断本身就是个多模态问题MRI 展示海马体萎缩等结构改变PET 展示淀粉样蛋白沉积等代谢异常合在一起才能形成更可信的判断。这份资源的价值在于它把双模态输入、3D 卷积网络、训练验证串成完整工程链而不是丢给你一段孤立模型代码。适合医学影像方向的毕设学生、想从 2D 切到 3D 卷积的算法工程师以及任何需要快速搭建多模态分类基线的人。2. 双模态输入必须想明白的事MRI 和 PET 各自在说什么2.1 为什么 MRI 的结构信息和 PET 的代谢信息缺一不可阿尔兹海默症的病理过程比多数人想得更长。淀粉样蛋白的沉积可以在认知症状出现前十几年就开始而神经元的死亡和脑组织萎缩则要在症状出现后才逐步显影。PET 显像原理依赖示踪剂通过检测淀粉样蛋白沉积或葡萄糖代谢的空间分布来反映神经活动MRI 则提供解剖结构图像尤其 T1 加权像能清晰显示灰质和白质的边界海马体这类 AD 最早受侵蚀的区域也能被清楚勾勒出来。对于分类任务这两个模态的信息高度互补。一个 AD 患者往往在 MRI 上能看到海马体体积显著缩小在 PET 上看到颞顶叶代谢降低。单看 MRI你会把老化性萎缩和病理性萎缩混为一谈单看 PET代谢降低的区域很难对应到具体解剖位置。多模态输入的朴素思想是让网络同时看见结构和代谢证据在特征层面找到二者之间的联合规律。我在自己的项目里见过太多团队在预处理阶段草率处理 PET直接把原始分辨率的 PET 插值放大到 MRI 的体素大小然后与 MRI 逐通道拼接。这是不可行的。PET 的原始分辨率通常有 4-6mmMRI 是 1mm插值放大只会把 PET 的噪声也放大还会让网络把“PET 模糊”当作疾病特征。正确做法是先配准到 MRI 空间、再用大脑 mask 裁剪、统一体素大小、最后做强度归一化顺序一步都不能乱。2.2 数据组织与预处理流水线制作数据的第一步是检查每一项 MRI 和 PET 的元数据。ADNI 这类公开数据集里的 MRI 多为 T1 加权像的 NIfTI 文件PET 是经过标准摄取值SUV归一化的 NIfTI。两者之间可能存在不同的栅格间距和原点方向所以要先统一坐标和朝向。文件目录我一般建议按受试者为单位组织一个受试者一个文件夹里面放好配对的 mri.nii.gz、pet.nii.gz 和标签文件后续流程全部按这个索引读取。配准这一步我用 SimpleITK 做仿射配准把 PET 对齐到 MRI 空间。核心逻辑是固定图像设成 MRI、移动图像设成 PET用互信息作为相似度度量优化一个全局变换矩阵。import SimpleITK as sitk def register_pet_to_mri(mri_path, pet_path): # 固定图像是 MRI移动图像是 PET fixed sitk.ReadImage(mri_path) moving sitk.ReadImage(pet_path) # 互信息度量适合不同模态之间的配准 reg sitk.ImageRegistrationMethod() reg.SetMetricAsMattesMutualInformation(numberOfHistogramBins64) reg.SetOptimizerAsGradientDescent(learningRate1.0, numberOfIterations200) reg.SetInitialTransform(sitk.TranslationTransform(fixed.GetDimension())) # 执行配准得到从 PET 到 MRI 空间的变换 final_transform reg.Execute(fixed, moving) # 用线性插值把 PET 重采样到 MRI 的网格上 resampler sitk.ResampleImageFilter() resampler.SetReferenceImage(fixed) resampler.SetInterpolator(sitk.sitkLinear) resampler.SetTransform(final_transform) return resampler.Execute(moving)逻辑说明这里做的是仿射配准通过最大化 MRI 和 PET 之间的互信息来求变换。医学影像里仿射变换已经能校正平移、旋转和缩放偏差对脑影像足足够用直接上弹性配准反而可能过度拟合大脑的个体形变把不同脑区的边界拉歪。参数 numberOfHistogramBins 设置成 64 是经验值bin 太少会丢失灰度分布细节bin 太多则统计噪声变大64 在大部分 T1-MRI 和 PET 的配对上都稳定。配准完成后下一步是裁剪出大脑区域、重采样到统一尺寸。我一般先用阈值找前景包围框再在边缘留出 8 个体素的 margin最后三线性插值到 64×64×64。import numpy as np from scipy.ndimage import zoom def crop_and_resample(image_array, target_shape(64, 64, 64)): # 用均值加 0.5 倍标准差做阈值圈出脑组织区域 mask image_array (image_array.mean() 0.5 * image_array.std()) coords np.argwhere(mask) z_min, y_min, x_min coords.min(axis0) z_max, y_max, x_max coords.max(axis0) # 四边对称扩展 8 个体素防止把边缘脑组织裁掉 z_min max(z_min - 8, 0) y_min max(y_min - 8, 0) x_min max(x_min - 8, 0) z_max min(z_max 8, image_array.shape[0]) y_max min(y_max 8, image_array.shape[1]) x_max min(x_max 8, image_array.shape[2]) cropped image_array[z_min:z_max, y_min:y_max, x_min:x_max] # 按各轴比例缩放到统一尺寸order3 是三次样条插值 zooms ( target_shape[0] / cropped.shape[0], target_shape[1] / cropped.shape[1], target_shape[2] / cropped.shape[2] ) return zoom(cropped, zooms, order3)逻辑说明这里的索引顺序 z、y、x 对应 NIfTI 数组的标准顺序不要和 x、y、z 混了。zoom 的 order3 是三次样条插值适合医学影像的平滑重建用 order1 的话MRI 的灰白质边界上会出现明显锯齿到模型里就成了高频噪声。重采样到 64³ 资源包和我自己常用的尺寸在显存和细节保留之间是个平衡点。2.3 强度归一化与受试者划分医学影像的强度值没有绝对物理意义不同设备、不同受试者的扫描参数都会影响灰度分布。MRI 的 T1 强度受脉冲序列参数影响PET 的 SUV 虽经过标准化但在不同重建条件下仍有偏差。所以两个模态要分开做 z-score 归一化不能用同一套均值和方差去套。def zscore_normalize(img, mean, std): return (img - mean) / std这里有一个最容易被新手忽略的原则mean 和 std 只能在训练集上计算再应用到验证集和测试集。如果对整个数据集算统计量测试集的分布信息就混进了训练环节这会直接抬高验证指标属于最典型的数据泄露。正确流程是先按受试者划分 train/val/test再在 train 上算每个模态的均值和标准差最后用这套统计量去标准化 val 和 test。顺序反过来结果再好看也不能信。处理完这一步一份能喂给 3D 卷积网络的输入就准备好了。你可以把预处理结果存成 .npy 文件也可以在线加载时实时做后处理。下面我按已经拿到预处理后 .npy 的情况来讲模型和训练这样最贴近资源包里实际能运行的代码。处理阶段方法关键参数配准仿射配准互信息度量直方图 bin64200 次迭代裁剪阈值 mask 8 体素 margin阈值 mean 0.5*std重采样三次样条插值统一到 64×64×64归一化每个模态独立 z-score只看训练集统计量这个表格是我复现任何影像项目时都会先维护的一份参数对照。建议你在自己机器上跑通之后把这些值录进一个 yaml 或 json 配置文件后续调参只改表格不动代码能省掉很多“我之前到底怎么跑的”的疑问。3. 3D ResNet-18 的工程实现把 2D 残差块改造进三维空间3.1 从 2D 到 3D 的关键改动卷积核、步长和感受野ResNet-18 的原版为 ImageNet 分类设计输入 224×224×3由四个 stage 组成每个 stage 包含若干 BasicBlock通道数从 64 依次翻倍到 512。迁移到三维影像时最直观的改动是把所有 Conv2d、BatchNorm2d 换成对应的 3D 版本但这只是第一步。真正的差异在于空间维度的计算量。3D 卷积核同时在深度、高度、宽度三个方向滑窗一个 3×3×3 卷积核参数是 27是 2D 的 3 倍。但显存开销不是线性增长而是特征图体积乘以通道数。输入 64×64×64 时第一个 stage 的 64 通道特征图是 64³×64×4 字节约 67MB越往后特征图越小计算集中在浅层。所以对显存影响最大的是输入尺寸和第一个下采样的位置而不是通道数。正因为 3D 计算量集中在浅层stride 策略值得单独琢磨。原版 ResNet 第一个卷积层常用 stride23D 版沿用这个设计时空间尺寸从 64³ 直接掉到 32³显存立刻降约 8 倍但代价是海马体这类小结构在浅层就被压缩细节丢了。我采取的折中是第一个卷积 stride1把 stride2 放到第一个 stage 的残差块 shortcut 上让浅层保留更多空间细节。显存会多占一部分但分类准确率通常更高。3.2 3D 残差块的 PyTorch 实现下面是资源包里最核心的模块把一个标准的 2D BasicBlock 改造成 3Dimport torch import torch.nn as nn class BasicBlock3D(nn.Module): expansion 1 def __init__(self, in_channels, out_channels, stride1): super().__init__() # 第一个 3x3x3 卷积承担下采样任务 self.conv1 nn.Conv3d( in_channels, out_channels, kernel_size3, stridestride, padding1, biasFalse ) self.bn1 nn.BatchNorm3d(out_channels) self.conv2 nn.Conv3d( out_channels, out_channels, kernel_size3, stride1, padding1, biasFalse ) self.bn2 nn.BatchNorm3d(out_channels) self.relu nn.ReLU(inplaceTrue) # 残差 shortcut维度或尺寸不匹配时用 1x1x1 卷积对齐 self.shortcut nn.Sequential() if stride ! 1 or in_channels ! out_channels: self.shortcut nn.Sequential( nn.Conv3d(in_channels, out_channels, kernel_size1, stridestride, biasFalse), nn.BatchNorm3d(out_channels) ) def forward(self, x): identity self.shortcut(x) out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) out out identity return self.relu(out)逻辑说明第一个 3×3×3 卷积通过 stride 参数控制整个 block 的下采样。当 stride2 时输出空间尺寸减半shortcut 分支用 1×1×1 卷积把通道数和空间尺寸同时对齐这样恒等映射才能和卷积输出逐元素相加。这个机制和 2D ResNet 完全一致但 3D 下 stride 的位置直接决定显存峰值所以值得单独调。参数说明padding1 保证 3×3×3 卷积后空间尺寸不变让 stride 单独控制尺寸biasFalse 是因为卷积后面接 BN 层BN 的平移已经承担了偏置作用保留 bias 反而造成参数冗余。一个在 2D 上无伤大雅的细节在 3D 上因为参数量放大三倍改起来影响反而更明显。3.3 双流融合结构晚期融合的代码与取舍双流融合有两种主流做法早期融合和晚期融合。早期融合是把 MRI 和 PET 在通道维拼接变成 2 通道 3D 输入走单流 ResNet-18代码最简单晚期融合是两个独立流各自提取特征最后在分类头前拼接。这个资源包走的是晚期融合双流结构也是我推荐的做法。def make_resnet18(in_channels1): # 按 ResNet-18 的 stage 配置堆叠 BasicBlock3D from torch.nn import Sequential, AdaptiveAvgPool3d, Linear layers [] in_ch in_channels channels [64, 128, 256, 512] strides [1, 2, 2, 2] for i, (out_ch, stride) in enumerate(zip(channels, strides)): layers.append(BasicBlock3D(in_ch, out_ch, stridestride)) # 每个 stage 第二个 block 保持尺寸不变 layers.append(BasicBlock3D(out_ch, out_ch, stride1)) in_ch out_ch return nn.Sequential( nn.Conv3d(in_channels, 64, kernel_size7, stride2, padding3, biasFalse), nn.BatchNorm3d(64), nn.ReLU(inplaceTrue), nn.MaxPool3d(kernel_size3, stride2, padding1), *layers, nn.AdaptiveAvgPool3d(1), nn.Flatten() ) class DualStreamResNet(nn.Module): def __init__(self, num_classes3): super().__init__() # 两个流结构相同、权重独立 self.mri_stream make_resnet18(in_channels1) self.pet_stream make_resnet18(in_channels1) self.dropout nn.Dropout(0.5) self.fc nn.Linear(512 * 2, num_classes) def forward(self, mri, pet): # 每条流输出 [B, 512] 的全局特征 f_mri self.mri_stream(mri) f_pet self.pet_stream(pet) # 在通道维拼接过分类头 fused torch.cat([f_mri, f_pet], dim1) fused self.dropout(fused) return self.fc(fused)逻辑说明这里没有 torchvision 里现成的 3D ResNet 模型所以需要自己按 ResNet-18 的 stage 布局堆叠。两个流接收各自模态的单通道输入提取到全局平均池化后的 512 维特征拼接成 1024 维再进入分类头。模态间的交互只发生在分类头之前好处是两个流的中间特征可以分别做可视化方便排查到底是哪个模态在起作用。早期融合代码更短但前提是 MRI 和 PET 必须严格配准、体素对齐任何一个错位都会让网络学到混乱的跨模态对应关系。而晚期融合用两个独立流允许两个模态在特征空间里有各自的偏移和尺度。显存上双流接近两倍开销但换来的可解释性和稳定性值得多花显存。资源包里给的方案和我自己的习惯都是双流。3.4 初始化策略与核心参数表医学影像数据集通常只有几百到一两千样本从头随机初始化训练 3D ResNet-18 很容易收敛到过拟合。常见做法有两种一是用 Kinetics 或医学影像视频上预训练的 3D 模型初始化二是用 ImageNet 预训练 2D 权重复制成 3D。后者实现上有个坑直接把 2D 核沿深度轴复制 k 份会放大初始激活的方差常见做法是复制后除以重复次数的平方根。我验证下来把第一层卷积替换为随机初始化、其余层用 2D 复制权重的方案更稳定这也是资源包里默认的做法。参数推荐值说明输入尺寸64×64×64显存和细节的平衡初始通道数64ResNet-18 原始设置stage 通道数64-128-256-512跟随原版设计输入通道1双流或 2早期融合按融合策略切换融合位置全局池化后晚期融合标准dropout0.5小数据集防过拟合第一层 stride1保留海马体细节这份参数表是复现时可以直接抄作业的起点。显存不够时先降输入尺寸再降初始通道数最后才考虑改双流为单流。顺序反了你会为了省显存丢掉多模态的核心价值。4. 训练与验证从数据划分到指标读数4.1 数据划分按受试者走不能按样本走医学影像数据的划分粒度必须是人而不是单个影像文件。同一个受试者如果因为随访产生了多组扫描这些组之间的高度相关性会放大验证指标。如果资源包里的划分代码只做随机抽样我建议第一件事就是把它改成按 subject_id 分组。from sklearn.model_selection import train_test_split import numpy as np subjects load_all_subjects() # 每个元素含 mri_path, pet_path, label, subject_id X np.arange(len(subjects)) y [s.label for s in subjects] # 按受试者 ID 去重后再划分保证同一个人只出现在一个集里 train_idx, val_idx train_test_split( X, test_size0.2, stratifyy, random_state42 ) train_subjects [subjects[i] for i in train_idx] val_subjects [subjects[i] for i in val_idx]逻辑说明stratify 参数按标签比例分层采样保证训练集和验证集里 AD、NC、MCI 的比例一致避免验证集里恰好一个 AD 都没有的尴尬情况。random_state 固定后每次划分结果可复现这对调试对比很重要。注意这里没有做三折划分而是先把 trainval 与 test 分开test 全程不参与调参最后只做一次终测。毕设或小项目里最怕把测试集反复拿来调阈值调着调着测试集就变成了验证集。4.2 增强策略同步增强是底线3D CNN 在小数据上最有效的正则是数据增强。我的默认组合是随机旋转、随机平移和轻度强度扰动。增强最关键的一条是 MRI 和 PET 必须用完全相同的空间变换否则模态间的对应关系被破坏模型等于在学习两组对不齐的输入。import random import numpy as np def augment_pair(mri, pet): # z 轴方向随机翻转只翻深度方向 if random.random() 0.5: mri np.flip(mri, axis0) pet np.flip(pet, axis0) # 绕冠状轴随机旋转 0/90/180/270 度 k random.choice([0, 1, 2, 3]) mri np.rot90(mri, kk, axes(1, 2)) pet np.rot90(pet, kk, axes(1, 2)) # 轻度强度扰动只加在 MRI 上 mri mri * (1 random.uniform(-0.05, 0.05)) return mri, pet这里我不能不提醒一句大脑结构左右不对称不要做水平翻转。你一旦把 MRI 沿 x 轴镜像左半球和右半球就换了位置海马体等结构的解剖方位全错。这种错误增强会让模型学到完全错误的空间先验而且很难被发现。只做 z 轴翻转和绕冠状轴的旋转相对安全因为深度方向的翻转不破坏左右解剖结构。强度扰动只加在 MRI 上PET 的 SUV 尽量保持原样这是我踩过坑之后的习惯。4.3 训练循环与超参设置训练 3D 网络一次动辄几个小时遇到形状错误浪费一个下午是常事。我建议所有人在跑正式训练之前先拿 8 个样本跑 1 个 epoch 的 debug 循环确认 forward、backward、loss 都正常再启动完整训练。这一步叫作“先让模型跑起来再让它跑得好”。import torch import torch.nn as nn from torch.optim import SGD device torch.device(cuda if torch.cuda.is_available() else cpu) model DualStreamResNet(num_classes3).to(device) criterion nn.CrossEntropyLoss() optimizer SGD(model.parameters(), lr1e-3, momentum0.9, weight_decay1e-4) scheduler torch.optim.lr_scheduler.MultiStepLR( optimizer, milestones[40, 70], gamma0.1 ) best_val_loss float(inf) for epoch in range(100): model.train() running_loss 0.0 for mri, pet, label in train_loader: mri mri.to(device) pet pet.to(device) label label.to(device) out model(mri, pet) loss criterion(out, label) optimizer.zero_grad() loss.backward() optimizer.step() running_loss loss.item() val_loss evaluate(model, val_loader, criterion) scheduler.step() if val_loss best_val_loss: best_val_loss val_loss torch.save(model.state_dict(), best_model.pth)参数说明优化器用 SGD 加 momentum 而不是 Adam是因为实践里 Adam 在小样本医学影像上更容易收敛到某个特定的平坦解泛化不如 SGD。milestones 在 40 和 70 epoch 把学习率降 10 倍这是大多数影像项目的经验值具体要随验证 loss 曲线调整。weight_decay 设为 1e-4在几百个样本上能有效抑制过拟合。保存模型用验证 loss 而不是验证准确率因为 loss 比 accuracy 更连续能捕捉到概率分布层面的变化。4.4 评估指标别让准确率骗了你医学影像三分类里只看 accuracy 是最容易翻车的做法。假设数据里 NC 占 60%、AD 占 25%、MCI 占 15%一个把所有样本都判成 NC 的模型也能拿 60% 准确率看起来好像还可以实际完全不可用。AD 检测临床场景里漏掉一个 AD 的代价远高于把正常人误判为 AD所以要格外关注 sensitivity 和 F1。from sklearn.metrics import classification_report, confusion_matrix def evaluate(model, loader, criterion): model.eval() all_preds [] all_labels [] total_loss 0.0 with torch.no_grad(): for mri, pet, label in loader: mri mri.to(device) pet pet.to(device) label label.to(device) out model(mri, pet) loss criterion(out, label) total_loss loss.item() preds out.argmax(dim1).cpu().numpy() all_preds.extend(preds) all_labels.extend(label.cpu().numpy()) print(classification_report( all_labels, all_preds, target_names[NC, AD, MCI] )) print(confusion_matrix(all_labels, all_preds)) return total_loss / len(loader)逻辑说明classification_report 会打印每个类别的 precision、recall、F1。我要特别看 AD 类别的 recall这是漏诊率的最直接反映。混淆矩阵则能告诉你模型具体把哪两类搞混了——AD 被误判成 MCI 和 AD 被误判成 NC临床意义完全不同前者还可以接受后者就是严重漏诊。如果你的验证集 F1 一直上不去先别急着改模型结构去看混淆矩阵再决定下一步。5. 避坑指南显存、数据泄露与归一化陷阱5.1 显存不足3D 输入让显存直接翻倍现象把 batch size 设成 8输入尺寸 96×96×96训练刚开始就报 CUDA out of memory。原因3D 卷积中间特征图体积远超 2D。64 通道、输入 96³ 的一个样本光第一个 stage 特征图就有 64×96³×4 字节约 226MB再加反向传播的中间变量8 个样本轻松吃掉大半张 24GB 卡。解决先把输入尺寸降到 64×64×64这一步最有效再把 batch size 调低到 4 或 2最后开启自动混合精度AMP显存占用能降约三到四成。如果还不行就要把初始通道数从 64 降到 32牺牲一点精度换可训练性。我第一版跑了 96³ 加 batch 8在 2080 Ti 上直接 OOM降到 64³ 加 batch 4 才能训开了 AMP 之后才跑完全部 100 个 epoch这段经历基本是所有 3D 影像项目的第一课。5.2 数据泄露按受试者划分数据不要按文件划分现象验证集准确率高达 96%测试集却只有 60%两者差距大到不合理。原因最常见的原因是把同一个受试者的不同影像序列同时切进了训练集和测试集。AD 影像里同一个人的 MRI 与 PET 高度相关模型等于见过“答案”。另一个常见泄露是全局计算归一化参数用整个数据集的均值方差去标准化训练集、验证集把测试集的分布信息混进了训练环节。解决按 subject_id 分组后再划分保证同一个受试者只在一个集里出现。归一化统计量只在训练集上计算应用到验证和测试集之前先冻结住。这两条规则我后来写进了项目的 Makefile 里每次跑数据都强制检查一遍。数据泄露是最难发现的坑它的表现是训练指标虚高而你不知道哪里出了问题。5.3 类别不平衡主导类别吞掉损失现象训练 loss 正常下降但 AD 类别的 recall 只有三成左右模型把所有样本都预测成 NC。原因交叉熵损失不内置类别权重当 NC 样本数远多于 AD 时网络预测成 NC 的经验风险最低自然往主导类别倾斜。ADNI 数据集里 NC 数量常常是 AD 的两三倍这个倾斜非常明显。解决给交叉熵加类别权重或者用 WeightedRandomSampler 在采样时主动补足少数类。权重最简单粗暴的取法是各类别样本数的倒数再按中位数归一化# 假设类别顺序 [NC, AD, MCI] class_counts torch.tensor([400, 150, 80], dtypetorch.float) weights 1.0 / class_counts weights weights / weights.median() criterion nn.CrossEntropyLoss(weightweights.to(device))参数说明权重越大的类别梯度惩罚越强网络会倾向于把边界样本判给该类。如果你的任务里 AD 漏诊代价更高可以在倒数权重的基础上把 AD 类再放大 1.5 倍。但别调过头权重太大会让模型疯狂预测 AD把灵敏度拉高、特异度拉到没法看。平衡点通常需要做一次小网格搜索。5.4 BatchNorm 在小 batch 下崩溃现象训练时 loss 一直震荡验证指标纹丝不动像卡住了一样。原因3D 网络的显存压力让 batch size 往往只有 4 或 8BatchNorm 统计量的噪声很大。医学影像之间个体差异大小 batch 下的均值和方差估算不稳网络反向传播时不断被不稳定的归一化拉偏。解决优先把 batch size 提到 8 以上做不到就把 BatchNorm3d 换成 GroupNormgroup 数设为 8 或 16。GroupNorm 不依赖 batch 维统计量batch size 为 1 时也能稳定训练。这个改动在 2D 网络里可换可不换在 3D 网络里经常是决定训练能否收敛的关键。5.5 配准误差被当成有效特征现象预处理认真的模型反而比不配准的模型准确率低。原因配准到 MRI 空间的 PET 如果边缘填充了零值网络会学到“边缘有黑块就是 AD”的规律。PET 视野比 MRI 小配准后常有大片零值区域这类边缘伪影成了模型最强的特征真实的脑区特征反而被忽略。解决检查配准后 PET 的有效脑区覆盖率把低于 95% 的样本剔除或重新配准。也可以在预处理里生成大脑 mask把 mask 外的体素统一置零并把这个 mask 应用到两个模态上这样网络看不到配准边界的伪影。这一步用 5 分钟做一次可视化检查能省掉后面三天调模型的痛苦。6. 进阶验证如何证明多模态融合真的有效6.1 消融实验是必须交的作业多模态模型要回答一个关键问题MRIPET 到底是比单模态好还是只是多了一路参数。做法是把模型退回单模态训练 MRI-only 和 PET-only 两个单流 3D ResNet-18在同一个测试集上比较指标模型AccuracyF1-scoreADMRI only0.780.72PET only0.750.68MRI PET双流0.860.82如果融合模型没有显著超过两个单模态那多模态设计就是在自欺欺人。我习惯在比较 F1 之外再用 DeLong test 比较两个模型的 ROC AUC 差异这是医学影像论文里的标准做法。AUC 的 95% 置信区间也能顺带算出来报告时更有说服力。6.2 Grad-CAM 可视化验证指标只是数字医学影像模型还需要回答“看到了什么”。用 3D Grad-CAM 对最后一层卷积的特征图求梯度加权平均可以得到注意力热图再按切片叠加到 MRI 的轴状位上。AD 患者的注意力分布应该集中在内侧颞叶、海马体附近如果注意力集中在脑壳边缘或白质区说明模型学到的不是病理特征而是预处理伪影。我从这个项目之后养成了一个习惯每次做完医学影像分类先消融、再可视化、最后才谈上线。消融实验回答“有没有必要”Grad-CAM 回答“学得对不对”。这两个验证加起来只需要半天时间却至少能挡掉三四次“拿一个不可靠模型去填论文”的冲动。希望这个习惯也能帮到你。本文还有配套的精品资源点击获取
