ICML 2026的医学影像专辑方向一公布我朋友圈里做医疗AI的同行几乎都在转发。说实话这个题目抓得很准——医学多模态智能喊了好几年真正卡住大家的早就不再是要不要做多模态的问题而是基础模型怎么落地到临床场景以及模型的推理结论凭什么让医生信任。这两个问题绕不开也不容易糊弄过去。这篇文章我把自己的实际经验和踩过的坑整理出来从数据组织、模型选型、微调细节到可信推理的工程化实现都过一遍希望能给准备投这个专辑或者正在做相关方向的朋友一些参考。1. 医学多模态智能到底在解决什么问题1.1 多模态不是拼接是互补很多人一听到多模态第一反应就是把图像、文本、数值特征一股脑塞进模型里做一个简单的concat就完事。我能理解这种直觉毕竟在深度学习时代特征拼接是最简单、最不容易出错的baseline。但医学场景完全不是这个逻辑。举个我实际做过的例子肺部CT影像加上放射科医生的文本报告。单看影像模型可能只能判断是否存在结节单看报告模型能获取医生对结节位置、形态、边缘、周围组织关系的描述但这些描述没有空间坐标很难直接指导后续的手术规划。只有把影像的空间信息和文本的语义信息真正对齐起来模型才能同时理解结节在右肺上叶后段、边缘毛糙、有分叶这一整串信息。这就不是简单的拼接能解决的需要模型对两种模态之间的关联关系做深层的对齐和推理。医学多模态的难度比自然场景更大核心原因在于医学数据的异质性实在太强了。CT、MRI、病理全切片图像、超声、X光这些都是图像但尺度完全不同——病理切片可能是几万像素乘几万像素X光可能只有一千像素见方文本报告也是高度专业化的既有结构化字段位置、大小、密度又有自由文本描述还夹杂着大量缩略语和否定词比如未见明显异常里的未见就是关键的否定语义。这些数据摆在一起单纯从数据层面就有一堆问题要处理。1.2 典型场景与数据形态按照ICML 2026这张专辑的定位我理解他们想收的场景大概集中在三类第一类是影像-报告对齐这是目前研究最充分的场景最典型的就是胸部X光片的图像和对应放射报告或者病理切片和病理报告。这类场景的优势在于数据相对好找很多公开数据集比如一直很火的MIMIC-CXR系列而且医学界本身对影像所见和文字结论之间的对应关系有比较成熟的认知体系模型做对齐的时候有据可依。第二类是影像-基因组学这个方向在肿瘤领域价值极高但在ICML这类会议里热度一直不如纯视觉方向所以我认为反而更容易出成果。举个例子病理切片上的细胞形态、排列模式、微环境信息某种程度上是基因表达在形态学层面的投影如果模型能从全切片图像中预测特定基因突变状态那就等于做了一种虚拟活检。这种任务对临床决策有实质性的帮助但对多模态融合能力的要求也是真高——病理切片太大、基因数据维度太稀疏两种模态的语义粒度完全不匹配。第三类是纵向多模态时序数据比如ICU场景里一个病人48小时内的心电图、血压波形、血氧、检验指标、护理记录这些不同采样频率、不同数据类型的信号怎么融合成一个整体表征还要考虑时间上的先后依赖关系。说实话适合做序列建模的医生和CS研究者都相对少这个方向门槛高但做出来的方法往往比较扎实也比较受评委欢迎。多模态数据有一个几乎绕不开的难题模态缺失。现实世界里不是每个病人都做全套检查有的只有影像没有基因报告有的只有生化指标没有影像。模型能不能在推理阶段处理这种不完整输入直接决定它能不能从论文走向临床。很多研究者在构造数据集的时候想当然地假设所有模态都齐全到了真实部署才发现根本跑不动这是非常印象深刻的教训。2. 基础模型选型与微调别把医学影像当成自然图像2.1 基础模型家族梳理与适用边界写这篇文章的时候市面上的医学基础模型已经不少了但真正值得在这个专辑方向上投入时间研究的我总结下来无非三个流派。第一个流派是通用视觉基础模型在医学影像上的适配代表性的是SAMSegment Anything及其医学变体。SAM本身在自然图像分割上效果惊人但直接用原始权重切肺结节或者肝脏病灶效果往往不尽如人意。原因很简单医学影像的对比度低、目标边界模糊、解剖结构复杂这些和自然图像的分布差异太大了。不过SAM的视觉编码器倒是一个非常强的特征提取器很多工作其实就是冻结SAM的Image Encoder只在上面接轻量级的分割头或者检测头就能在各种医学分割任务上达到很不错的水平。如果你想快速验证一个多模态方法这条路是一个高性价比的起点。第二个流派是医学领域自监督预训练模型典型代表是各种用胸片或者CT做对比学习得到的模型。这类模型的优势在于特征空间的语义组织方式更适合医学下游任务比如在影像检索、相似病例匹配这一类任务上医学自监督模型往往比通用模型高出一大截。但问题也很明显预训练数据规模普遍不够大、覆盖的解剖部位和病种有限、对罕见病的表征能力很差。我个人的经验是医学自监督模型适合做特征提取器但如果要直接端到端微调反而容易过拟合到预训练数据里的偏置上。第三个流派是视觉-语言联合模型比如BioViL、MedCLIP这条线的思路通过图像和对应文本报告做对比学习让模型学会图像的语义表征。这类模型的想象空间最大因为它天然适合做多模态推理——既有图像编码器又有文本编码器还学了文本-图像的对齐。但要注意CLIP式的对比学习在医学领域有个致命问题医学报告里大量句子与图像局部区域没有明确对应关系右肺上叶在图像上的具体坐标是什么CLIP根本不知道。所以纯CLIP式对齐在医学场景只能算弱对齐要真正做细粒度推理还需要额外的区域-文本对齐机制或者物体级别的定位模块。工具选型上我给一个实用建议先别急着上最重的模型。很多刚接触基础模型的团队上来就想微调几十亿参数的完整大模型结果单卡显存不够、训练时间动辄一周起步、中间还经常爆loss项目节奏直接被拖垮。我自己的经验是医学影像领域大多数任务用一个中等规模的预训练视觉编码器比如ViT-B/L级别加上一个任务头就已经能把绝大多数baseline打穿了。真正吃参数量的地方在于后续的推理模块和不确定性估计模块而不是堆编码器体积。2.2 微调与对齐的关键细节模型选好之后微调阶段有几个细节特别关键这些细节论文里通常不会写但直接影响最终效果。第一是学习率的设置。医学影像数据和预训练数据分布差异大所以微调的时候初始学习率要比通用域小一个数量级才稳定。以ViT-B为例如果是微调全参数我用AdamW的话初始学习率一般控制在2e-5到5e-5之间如果只用LoRA则可以放大到1e-4左右。千万不要一上来就按1e-4甚至1e-3去跑医学影像的loss landscape普遍比较陡峭学习率大了很容易直接飞掉。第二是图像分辨率的问题。这一点我特别想强调。医学影像往往原始分辨率极高比如病理切片动辄50000×50000像素CT有时是512×512×300多层。直接把高分辨率图像resize到224×224很多关键细节就丢了——微钙化点可能只有几个像素边界毛刺的特征在高倍率下才看得到。所以实际操作中要么做patch-based处理把大图切成小块分别过编码器再融合要么用多尺度策略低分辨率看全局结构、高分辨率看局部细节要么干脆用大输入分辨率微调。但大输入分辨率意味着计算量的急剧上升这一步的trade-off需要根据你的资源来决策。第三是模态对齐这是多模态方法的核心环节也是最容易翻车的地方。我在实践中验证过最稳定、最容易调试的对齐方式是跨模态对比学习加上局部特征对齐的联合训练。具体来说让图像编码器和文本编码器分别提取全局特征用InfoNCE之类的对比损失拉近图像-匹配文本的距离、推远图像-不匹配文本的距离同时对一个更细粒度的损失做加权让图像中的局部区域特征比如来自Patch Token与文本中的实体描述通过依赖解析识别出的关键医学实体在特征空间中靠近。这个设计逻辑很符合医学场景的实际需求因为医生写报告本来就是逐区域描述的局部对齐天然可解释。多模态特征文件在工程上也有不少讲究。很多实验代码喜欢把所有样本的图像特征预先抽取出来存成npy或者h5文件再和文本特征一起送进融合模块训练。这样做确实能大幅减少训练时的视觉编码器负担节省大量算力但有一个隐患如果你后面调整了图像编码器哪怕是微调预抽取的特征就失效了必须重新抽。所以我的习惯是前期做方法验证的时候用预抽取特征快速迭代确定最优方案之后再端到端联合微调。分阶段进行可以少走很多弯路。3. 可信推理从模型输出到临床可用3.1 置信度校准最常见的模型自信陷阱如果只做性能指标Dice、AUC、ACC的比拼那ICML 2026这张专辑也就不需要特意强调可信推理了。既然把这个词放进标题里说明这个领域已经意识到一个模型在测试集上表现再好如果它不能告诉医生我这次判断的置信度有多少它在临床上就是不可用的。我先说一个让人后背发凉的例子。我们之前做一个肺结节恶性风险预测模型的AUC确实很不错约0.93。但当我把预测结果的softmax概率拿出来看时发现一个严重问题模型对几乎所有样本都给出了0.9以上的置信度而对那些真正难以判断、甚至连资深放射科医生都犹豫不决的边缘病例它也给出了0.97的高置信度。换句话说模型在它最不该自信的时候恰恰是最自信的。这就是典型的置信度失准。在医学场景里它带来的后果不是多一次误判这么简单而是可能让医生过度信赖机器判断放弃自己本来的谨慎态度。所以做可信推理的第一步不是用什么新奇的算法而是老老实实做置信度校准。置信度校准的工程实现并不复杂最常用也最有效的方法之一是温度缩放Temperature Scaling。思路很直接对logits除以一个温度系数之后再算softmax这个温度系数的取值可以让模型在验证集上的置信度分布和真实准确率分布尽量对齐。温度大于1会让整体置信度降低模型更保守小于1则会让模型更自信。实操中我会用验证集不是训练集更不是测试集来做这个校准然后重点关注Expected Calibration ErrorECE这个指标。ECE的直观含义是把模型的所有预测样本按置信度分桶统计每个桶里模型平均置信度和实际准确率之间的差距然后做加权平均。ECE越低说明模型说几分话、有几分把握的匹配度越高。我们项目里一组真实数据可以说明问题的严重性校准前ECE约为0.21也就是说模型平均置信度和实际准确率差了21个百分点非常离谱经过温度缩放之后ECE降到了0.03左右。这个改进不需要改任何模型结构只加了一个参数效果却立竿见影。我认为准备投稿这个专辑的研究者哪怕折腾各种花哨的不确定性方案也应该先把温度缩放这个baseline放在文章里否则可信推理的说服力会大打折扣。3.2 不确定性估计与可解释性温度缩放解决的是整体置信度偏高但它不能解决模型在哪个样本上不可靠。这就要求我们继续往前走一步做到逐样本的不确定性估计。现在主流的方法有几条路线我按实际使用感受总结一下MC Dropout是最容易实现的方案原理是在推理阶段仍然开启Dropout同一个输入多次前向传播比如30次得到一组预测分布用这组分布的方差来衡量不确定性。它的优势是几乎不需要修改模型代码成本极低什么模型都能套缺点是方差估计的稳定性一般若原始模型根本没有Dropout层该方法就无法使用。Deep Ensemble是效果最稳同时也是计算开销最大的方案。思路是用不同随机种子训练同一个模型多次通常是5到10次然后用多个模型对同一样本预测结果的方差来估计不确定性。这个方法在不少医学影像竞赛里已经被反复验证过不确定性估计质量明显优于MC Dropout。但它的代价也摆在那里训练成本乘以5、乘以10不是每个实验室都承受得起。我的建议是如果条件允许但又不希望全套训练可以只对最后一两层做多样化的随机初始化训练这样既能在一定程度上保留Ensemble的优势又不至于让训练成本翻五六倍。贝叶斯方法变分推理、马尔可夫链蒙特卡洛这些方法学术价值确实高但工程化难度非常大我接触过的大多数医疗AI团队都不会在生产环境里用它们。如果你的文章核心卖点是推理的可证明可靠性那这条路值得走但要做好计算资源消耗巨大的心理准备。除了不确定性可解释性在可信推理里同样不容忽视。我一直强调一个观点医生不是不接受AI的结论只是不接受平行四边形式的大模型黑箱。你告诉医生模型输出0.92的恶性概率医生一定会问一句依据是什么。如果模型能同时给出热力图指出这个判断主要是依据结节边缘的毛刺形态和周围磨玻璃密度影的区域医生的接受度会大幅提升。对于图像模态可解释性一般用CAM类方法或者注意力可视化对于文本模态用梯度归因或者注意力权重来定位关键实体。但这里有个坑需要提醒很多多模态模型的可解释性分析是各模态单独做比如图像单独出一张热力图、文本单独出一段高亮词然后各说各话。这其实没有真正回答跨模态推理为什么得到这个结论的问题。更有价值的做法是展示图像区域A和文本短语B之间的关联强度如何影响最终判断这才是多模态场景下特有的可解释性问题也是ICML这类顶会评委更愿意看的东西。4. 数据、评测与落地避坑4.1 多模态医学数据集的整理与对齐做多模态研究数据整理往往比模型设计更耗时、更磨人。我先说数据集的命名和整理方式因为这一块直接决定了后续实验能不能顺畅跑起来。以bird1445为例——一看命名风格就是某种鸟类数据集不过这个规律放到医学多模态数据集上也通用数据集一定要有清晰的结构化组织方式最好把每个样本的所有模态放在一个条目标录下。我在自己的项目里习惯用这样的目录结构dataset/ patient_001/ ct_series.nii.gz report.txt clinical.json genomic_variants.csv patient_002/ ...每个病人一个文件夹、每种模态一个固定文件名配合manifest文件记录模态是否缺失。这样做的好处是后续写DataLoader的时候逻辑非常清晰多模态缺失的样本也能第一时间暴露出来而不至于训练到一半才发现有的样本只有图像没有文本。数据整理的规范性直接决定了多模态实验的调试效率。模态对齐是另一个重要问题。医学里图像、报告、基因检测结果往往不是同一时间采集的。影像可能是入院时拍的基因报告可能是一周后才出这里就存在时间窗口不一致导致的语义漂移。比如病人在入院时和出院时的CT影像差异巨大如果只拿入院影像配上出院报告模型学到的东西可能是错的时序里的虚假关联。所以你在整理数据的时候一定要记录每个模态的采集时间点按时间对齐而不是简单按病人ID合并。还有一个高频问题标签噪声。医学影像标注本身就高度依赖专家经验同一张片子不同医生给出的结论可能并不一致。对于分类任务我一般建议用软标签而不是硬标签——比如让多个医生各自独立标注然后用标注分布的期望作为训练目标。这个方法看起来会增加标注成本但在可信推理的场景里收益很大因为软标签天然携带了人类专家的不确定性信息模型学到的置信度分布更容易与真实临床判断一致。4.2 评测指标怎么选才不虚医学多模态方向的评测我观察到一种普遍的误区大家太关注单一指标却忽视了评测的全面性。一张专辑既然强调可信推理那评测体系就应该把性能和可信度分开来看。性能侧分类任务看AUC、F1、敏感性和特异性分割任务看Dice和Hausdorff距离检索任务看RecallK这些是常规操作。但请特别注意医学场景里敏感性找得全和特异性找得准的权重往往是严重失衡的。对于癌症筛查类任务漏检一个恶性病例的代价远高于多开几次不必要的检查所以这类任务应该以高敏感性为前提追求特异性而不是简单用AUC一刀切。可信度侧我会建议至少报告三组指标。第一是之前提到的ECE报告整体校准误差。第二是分布外检测性能用AUROC衡量模型能否识别出它没见过或搞不懂的样本——如果你发现模型对分布外样本也给出高置信度判断说明可信推理还没做到位。第三是校准-准确率曲线的可视化直接把置信度分桶后的准确率画出来一眼就能看出模型在哪一段置信度区间容易出错这种可视化比单纯的数字指标有说服力得多。评测还普遍存在一个隐患数据划分时没有考虑患者层级的信息泄露。同一个患者的多次检查、多张切片如果一部分进了训练集、一部分进了测试集那模型在测试集上的部分好成绩其实是靠记忆同类患者特征刷出来的。这在多模态场景里尤其容易发生——同一个患者有CT还有病理报告如果按文件级别而不是患者级别划分数据集结果就会非常乐观但不可靠。务必按患者级别做数据切分这是医学数据评测的底线。4.3 实操中的高频问题速查最后分享一些我实际项目里反复踩过、也花时间解决掉的坑整理成速查表供参考。高频问题典型现象排查方向与建议图像与文本对不齐Loss震荡剧烈或训练不收敛检查DataLoader是否按正确patient_id配对确认文本清理流程没有误删关键描述模态缺失处理随意测试时碰到缺模态样本直接报错训练时显式做模态mask让模型学会在部分模态缺失的情况下仍给出可用推理类别不平衡没处理模型倾向把所有样本预测为多数类使用加权损失或Focal Loss对于医学影像更多时候要考虑正负样本重采样策略特征保存版本混乱模型结构一改旧特征失效但实验记录不清用配置化方式管理特征文件文件名中带上编码器版本、训练时间、预处理参数分布偏移在A医院数据上训练的模型在B医院数据上崩盘做跨中心的域泛化测试可以尝试对影像做标准化归一化或者引入域对抗训练置信度没有校准模型看似准确率高但临床决策无法接统一加温度缩放或保序回归校准然后在报告里对比校准前后的ECE数值可解释性实现随意热力图覆盖区域与诊断依据无关检查可解释性方法是否依赖梯度信息医学影像中很多方法对噪声敏感必要时换用基于扰动的方法验证除了表格里的这些还有一个非常普适的经验做多模态实验务必把特征维度对齐这件事当成基础设施来建设。不同模态的编码器输出维度不同、语义尺度也完全不同你做融合的时候至少要统一到同一个语义空间Joint Embedding Space。我见过不少团队在融合模块前没有做层归一化或者Projection Layer结果文本特征范数远大于图像特征范数模型基本只学习了范数大的模态另一个模态的信息被完全吞掉。这种问题很难从指标上直接看出来但通过观察融合层的梯度分布能发现——哪个模态的梯度占比长期趋近于零说明那个模态基本没被利用需要调整归一化方式。关于多模态特征文件再多说一句工程建议。特征抽取和训练最好分离但对于抽取出来的特征文件一定要做完整性校验比如用文件行数、样本ID集合比对等方式确认特征和标签的对应关系没有因异步写入而错位。别笑这是真实踩过的坑有一次我发现自己训练了一整晚的模型AUC特别低最后排查半天发现是特征文件里的样本顺序和标签文件对不上整个训练集都被错位配对。从那以后我在每次训练之前都会先跑一个sanitize脚本把每一个样本ID、特征向量、标签三者一致性验证一遍。这件事只需要十几分钟但可能帮你省下好几天。关于开源代码和可复现性的问题ICML 2026这张专辑既然强调医学多模态智能新前沿那审稿人大概率会特别关注方法能不能在医疗场景下真正复现。我的建议是从项目第一天就同步维护模型设计文档和实验记录不要迷信跑通代码就完事。医疗数据往往不能直接公开所以如果你做的是真实临床数据一定要在论文里写清楚数据获取流程、伦理审批情况和预处理细节方便评审判断方法的可靠性。最后聊聊我自己对从基础模型到可信推理这个主题路径的看法。我个人在实际操作中最深的体会是基础模型解决的是特征表达力问题可信推理解决的是决策可依赖性问题这两个问题在工程上需要串联起来做而不能割裂对待。很多研究团队的做法是先用基础模型把准确率刷上去然后再套一个不确定性估计模块作为后处理这种先裁剪后修补的做法在医学场景其实很脆弱因为校准环节很可能会暴露基础模型特征空间的缺陷。更好的思路是在设计模型结构的时候就把不确定性估计机制嵌入进去比如在多模态融合层就引入正则化项让模型天然学会不确定的时候就降低置信度。这个方向上的工作还远未饱和我觉得非常值得投入也期待能在ICML 2026的专辑里看到更多这样的原创思路。
