1. 为什么CVPR2020这篇结核病诊断论文值得重新审视第一次看到Rethinking Computer-aided Tuberculosis Diagnosis这个标题时我的直觉是又是一篇在公开数据集上刷点的论文。但翻完正文之后我发现它真正想做的事情是把整个计算机辅助结核病诊断Computer-aided Tuberculosis Diagnosis简称CTD领域里一个被长期忽视的问题摆到台面上——大家一直在用错误的方式评估模型也在用错误的方式定义任务本身。这篇论文来自CVPR2020作者的核心贡献不是提出了某个复杂的网络结构而是做了一件更基础、也更需要勇气的事重新审视了结核病X光片诊断的数据集构建逻辑、标注方式和评价指标。如果你正在做医学影像相关的项目或者你所在的团队正在尝试把深度学习落地到胸片筛查场景这篇论文里踩过的坑和提出的修正方案比很多新架构论文更有参考价值。我先说结论这篇论文最值得关注的三件事一是它指出了当时主流结核病数据集尤其是NLM和Montgomery/Shenzhen在标注粒度和任务定义上的模糊性二是它提出了一套更合理的评估协议把图像级分类和病灶级定位区分开来三是它用实验证明了很多之前报告的高准确率其实是因为数据泄漏和评估方式过于宽松导致的虚高。换句话说它是一篇打假性质的论文但打得有理有据。这篇文章适合谁看如果你是从零开始做医学影像分类的算法工程师它能帮你避开数据集构建和评估设计上的常见陷阱如果你是产品侧或临床侧的同学它能让你理解为什么模型在测试集上98%准确率这句话在医学场景里几乎毫无意义。接下来我会从任务定义、数据集问题、评估协议、实验设计、以及我自己的实操经验几个角度把这篇论文拆开讲透。2. 结核病X光诊断的任务定义到底该怎么定2.1 图像级分类和病灶级定位是两回事论文开篇就抛出一个问题计算机辅助结核病诊断到底是在做分类还是在做检测这个问题听起来像是学术上的咬文嚼字但实际影响非常大。如果你把任务定义成整张胸片是否有结核那模型只需要输出一个二分类概率但如果你定义成胸片上哪些区域出现了结核病灶那模型就需要输出边界框或者热力图。这两种定义对应的数据标注成本、模型选型、评估指标完全不同。分类任务只需要图像级标签标注成本低但临床价值有限——医生看到这张片子有结核这句话并不能直接定位到病灶。检测任务需要病灶级标注标注成本高但更接近临床实际需求。论文指出当时很多工作把这两个任务混在一起用分类的评估方式去衡量一个本应做定位的模型导致结论不可靠。我自己的经验是在资源有限的情况下先做图像级分类是合理的但你必须清楚这只是第一步。如果你后续要往临床辅助方向走病灶级定位是绕不过去的。论文里建议的做法是在数据集构建阶段就明确标注粒度如果只能做图像级标注那就在论文里明确说明任务边界不要暗示模型具备定位能力。2.2 为什么有结核/无结核这个二分类定义不够用论文进一步指出结核病的影像表现非常多样从微小的结节到大片实变、空洞、钙化不同阶段的病灶形态差异巨大。如果只做二分类模型很容易学到一些表面特征比如这张片子整体偏亮或者肺尖区域有异常密度而不是真正理解结核的影像学特征。更麻烦的是结核病和其他肺部疾病如肺炎、肺癌、尘肺在X光片上的表现有重叠。一个只见过结核阳性和正常片子的模型在面对肺炎片子时可能会给出高置信度的结核阳性判断。论文里用了一个很形象的比喻这就像让一个只见过猫和狗的人去区分猫和狐狸他可能会把狐狸当成猫因为他从来没有见过不是猫也不是狗的选项。所以论文建议在构建数据集时应该尽可能纳入其他肺部疾病的负样本而不是只用正常片子作为负样本。这一点在实际项目中非常关键。我见过不少团队为了快速出结果只用正常片子做负样本模型在测试集上表现很好但一上线就疯狂误报原因就是测试集里没有包含足够的困难负样本。2.3 任务定义对模型选型的影响任务定义直接决定了你该用什么模型。如果只做图像级分类ResNet、DenseNet这类分类网络就够了输入整张胸片输出一个概率值。但如果要做病灶级定位你就需要检测网络如Faster R-CNN、YOLO系列或者分割网络如U-Net这些网络对标注的要求更高训练成本也更大。论文里做了一个对比实验用同一个数据集分别训练分类模型和检测模型然后交叉评估。结果发现分类模型在图像级指标上表现很好但在病灶级指标上几乎不可用检测模型在图像级指标上稍差但在病灶级指标上明显更优。这个实验说明任务定义和模型选型必须匹配不能用分类模型去假装做检测。我在实际项目中的做法是先明确临床需求如果医生只需要一个是否需要进一步检查的提示那图像级分类就够了如果医生需要看到病灶位置那就必须做检测或分割。不要为了论文好看而选择更复杂的任务也不要为了省事而选择过于简单的任务。3. 数据集里的那些坑标注、泄漏与负样本3.1 NLM和Montgomery/Shenzhen数据集的标注问题论文重点分析了当时最常用的几个结核病数据集NLM美国国家医学图书馆、Montgomery和Shenzhen。这三个数据集在结核病诊断研究中被广泛使用但论文指出它们存在几个严重问题。首先是标注粒度不统一。NLM数据集提供的是图像级标签没有病灶位置信息Montgomery和Shenzhen数据集虽然有一些病灶标注但标注标准不一致不同标注者对病灶边界的理解差异很大。论文里做了一个标注一致性分析发现不同标注者之间的IoU交并比只有0.4左右这意味着病灶定位的标准答案本身就不稳定。其次是数据泄漏问题。论文发现很多之前的工作在划分训练集和测试集时没有考虑患者级别的划分导致同一个患者的不同片子可能同时出现在训练集和测试集中。这种泄漏会让模型在测试集上的表现虚高因为模型可能记住了这个患者的特征而不是学到了通用的结核影像特征。3.2 患者级划分为什么比图像级划分更重要这个问题值得单独拿出来讲。在医学影像任务中同一个患者可能有多张片子比如不同时间点的随访这些片子之间的相关性很强。如果你按图像随机划分训练集和测试集同一个患者的不同片子可能被分到不同集合模型在训练时见过这个患者的某张片子测试时又遇到这个患者的另一张片子它只需要记住这个患者的特征就能猜对答案。论文里做了一个对比实验按图像随机划分和按患者划分同一个模型在测试集上的AUC差了将近10个百分点。这个差距在医学场景里是致命的因为10个百分点的虚高可能让你误以为模型已经可以上线了实际上它在真实场景中的表现远不如预期。我自己的做法是在数据划分阶段一定要按患者ID分组确保同一个患者的所有片子只出现在一个集合中。如果数据集没有提供患者ID那就需要根据片子上的其他信息如拍摄日期、医院ID尽量推断。这个步骤很繁琐但绝对不能省。3.3 负样本选择的陷阱论文还讨论了负样本选择的问题。很多工作为了简化任务只用正常胸片作为负样本但这样做会导致模型学到一个很简单的决策边界只要片子上有任何异常密度就判断为结核。实际上肺炎、肺癌、尘肺等疾病的片子也有异常密度模型会把它们误判为结核。论文建议负样本应该尽可能多样化包括正常片子和其他肺部疾病的片子。如果条件允许还应该包括一些困难负样本比如有陈旧性病灶但非活动性结核的片子。这些困难负样本能迫使模型学习更细粒度的特征而不是依赖简单的密度异常。我在实际项目中遇到过类似问题一个结核分类模型在测试集上AUC达到0.95但上线后发现对肺炎片子的误报率极高。后来我们重新构建了负样本集加入了大量肺炎和肺癌片子重新训练后AUC降到了0.88但误报率大幅下降临床可用性反而提高了。这个经历让我深刻理解到测试集上的高指标不等于临床可用性。4. 评估协议为什么之前的指标不可信4.1 图像级AUC的局限性论文指出图像级AUC是当时最常用的评估指标但它有几个致命缺陷。首先AUC衡量的是模型在所有阈值下的排序能力但临床应用中你只需要一个固定阈值下的决策。一个AUC很高的模型在特定阈值下可能敏感性和特异性都不理想。其次AUC对类别不平衡不敏感。结核病筛查场景中阳性样本通常远少于阴性样本AUC在这种情况下可能会给出一个看起来很漂亮但实际意义有限的数值。论文建议除了AUC还应该报告敏感性、特异性、F1分数等指标并且要明确阈值的选择依据。我自己的习惯是在报告结果时至少给出三个阈值下的敏感性和特异性比如高敏感性阈值、平衡阈值、高特异性阈值让读者能根据实际需求选择。只报一个AUC在医学影像领域是不够的。4.2 病灶级评估的必要性论文提出如果任务定义包含病灶定位那就必须报告病灶级指标比如IoU、Dice系数、病灶级敏感性等。图像级指标只能说明模型知道这张片子有问题不能说明模型知道问题在哪里。论文里做了一个实验用分类模型生成的热力图如Grad-CAM来评估病灶定位能力结果发现热力图的高亮区域和真实病灶的IoU只有0.2左右远低于检测模型的0.5。这说明分类模型的热力图不能替代真正的病灶定位不能用来做临床定位参考。这个结论对我影响很大。之前我也尝试过用分类模型的热力图来做病灶定位觉得这样能省去检测标注的成本。但论文的实验数据让我意识到这种做法在临床场景中是不可靠的。如果你真的需要病灶定位那就老老实实做检测标注不要试图用分类模型的热力图来糊弄。4.3 跨数据集评估的价值论文还强调了跨数据集评估的重要性。很多工作只在单个数据集上训练和测试报告的结果可能只适用于这个数据集的特定分布。论文做了一个跨数据集实验在NLM上训练在Montgomery上测试结果发现性能下降非常明显AUC从0.9降到了0.7左右。这个下降幅度说明模型学到的特征很大程度上依赖于训练数据集的分布换一个数据集就不灵了。论文建议在条件允许的情况下应该至少在两个数据集上做交叉验证以评估模型的泛化能力。我在实际项目中的做法是如果只有一个数据集那就按患者划分做交叉验证如果有多个数据集那就做跨数据集评估。跨数据集评估的结果虽然会难看一些但它更接近真实场景中的表现。5. 论文提出的修正方案与实验验证5.1 重新定义任务边界论文提出的第一个修正方案是重新定义任务边界。它建议把CTD任务明确分为两个子任务图像级结核筛查和病灶级结核定位。图像级筛查的目标是快速筛选出需要进一步检查的片子病灶级定位的目标是辅助医生定位病灶。两个子任务分别评估不混在一起。这个建议看起来很简单但在当时的研究中很多工作故意模糊这两个任务的边界用图像级指标来暗示病灶级能力。论文通过明确的定义和实验把这个问题摆到了台面上。5.2 构建更合理的评估协议论文提出的第二个修正方案是构建更合理的评估协议。它建议在评估时至少包含以下内容患者级数据划分、多阈值下的敏感性和特异性、病灶级指标如果任务包含定位、跨数据集评估结果。这个协议比当时常用的单数据集图像级AUC要严格得多。论文用这个协议重新评估了几个之前的工作发现它们的性能都有不同程度的下降。这个结果并不意外因为之前的评估方式太宽松了。但论文的价值在于它提供了一个更严格的评估框架让后续工作有了更可靠的对比基准。5.3 实验验证修正后的性能变化论文做了大量实验来验证修正方案的效果。其中一个关键实验是用同一个模型分别在旧评估协议和新评估协议下测试。旧协议下模型AUC达到0.92新协议下患者级划分多阈值跨数据集AUC降到0.78。这个差距说明旧协议下的高性能很大程度上是评估方式带来的虚高。另一个实验是用分类模型和检测模型分别做图像级筛查和病灶级定位然后交叉评估。结果发现分类模型在图像级筛查上表现更好检测模型在病灶级定位上表现更好两者不能互相替代。这个实验验证了任务边界重新定义的必要性。6. 我在这篇论文里学到的实操经验6.1 数据划分一定要按患者ID分组这是我在这篇论文里学到的最重要的一条经验。之前我做医学影像项目时习惯按图像随机划分训练集和测试集觉得这样简单省事。但论文的实验数据让我意识到这种做法会导致严重的数据泄漏让测试集性能虚高。后来我在一个肺炎分类项目中改成了按患者ID分组划分结果模型在测试集上的AUC从0.94降到了0.86。虽然数字变难看了但模型上线后的表现和测试集更接近了误报率也明显下降。这个经历让我明白测试集上的高指标如果来自数据泄漏那它毫无意义。6.2 负样本要尽可能多样化论文关于负样本的讨论也让我受益匪浅。之前我做结核分类时负样本只用正常片子模型在测试集上表现很好但上线后对肺炎片子的误报率极高。后来我重新构建了负样本集加入了大量肺炎、肺癌、尘肺片子重新训练后AUC降到了0.88但误报率大幅下降。这个经验告诉我负样本的多样性比数量更重要。与其用一万张正常片子做负样本不如用三千张正常片子加三千张其他肺部疾病片子。困难负样本能迫使模型学习更细粒度的特征而不是依赖简单的密度异常。6.3 不要用分类模型的热力图做病灶定位论文关于热力图不可靠的结论我也深有体会。之前我尝试过用Grad-CAM热力图来定位结核病灶觉得这样能省去检测标注的成本。但实际测试下来热力图的高亮区域和真实病灶的IoU只有0.2左右很多时候高亮区域根本不在病灶上。后来我老老实实做了检测标注训练了一个Faster R-CNN模型病灶定位的IoU达到了0.5以上。虽然标注成本高了很多但结果可靠得多。这个经历让我明白在医学影像场景中没有捷径可走。如果你需要病灶定位那就必须做检测标注不要试图用分类模型的热力图来糊弄。6.4 跨数据集评估是检验泛化能力的试金石论文关于跨数据集评估的讨论也让我印象深刻。之前我做项目时通常只在一个数据集上训练和测试觉得性能好就行了。但论文的实验数据显示跨数据集评估的性能下降非常明显AUC可能从0.9降到0.7。后来我在一个结核分类项目中尝试了跨数据集评估在NLM上训练在Montgomery上测试。结果AUC只有0.72远低于在NLM上测试的0.91。这个结果虽然难看但它让我意识到模型的泛化能力还有很大提升空间。后来我通过数据增强、域适应等方法把跨数据集AUC提升到了0.80虽然还是不如单数据集但至少更接近真实场景了。7. 这篇论文对后续工作的影响与我的个人体会这篇论文发表后在结核病诊断和更广泛的医学影像领域都产生了一定影响。它让更多研究者开始重视数据集划分、评估协议和任务定义这些基础问题而不是一味追求新架构。我注意到后续的一些结核病诊断工作开始报告患者级划分的结果也开始报告多阈值下的敏感性和特异性这说明论文的呼吁起到了作用。从我个人的角度来看这篇论文最大的价值不是提出了某个具体的技术方案而是提供了一种批判性审视的视角。它让我意识到在医学影像项目中最危险的不是模型不够复杂而是评估方式不够严格。一个在宽松评估下看起来很好的模型可能在真实场景中完全不可用。而一个在严格评估下看起来一般的模型可能反而更可靠。如果你正在做医学影像相关的项目我建议你至少读一遍这篇论文的评估协议部分。它不会教你如何设计一个更复杂的网络但它会教你如何避免自欺欺人。在医学场景中自欺欺人的代价可能是一条生命这个责任谁都担不起。最后分享一个小技巧在报告模型性能时我习惯同时给出最好情况和最坏情况两组数字。最好情况是在同分布测试集上的表现最坏情况是在跨数据集测试集上的表现。这样读者能清楚地知道模型的泛化能力边界而不是被单一的高指标误导。这个习惯就是我从这篇论文里学来的虽然看起来只是多报了几个数字但它能让你的工作更可信、更负责任。
