简介面向备战2026年江西省研究生数学建模竞赛的团队这套资源围绕题2电子健康记录数据补全与优化算法提供从问题拆解到成果输出的完整闭环。论文部分内置特等奖标准模板摘要、问题重述、模型假设、符号说明、模型建立与求解、灵敏度分析及结论等章节齐备排版符合官方规范稍作替换即可作为高质量答卷。代码部分提供Python和MATLAB双版本模块化覆盖数据清洗、矩阵补全、模型训练与启发式算法寻优关键代码逐行中文注释配合一键运行脚本可复现全部图表与结果表。中间处理数据、模型输出参数与最终结论均已整理成高质量表格涵盖多模型对比与性能评估指标配以png图表和docx文档便于直接引入论文。资源共117个文件以20个py源码、32个csv数据表、14个docx文档、28个png图为核心整体约78.96MB已有102人学习下载对于追求效率与稳定产出的参赛队不失为兼顾思路解析、代码实现和论文撰写的综合参考资源。1. 2026江西研究生数学建模EHR数据补全为什么这道题卡住了七成队伍研究生数学建模里数据补全类题目一直是看着简单、拿高分很难的典型。2026年江西省这道电子健康记录EHR题核心诉求一句话把医疗记录里缺失的字段补出来同时保证统计指标和临床合理性都站得住。和华为杯研究生数学建模近两年的风格很像考的是完整链路——缺失分析、插补建模、参数寻优、结果验证缺一段都拿不到高分。七成队伍卡在同一个地方没搞清缺失机制就开始补均值填、中位数填后面优化算法做得再花哨也救不回来。这份资源包含完整代码、建模思路、助攻论文和结果数据适合第一次打研究生建模、需要跑通全流程参考实现的队伍也适合想在补全方法和智能优化算法上做出差异化的进阶队伍。这篇笔记从缺失机制讲到参数寻优参数设置、评价口径和坑点全摊开照着走一遍就知道每份文件该在哪个环节用上。2. EHR缺失数据建模先搞懂缺失机制再谈补全算法2.1 三种缺失机制与数学建模题的出题套路EHR数据缺失不是随机的。医学记录里血压缺失往往和患者病情轻重有关化验指标缺失可能因为检测设备或科室没开单子这直接决定了缺失属于MCAR完全随机缺失、MAR随机缺失还是MNAR非随机缺失。简单说MCAR是缺失概率和任何变量都无关像数据传输丢失MAR是缺失概率和其他已观测变量相关比如老年患者的某项检查更容易漏做MNAR是缺失本身和缺失值的大小相关比如血糖极高的患者反而没测血糖。建模题里最常考的是MAR因为MAR场景下用其他特征去预测缺失值是可行的这正是所有插补算法的理论基础。如果是MNAR单纯插补会有系统性偏差因为缺失位置本身携带信息。拿到题目第一步不是写代码而是先判断缺失机制。一个实用技巧把样本按某个观测特征分组比如按年龄段分组看每组缺失率是否有显著差异。如果差异明显基本可以判定为MAR后面用多变量插补就理直气壮。判断缺失机制还有更定量的做法。卡方检验可以验证某个字段的缺失与否是否和另一个字段的取值有关显著性水平设在 0.05 以下就认为有关联。论文里不需要写一堆统计术语但把判断过程和依据写清楚很重要。评委最反感的就是上来就贴代码、完全不解释为什么选这个方法。我的习惯是画一张缺失率热力图加一张分组缺失率对比表两张图就能把我理解数据这件事说透。2.2 缺失率统计与可视化第一份必须交付的图表下面这段代码是固定用的探索流程产出缺失率表和缺失共现热力图。数据量上万条时跑起来也就几秒钟但这两张图决定了后面所有方法选择的走向。import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns df pd.read_csv(ehr_raw.csv, encodingutf-8) # 缺失率统计按列计算nan占比降序排列 missing_rate df.isnull().mean().sort_values(ascendingFalse) missing_df pd.DataFrame({字段: missing_rate.index, 缺失率: missing_rate.values}) print(missing_df) # 缺失共现矩阵看哪些字段容易一起缺 miss_mask df.isnull() co_occur miss_mask.T miss_mask plt.figure(figsize(10, 8)) sns.heatmap(co_occur, cmapYlOrRd, cbarTrue) plt.title(EHR字段缺失共现热力图) plt.tight_layout() plt.savefig(missing_co_occur.png, dpi200)逻辑说明isnull().mean()按列统计缺失比例输出里缺失率超过 30% 的字段要重点标注这类字段单靠KNN可能补不动得走MICE或矩阵补全。miss_mask.T miss_mask是布尔矩阵转置相乘得到的是两两字段同时缺失的样本数热力图深色位置代表这两个字段的缺失高度相关。这一步能快速判断缺失是否集中在某几个科室或某类检查直接指导后面选插补策略——缺失高度共现的字段对必须放在同一个联合模型里补不能拆开独立处理。参数说明热力图cmapYlOrRd用黄红渐变深色代表共现严重dpi200保证论文插图清晰。共现阈值可以自己定一般同时缺失超过样本量 20% 的字段对就要重点关注。这张图建议在论文正文放一张彩色版附录再放全字段版本。探索结果顺手整理成一张表四列分别是字段名、缺失率、缺失机制判断、初步处理策略。这张表放在论文第二节能让评委在三十秒内建立起对你数据理解的信任。资源包里附带了一份已填好的示例表字段名可以直接替换成自己赛题的列名。3. 从统计插补到矩阵补全一套能拿分的补全方法栈3.1 基线方法均值插补与KNN插补的代码实现有了缺失画像先跑基线。均值、中位数插补属于单变量方法实现快但会压缩方差、破坏字段间相关关系评委一眼就能看出只用了初级方法最多用来做对比实验的最差基线。KNN插补按样本相似度取邻居加权平均利用了字段间的相关性是建模赛里性价比最高的起点。下面代码用KNNImputer实现关键点是量纲处理。from sklearn.impute import KNNImputer from sklearn.preprocessing import StandardScaler feat_cols [age, heart_rate, systolic_bp, glucose, cholesterol] # 标准化KNN的距离计算对量纲极敏感 scaler StandardScaler() df_scaled scaler.fit_transform(df[feat_cols]) # n_neighbors5是经验起点weightsdistance让近邻权重更大 imputer KNNImputer(n_neighbors5, weightsdistance) df_imputed_scaled imputer.fit_transform(df_scaled) # 逆变换回原始量纲后续建模都在原始尺度上做 df_imputed scaler.inverse_transform(df_imputed_scaled) df[feat_cols] df_imputed逻辑说明先StandardScaler是因为KNN本质是欧氏距离收缩压 120 和血糖 5.6 量级差几十倍不标准化则距离完全被大数值字段主导小字段的邻居选择形同虚设。weightsdistance比默认的uniform更适合医学数据相邻样本距离越近相关性越强这在临床指标里体现得很明显。inverse_transform必须做否则后续所有建模都在标准化空间里预测结果没法落地解释。参数说明n_neighbors5是小样本默认起点样本量上万时可以试 1020weights两个选项都跑一遍实际差异在 2%5% 之间。这里有个容易被忽略的点feat_cols里不要混入患者ID、就诊时间这类不参与补全的列否则KNN会把样本ID差值也算进距离邻居选择完全跑偏。缺失率超过 50% 的字段KNN的参考价值已经很低这类字段优先考虑从业务侧判断是否整列删除。KNN插补相比均值插补的收益最直观体现在相关性保持上。用一个简单检验插补完成后计算字段间的皮尔逊相关系数矩阵和完整样本的相关系数对比。均值插补会把相关系数向0压缩KNN能保留大部分相关结构。这个检验在论文里可以作为选择KNN而不是均值插补的定量证据一句话加一个数字就够。3.2 MICE与矩阵补全处理强相关医学指标的进阶方案如果探索阶段发现字段缺失共现严重比如甘油三酯和高密度脂蛋白经常一起缺KNN也救不回来因为近邻样本里同样的位置也是缺失的。这时候上MICE多重链式插补或矩阵补全。MICE的思路是每个缺失列当作目标变量用其他列轮流建模预测迭代多轮直到收敛。Scikit-learn 里封装了IterativeImputer实现成本很低。from sklearn.experimental import enable_iterative_imputer from sklearn.impute import IterativeImputer # MICE每列缺失值由其余列轮流补迭代10轮 mice_imputer IterativeImputer( max_iter10, random_state42, initial_strategymedian, imputation_orderdescending ) df_mice mice_imputer.fit_transform(df[feat_cols])逻辑说明imputation_orderdescending表示按缺失率从高到低的顺序逐列填补先用缺失率低的列做预测源更可靠这个顺序在EHR数据上比默认ascending效果好不少。initial_strategymedian是迭代起点只影响前几轮最终会收敛到联合分布。max_iter10对大部分医学数据足够继续加大轮数收益递减但耗时线性增长追求稳妥可以设 15。矩阵补全则是把数据看作低秩矩阵用奇异值分解或软阈值迭代恢复缺失位置。它在字段间存在复杂线性相关时表现好但需要调秩参数秩选大了过拟合噪声选小了丢失结构。Scikit-learn 没有直接的矩阵补全接口常见做法是手动做奇异值分解截断。下面这段是截断SVD补全的参考实现。def svd_impute(X, rank5, max_iter50): 截断SVD软阈值补全交替填充缺失值并做低秩近似 X_filled X.copy() missing_mask np.isnan(X) # 先用列均值初始化缺失位置 col_means np.nanmean(X, axis0) for i in np.where(missing_mask.any(axis1))[0]: X_filled[i, missing_mask[i]] col_means[missing_mask[i]] for _ in range(max_iter): # 低秩近似只保留前rank个奇异值 U, s, Vt np.linalg.svd(X_filled, full_matricesFalse) X_approx U[:, :rank] np.diag(s[:rank]) Vt[:rank, :] # 只更新缺失位置已知值不被破坏 X_filled[missing_mask] X_approx[missing_mask] return X_filled逻辑说明核心是交替两步先做低秩近似再回填缺失位重复迭代到稳定。np.linalg.svd每次迭代都重算样本量上万时成本不小建议用sklearn.utils.extmath.randomized_svd替代。rank的选择可以用奇异值谱判断——奇异值从第几个开始跌入平台就取那个位置附近的秩别拍脑袋定。三层方法的定位要清楚KNN是主战力MICE是共现缺失时的升级选项矩阵补全是展示方法视野的加分项。资源包里三套代码独立成文件结果数据分文件存放做对照实验非常方便。一个建议三种方法的结果表和误差指标都保留论文里放一张三行对比表再加一段为什么最终选某一种的分析这段分析往往是评阅时区分度最大的部分。4. 优化算法调参把补全误差压到最低的实战配置4.1 为什么值得上智能优化算法网格搜索的代价与边界补全方法不是调好一个参数就完事。KNN的k、weightsMICE的max_iter、imputation_order矩阵补全的rank组合起来搜索空间相当大。网格搜索在这个空间里要么太粗漏掉好点要么太细算到怀疑人生。智能优化算法在低维但非光滑的搜索空间里有天然优势这也是近几年建模赛里补全寻优组合拳流行起来的原因和华为杯等赛事里智能优化算法的热度上升是一个趋势。但要注意边界补全模型每次评估都要跑一遍插补单次评估可能几十秒种群迭代30代、20个个体就是600次评估算力不够会翻车。我的习惯是先缩小参数范围只对影响最大的两三个参数做寻优其他参数固定为经验值。怎么判断影响大小跑一轮单变量敏感性分析每个参数取几个候选值看误差波动幅度波幅大的留下波幅小的直接固定。另一个常见误区是拿优化算法硬套所有环节。参数寻优解决的是给定补全方法后找最优参数它替代不了方法选择。先定方法栈再寻优顺序反了就是拿遗传算法去搜索一个根本不合适的方法空间纯属浪费时间。这一条在答辩时也经常被评委追问提前想清楚能少挨很多问。提示如果机器只有8G内存、跑一次KNN评估超过30秒优先把种群降到12、迭代降到20不要硬撑大种群。4.2 种群迭代寻优遗传算法与海星优化算法的落地配置下面这段代码用遗传算法搜索KNN插补的k和weights两个核心参数评估误差采用人工掩码法——随机屏蔽10%的已知值在屏蔽位置上算误差。这是数据补全最通用的验证框架比直接在缺失位置上评估客观得多。import numpy as np from sklearn.impute import KNNImputer from sklearn.metrics import mean_absolute_error rng np.random.default_rng(42) # 人为制造缺失屏蔽10%已知值作为评估集 mask rng.random(df_scaled.shape) 0.1 df_masked df_scaled.copy() df_masked[mask] np.nan def evaluate_knn(params): k int(3 17 * params[0]) # k ∈ [3, 20] weights distance if params[1] 0.5 else uniform imputer KNNImputer(n_neighborsk, weightsweights) imputed imputer.fit_transform(df_masked) return mean_absolute_error(df_scaled[mask], imputed[mask]) def ga_search(pop_size16, generations25): pop rng.random((pop_size, 2)) best None for _ in range(generations): scores np.array([evaluate_knn(ind) for ind in pop]) top_idx np.argsort(scores)[:pop_size // 2] elites pop[top_idx] if best is None or scores[top_idx[0]] best[1]: best (pop[top_idx[0]].copy(), scores[top_idx[0]]) # 精英保留 差分交叉生成下一代 new_pop elites.copy() while len(new_pop) pop_size: p1, p2 elites[rng.choice(len(elites), 2, replaceFalse)] child np.clip(p1 0.5 * (p2 - p1) 0.08 * rng.standard_normal(2), 0, 1) new_pop np.vstack([new_pop, child]) pop new_pop return best best_param, best_score ga_search() print(f最优参数: k{int(3 17 * best_param[0])}, fweights{distance if best_param[1] 0.5 else uniform}) print(f最小MAE: {best_score:.4f})逻辑说明evaluate_knn先屏蔽再补全、只在屏蔽位置算误差这是这段代码的灵魂。如果在所有位置算误差大量真实值会把误差稀释到看不出参数差异。遗传算法部分用精英保留策略每代取前一半做父代子代由两个父代差分交叉生成再加小扰动收敛性和多样性兼顾。参数说明pop_size16和generations25是算力有限时的折中总共400次评估KNN每次秒级十分钟内能跑完。时间充裕可以加到 30×50。变异步长0.08是调参的关键太大搜索退化成长尾震荡太小容易早熟卡在局部最优。掩码比例0.1在 10%20% 之间取值都可以比例越高评估越严格但计算量越大。除了遗传算法资源包还对比了海星优化算法等新兴元启发式算法的效果。海星优化算法属于比较新的种群算法低维参数寻优上收敛速度快迭代曲线前期下降明显但稳定性比经典遗传算法差。同一份数据跑三次结果可能差 2%5%这在竞赛提交时是致命伤。我的建议很直接竞赛求稳最终提交用遗传算法或粒子群新算法写进论文做对比实验既展示技术视野又不会在关键时刻翻车。如果要用粒子群替代遗传算法核心改动是把个体更新从交叉变异改成速度-位置更新pbest记录个体历史最优、gbest记录全局最优速度和位置按经典PSO公式迭代。资源包代码里两种算法都有切换时只需要替换ga_search函数体评估函数evaluate_knn完全复用。这也侧面说明评估框架比优化器本身更重要框架写好了换算法就是换一层皮的事。5. 避坑指南EHR数据补全最容易翻车的五个细节5.1 缺失值直接填0最省事也最致命现象很多队伍为了先把代码跑通把缺失值直接fillna(0)结果RMSE看着还行但补出来的收缩压出现了 0 mmHg 这种临床荒谬值评阅阶段直接被扣分甚至被怀疑数据造假。原因0 在医学数据里是有效量纲的极端值不是缺失的合理替代。更重要的是大量 0 会严重拉偏字段的均值和方差后续所有基于统计量的特征全部失真。解决至少用中位数或KNN起步。任何补全结果都要做取值范围校验超出临床合理区间的值必须标出并修正。建议在代码里定义一个字段上下限字典补全后逐列clip并统计越界比例这个数值要写进论文是评阅时很加分的细节。5.2 归一化顺序颠倒验证集泄漏的隐形坑现象先对整个数据集做标准化再划分训练集和验证集验证误差异常低一换到测试集上表现就崩盘。原因标准化用了全样本的均值和方差验证集和测试集的信息提前泄漏进了训练过程这是典型的 data leakage。在EHR这种字段间相关性强的数据上泄漏的后果比一般表格数据更严重。解决先划分再标准化scaler只fit训练集验证集和测试集只transform。代码里严格分开不要图省事一锅端。资源包里的流水线脚本已经按这个顺序写好了直接对照检查自己的代码。5.3 分类变量粗暴编码字符串转数字引发的补全偏差现象性别、科室等类别字段直接LabelEncoder编成 0/1/2插补算法把它们当有序数值处理距离计算完全失真。原因LabelEncoder给类别强加了人为顺序。内科编成 1、外科编成 2、儿科编成 3KNN就会认为外科距离内科比距离儿科更近这是没有任何业务依据的。解决用OneHotEncoder处理无序类别数值型插补特征里只保留真正有序的变量。如果类别太多导致维度爆炸先做频次编码把低频类别合并成其他再进OneHot这在医疗数据里很常用。5.4 优化算法早熟收敛种群参数设置失误的典型表现现象遗传算法跑到第 5 代就停在同一个值不动了换随机种子结果一样明显陷入了局部最优。原因种群太小、变异步长太小基因多样性在前几代就耗尽后代全是父代的复制品失去了跳出局部最优的能力。解决种群扩到 20 以上变异步长调到 0.1 左右或者每隔 5 代强制注入一批随机个体。观察迭代曲线也是好习惯——正常收敛是前期快速下降、后期平缓如果曲线一开始就是平的基本就是参数设错了。5.5 评估指标只看RMSE忽略业务合理性的代价现象RMSE 比所有对比方法都低但画分布图发现补出来的血糖出现了负值分布严重偏斜一看就不合理。原因RMSE 对大误差敏感但完全无法反映插补值是否落在业务合理范围内。医学数据尤其吃这个亏一个极端值就能把RMSE拉出一个好看的数字但分布形态是骗不了人的。解决RMSE、MAE、R² 三个指标一起看同时画插补前后分布对比图验证插补值的分位数是否平滑、有没有异常峰值。越界率这个指标建议单独统计写进结果表比任何文字都有说服力。6. 结果验证与论文呈现一份能打动评委的交付物长什么样6.1 交叉验证与指标组合RMSE之外还要看什么补全模型评估最怕自欺欺人。我一般做两层验证第一层是人工掩码随机屏蔽 10%20% 已知值在屏蔽位置算误差所有对比方法都在同一套掩码下评估保证公平第二层是业务校验对每个字段定义临床合理区间统计越界值比例。两层都过才算补全合格。指标上 RMSE、MAE、R² 三件套缺一不可。RMSE 对异常值敏感MAE 体现平均偏差R² 说明方差解释能力评委看到三个指标方向一致才会相信结果。只放一个RMSE的论文等于告诉评委我不敢给你看更多维度。6.2 论文图表与结果表把补全效果讲出说服力论文呈现上我见过太多队伍代码很漂亮、图表一团糟。补全类题目最核心的三张图缺失热力图、插补前后字段分布对比图、各方法误差对比柱状图。分布对比图尤其关键——插补后的分布应该和真实分布形态接近峰度、偏度都要对得上。两张分布曲线叠在一张图里一眼就能看出均值插补和MICE的差别。结果表建议把基线KNN、MICE、矩阵补全、优化后模型四行放一张表里字段包括MAE、RMSE、R²、越界率四个指标。越界率这一列是很多队伍漏掉的加分项也是最容易让评委觉得这队伍真的懂业务的细节。资源包里的结果数据文件可以直接生成这三张图和这张表拿到手改改标题就能用。做这套资源复盘时我最大的教训是补全不是埋头调代码而是先花一天把缺失机制和评估框架定死后面所有实验才不会白做。从那以后我每次拿到数据补全题都强制自己先写缺失率表、再跑基线、再谈优化这个顺序救了我至少两次翻车。这套资源和笔记如果能帮你在2026年的赛场上少走一段弯路那它就值了希望帮到你。本文还有配套的精品资源点击获取
