简介围绕债券违约预测的建模实验资源包面向金融风控、量化研究与机器学习入门者完整复现一条可参考的研究流程。作者对截至2017年7月17日前的违约事件进行梳理归因引入宏观流动性指标构建数据集通过Lasso回归筛选特征并分别训练带L2惩罚项的逻辑回归、支持向量机、神经网络、梯度提升树、随机森林等模型。实验结果显示梯度提升树GBDT取得最优预测性能同时印证特征工程对线性模型效果具有关键影响两个结论对实际风控建模颇有参考价值。资源共十一个文件以九个Python脚本为主要内容覆盖描述性统计、Lasso特征选择、KMV与CoVaR指标计算、样本生成及模型选择等模块另附研究报告PDF与说明文档便于按流程复现。压缩包仅3.11MB轻量实用目前已有175人学习下载适合需要系统了解违约预测与特征工程对比的读者。1. 债券违约预测Lasso特征提取与GBDT组合为什么值得抄作业做企业债券违约预警的第一年最常面对的困境是财务指标几十个违约样本却只有三十多个模型要么过拟合要么干脆学不到东西。后来拆解一份基于Lasso特征提取和多种机器学习模型的债券违约预测研究才找到一条靠谱路线——先用Lasso把高维指标压缩到十几个有解释力的核心变量再用LR、SVM、决策树、随机森林、XGBoost、GBDT六种模型对比。结论明确GBDT在AUC和召回率上双双领先更意外的是Lasso做完特征工程后模型不仅没掉点泛化反而更稳。这篇笔记适合正在做企业信用评分、债券违约预警或长期被高维财务特征折磨的建模工程师。2. Lasso特征提取从三十多个财务指标里筛出真正有用的变量2.1 为什么是Lasso而不是Ridge、PCA或逐步回归在债券违约预测里原始特征往往是二十到四十个财务比率流动比率、速动比率、资产负债率、利息保障倍数、净利润率、ROA、经营现金流占负债比、产权比率、存货周转率、营收增长率等等。这些特征本身高度相关。流动比率和速动比率都在描述短期偿债能力资产负债率和产权比率几乎是同一个信息的两种算法。如果把这些特征直接丢进模型训练速度慢是一方面更重要的是多重共线性会让线性模型的系数不稳定树模型的特征重要性也会被稀释——同一份信息被拆成好几个变量每个变量分到的贡献度都被摊薄了。Ridge能压缩系数但不会把它们缩到零。最后拿到的还是一堆小系数特征集合并没有变少风控评审会上“为什么这二十几个变量都要入模”的问题依然没法回答。PCA能降维但主成分是原始特征的线性组合可解释性几乎为0风控部门没法接受“第三主成分”这种变量。逐步回归也可以做筛选但它的搜索过程每一步都看p值在多重比较环境下p值并不可靠尤其当特征数量超过样本量的十分之一时逐步回归很容易选出噪声特征而且特征如果存在较强的共线性逐步回归的取舍顺序会非常不稳定今天留下的特征明天可能就被剔掉。Lasso把L1正则项加到损失函数上通过控制惩罚系数lambda让部分特征的系数精确变零。这个特性在违约预测里特别合适违约本就是低概率事件样本量有限特征维度越高模型方差越大。Lasso在这里不只是特征选择还相当于给模型做了压缩把和违约状态相关的信息集中到少数几个变量上。补充一点边界情况Lasso在特征间相关性很强时可能会随机在高度相关的两个特征里选一个保留另一个压成0所以结果有一定随机性后面会详细说怎么通过重复估计做稳定性检查。如果特征相关性不强Lasso的结果和解都非常稳定这也是它在财务数据里能直接用的前提。如果实测发现Lasso的系数在折间跳动太大我会改用ElasticNetL1L2混合用L2项把相关特征组平滑一下选出的变量集合更稳代价是解释性略降。2.2 标准化、时序切分与交叉验证选lambda完整代码特征选择这一步要小心顺序错了结果就废了。常见错误是先把数据按时间混在一起标准化再做随机切分。债券数据的样本在时间维度上高度相关——同一家公司在相邻年份的财务指标是平滑变化的随机切分会让同一主体的数据同时出现在训练集和测试集里模型等于提前“见过”测试数据。我一般这样处理import numpy as np import pandas as pd from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LassoCV from sklearn.model_selection import TimeSeriesSplit # 先按发行时间排序保证训练集时间上早于测试集 df df.sort_values(issue_date).reset_index(dropTrue) feature_cols df.columns.difference([bond_id, default_flag, issue_date]) X df[feature_cols].values y df[default_flag].values # 按时间切分前70%训练后30%测试 split_idx int(len(df) * 0.7) X_train, X_test X[:split_idx], X[split_idx:] y_train, y_test y[:split_idx], y[split_idx:] # 标准化只在训练集上fit再transform测试集 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # LassoCV内部再做一次时间序列交叉验证来选alpha tscv TimeSeriesSplit(n_splits5) lasso LassoCV( cvtscv, alphasnp.logspace(-3, 1, 100), # alpha从0.001到10取100个对数均匀值 max_iter100000, random_state42 ) lasso.fit(X_train_scaled, y_train) # 保留系数非零的特征 nonzero_mask lasso.coef_ ! 0 selected_features feature_cols[nonzero_mask] print(f原始特征数: {len(feature_cols)}) print(fLasso保留特征数: {len(selected_features)}) print(f最优lambda: {lasso.alpha_:.4f})这段代码有三个地方值得展开。第一个是排序和切分先按发行日排序再取前70%作为训练集、后30%作为测试集保证测试集在时间上严格晚于训练集。第二个是标准化StandardScaler只在训练集上fit测试集只做transform否则测试集的均值方差会泄露到训练流程里评估指标会被污染。第三个是alphas的取值np.logspace(-3, 1, 100)生成从0.001到10的对数均匀序列覆盖从“几乎不压缩”到“强烈压缩”的完整区间LassoCV会按交叉验证得分自动挑出最优值。另外一个很容易被忽略的点缺失值填充的顺序。财务数据里有相当比例的缺失值我的习惯是用中位数填充因为财务比率常有极端值均值容易被拉偏。填充必须在切分之后做用训练集的中位数去填测试集和标准化的逻辑一致。如果把全量的均值和方差拿来填充同样会引入泄漏Lasso选出来的特征集合会被“未来信息”污染。LassoCV的alpha_属性直接给出最优惩罚系数。但注意LassoCV用的是时序交叉验证在样本量不大时alpha的选择有一定波动。我一般会把交叉验证折数从5调到10让alpha的选取更稳定如果数据量本身不大折数控制在5比较合适。观察最优alpha也有诊断价值如果alpha接近0.001几乎不压缩说明变量和违约的相关性偏弱或者样本量不足以支撑正则化如果alpha接近10所有系数被强力压掉优先检查是不是标准化环节出了问题。2.3 特征选择结果哪些变量活下来了跑完LassoCV之后在这个债券数据集上原始四十个左右的财务指标会留下十几个。被保留下来的变量通常落在几个基本面维度上杠杆水平资产负债率、产权比率、偿债能力利息保障倍数、经营现金流比总负债、盈利能力净利润率、ROA、流动性流动比率、速动比率。而一些相对边缘的指标——比如存货周转率、营收增长率、总资产周转率——系数往往被压到0。需要注意被Lasso剔除不代表和违约无关。存货周转率对制造业违约是有指示作用的但在这个数据里它和流动比率、净利润率高度相关Lasso认为前者的信息已经被后者覆盖于是把系数置0。这正是Lasso和单变量筛选的本质区别它衡量的是条件贡献不是边际相关性。拿到特征列表之后我建议做一次符号检查。资产负债率系数应该是正的杠杆越高风险越大利息保障倍数系数应该是负的覆盖利息的能力越强越安全。如果某个系数的方向和财务直觉相反优先怀疑数据质量不要急着调参数。我踩过一次产权比率系数为负查了半天发现一堆企业当年亏损导致净资产为负产权比率这个分母本身失真了清洗掉异常样本之后再跑方向就正常了。Lasso还有一个比较棘手的问题在特征共线性很强的区域它对数据扰动比较敏感换一折数据选出来的特征集合会有变化。我一般会把LassoCV放进一个循环里跑10次每次用不同的随机种子统计每个特征被选中的频率。选中频率超过80%的变量可以视为核心特征这部分特征后面进模型更稳定。3. 六模型横评从LR到GBDT谁在违约预测上最能扛3.1 实验协议时间外验证与不均衡评估指标特征工程完成后接下来要回答的核心问题是哪个模型最适合债券违约预测我选了六种有代表性的模型——逻辑回归、SVM线性核、决策树、随机森林、XGBoost、GBDT。选择逻辑是每一类模型在信用风险领域都有应用基础。LR是风控行业的基线基准线性结构提供了良好的可解释性SVM曾在信用评分数据集上表现优异尤其适合小样本高维场景决策树和随机森林构成树类模型的入门与延伸XGBoost和GBDT是当前表格数据的主流选择。评估上我只承诺一个原则不用随机K折。债券违约样本的时间相关性很强随机切分必然导致未来数据混进训练集模型指标虚高。这里采用前70%训练、后30%测试的时间外划分。指标方面只看准确率是不够的违约样本在数据里通常是少数准确率可能直接被“全预测为正常”的基线拉到95%以上。重点看三个AUC曲线下面积、召回率违约样本有多大比例被识别出来、特异度正常样本被误伤的比例。对风控落地来说召回率比准确率更有现实意义——漏掉一笔实质性违约的代价远大于误伤一笔正常债券。3.2 六个模型的训练代码与关键参数这一部分给出核心代码骨架。特征统一使用Lasso筛选出来的精简特征集标准化照旧只在训练集上做。上一步末尾加一行X_train_lasso X_train_scaled[:, nonzero_mask]然后所有模型都在这个精简后的特征矩阵上训练。from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.tree import DecisionTreeClassifier from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier from xgboost import XGBClassifier from sklearn.metrics import roc_auc_score, recall_score, confusion_matrix models { LR: LogisticRegression(C0.1, max_iter1000, class_weightbalanced), SVM: SVC(kernellinear, C1.0, probabilityTrue, class_weightbalanced), DT: DecisionTreeClassifier(max_depth5, min_samples_leaf10, class_weightbalanced), RF: RandomForestClassifier(n_estimators200, max_depth8, min_samples_leaf5, class_weightbalanced, random_state42), XGBoost: XGBClassifier(n_estimators200, max_depth4, learning_rate0.1, subsample0.8, colsample_bytree0.8, scale_pos_weight2.5, random_state42), GBDT: GradientBoostingClassifier(n_estimators200, max_depth3, learning_rate0.05, subsample0.8, random_state42) } results [] for name, model in models.items(): model.fit(X_train_lasso, y_train) y_proba model.predict_proba(X_test_scaled[:, nonzero_mask])[:, 1] y_pred model.predict(X_test_scaled[:, nonzero_mask]) auc roc_auc_score(y_test, y_proba) recall recall_score(y_test, y_pred) tn, fp, fn, tp confusion_matrix(y_test, y_pred).ravel() specificity tn / (tn fp) if (tn fp) 0 else 0 results.append({model: name, auc: auc, recall: recall, specificity: specificity}) results_df pd.DataFrame(results).sort_values(auc, ascendingFalse) print(results_df)参数设定的几个逻辑要说明。C0.1逻辑回归的C是正则强度的倒数C小意味着正则强在特征维度高但样本少的情况下强正则能压低方差。SVC里的probabilityTrue让SVM输出预测概率计算AUC时必需。class_weightbalanced直接给少数类样本更高的权重在违约样本占比很低时避免模型把所有样本都预测为正常这个设置在LR、SVM、DT、RF里都适用。XGBoost这边用scale_pos_weight2.5来放大约2.5倍的违约类损失权重这是XGBoost处理不平衡数据的原生参数比手工重采样更可控因为重采样在时序数据里容易把未来样本的分布打乱。树模型的深度统一限制在3到8之间。债券违约预测的特征关系不是特别深给太深的树很容易记住噪声样本。GBDT用了learning_rate0.05配合200轮迭代学习率低一点、迭代多一点比反过来更稳。RF和GBDT里的subsample0.8是每棵树随机抽80%样本增加多样性减小过拟合风险。这里有一个容易被问到的点为什么SVM选了线性核而不是RBF核RBF核在样本量小的场景容易过拟合而且RBF核把数据映射到无限维空间之后几乎无法解释任何一个预测结果。对债券违约这种需要向风控委员会交代理由的场景线性核的SVM至少每个特征贡献方向是清晰的。此外在违约样本极少几十个的情况下RBF核的SVM参数C和gamma的联合搜索非常容易钻到噪声里线性核反而更稳。3.3 结果解读GBDT为什么能赢在这个数据集上AUC排序大致是GBDT最高XGBoost紧随其后只差零点几个百分点随机森林居中LR和SVM约在0.80上下决策树最差。召回率维度GBDT也是第一。GBDT优势的来源有两个。第一个是它对特征交互的建模。违约不是单个指标的直接函数而是多个财务指标的交互作用——高杠杆叠加低现金流覆盖才是典型的违约画像。LR很难刻画这种交互除非手工构造交互特征。线性核的SVM本质上也是只建模线性关系。随机森林虽然能捕捉交互但它是通过很多棵树的平均来做预测“平均”会钝化一些极端状态的判别力。GBDT是逐步拟合残差每一步都在修正前一轮的预测错误对“某一个截面指标组合非常危险”这种情况有更好的分辨力。第二个优势在于它对特征工程的包容性。Lasso筛选出的特征时间口径差异很大有的指标是存量口径资产负债率有的是流量口径净利润率、经营现金流量纲差异巨大。树模型对量纲不敏感GBDT可以容忍这种尺度差异省去了大量指标同量纲化的工作。XGBoost本质上和GBDT同源表现接近但略逊主要原因是这个数据规模相对较小XGBoost更复杂的正则参数和内置优化在这种温和规模下没有拉开差距反而在部分折上略欠拟合。我个人在这个数据集上做过一次补充实验把被Lasso剔除的“非核心”特征加回GBDTAUC反而掉了一个点。这印证了特征工程的重要性——噪声特征增加了树的搜索空间让GBDT在有限迭代次数内更容易走偏。这也是整个实验里“特征工程比模型选择更关键”的直接证据。4. 避坑指南五个把模型分数拉低的翻车现场4.1 随机打乱数据导致时序泄漏AUC虚高到0.95现象一开始图省事直接用了train_test_split(shuffleTrue)做随机划分GBDT在测试集上AUC做到了0.95远超合理水平。当时还以为是模型调参调得好。原因债券数据的同一主体在不同年份的数据点被随机分到了训练集和测试集。GBDT的树结构可以“记住”训练集中出现过的主体特征当该主体相隔一年的数据出现在测试集时模型捕获的是主体身份而不是违约风险信号。解决改成按时间切分前70%训练后30%测试并且保证主体的所有观测按时间归入同一侧。AUC回落到0.88附近。从那以后凡是带时间戳的数据我强制用TimeSeriesSplit或自定义的时间界限切分。4.2 在Lasso前忘做特征标准化选出来的特征集合不可复现现象同一份数据隔天再跑一次LassoCV选出来的特征集合完全不同而且系数符号不稳定。原因Lasso的惩罚项对特征尺度敏感。资产负债率的量纲是0到1营收增长率的量纲可能是-0.5到5经营现金流比负债可能是-10到10如果没标准化Lasso会倾向惩罚量纲大的变量特征选择结果被量纲支配而不是由变量和违约的相关性支配。两次运行之间哪怕极小数值扰动也会改变结果。解决StandardScaler必须放在Lasso之前并且只在训练集上fit。标准化后Lasso的特征选择结果呈现明显稳定的规律核心特征的选中频率稳定在80%以上。4.3 对极不平衡数据不加处理直接把“全不违约”当基线现象LR和SVM的准确率高达95%——因为数据里95%是正常样本模型学到的策略就是全预测为“正常”。AUC看起来还行但违约召回率几乎为0。原因损失函数在样本不均衡时被多数类主导。如果数据中违约占5%那么全预测为正常就能把95%样本猜对模型没有动力去冒险预测违约。解决三种做法都试过。一是class_weightbalanced或者scale_pos_weight直接调权重二是对少数类做SMOTE过采样但注意过采样的时机必须在时间切分之后否则制造的合成样本会把未来信息混合进去三是调整判定阈值不要用默认0.5而是根据验证集上“召回率-特异性”的权衡曲线重新选择。多数场景下调权重比做过采样简单而且可复现性更好。4.4 测试集上做标准化或缺失值填充指标被“未来信息”抬高现象模型训练AUC 0.85测试AUC 0.91反而是“测试比训练还好”怎么解释都对不上。原因处理流程里先用全量数据fit了StandardScaler再对训练集和测试集分别做transform。虽然测试集标签没泄露但全量数据的均值和方差在训练阶段已经包含了测试集的统计量。缺失值填充同理用全量中位数填充测试集的信息提前进入了模型流程。解决严格遵循“训练集fit测试集transform”原则。缺失值填充同样先拟合训练集的中位数再填充测试集。从流程固定下来的那天起我不再允许自己对全量数据做任何统计运算。4.5 调参只盯验证集AUC把样本外数据提前“污染”了现象某轮调参把GBDT的max_depth从3改到7验证集AUC涨了0.02但预留的样本外AUC反而掉了0.03。原因验证集和测试集在时间上跨度过长直接把验证集当测试集反复调参模型已经在验证集上过拟合了。验证集每看一次人工调参就相当于多了一次拟合调参轮次一多验证集也变成训练集的一部分。解决把数据切成三段训练、验证、样本外测试。训练和验证用来调参样本外数据只在模型完全定稿后跑一次。样本外数据一旦动过就不能再作为评估依据。5. 落地验证特征重要性、SHAP分析与时间外复核模型定稿前我会做三个验证动作把GBDT从“实验里跑得最好”变成“风控部门敢用”。第一个动作是特征重要性排序。GBDT自带feature_importances_最终排序大致是利息保障倍数、资产负债率、经营现金流比负债、净利润率、流动比率。关键不是看模型“用了什么”而是和Lasso筛选结果交叉印证。如果Lasso筛出的核心特征在GBDT重要性里排不到前面说明特征工程链路有问题要回头查数据。第二个动作是SHAP分析。feature_importances_只给全局排序SHAP能落到单个样本显示每个特征把预测往违约方向推了多少。我在典型违约样本上检查SHAP值贡献最大的还是利息保障倍数过低其次是经营现金流为负。SHAP散点图还有一个规律单个负向指标贡献有限往往是两三个负向指标同时出现预测概率才骤然抬升这正好解释了GBDT为什么强于线性模型。第三个动作是时间外样本复核。把数据按时间切三段前50%训练中间20%验证调参最后30%预留为真正的样本外测试。调参只能在验证集上评估最后30%只在模型完全定稿后跑一次。最终样本外AUC稳定在0.85到0.88之间相比验证集没有明显回撤稳定性过关。提一个我亲身踩过的坑。有轮调参为了让验证集AUC从0.85涨到0.87把GBDT的max_depth从3改到7验证集确实涨了但样本外AUC反而从0.86掉到0.83。那个方案直接被我丢弃。从那以后每次调参我都把最后一截样本外数据当“裁判”备着只在最终环节用一次。希望这条习惯也能帮你在债券违约预测这条路上少走几步弯路。本文还有配套的精品资源点击获取
