简介这份资源面向机器学习初学者与数据挖掘实践者聚焦决策树这一经典监督学习模型帮助读者从原理到代码完整掌握分类与回归任务的实现思路。压缩包共28个文件约2.43MB以py脚本和ipynb笔记本为主要载体辅以pdf讲义、xlsx数据集、png可视化图与txt说明兼顾理论讲解与动手实践。内容覆盖ID3、C4.5、CART三大算法的特征选择、节点分裂与剪枝策略并配有员工离职预测案例演示K折交叉验证与GridSearch网格搜索的参数调优流程还涉及graphviz决策树可视化。已有526人学习下载适合希望巩固算法基础、提升建模与调参能力的读者参考。1. 决策树模型源码包从一份 zip 到能跑通的分类器拿到「机器学习与算法源代码5 决策树模型.zip」这类压缩包多数人的第一反应是解压、找 main、直接运行然后被一堆相对路径、缺失依赖和编码报错劝退。这个标题背后其实是一套很典型的机器学习入门资产用决策树这个白盒模型把「数据怎么进、树怎么长、结果怎么出」整条链路用源代码摊开给你看。它适合两类人——刚学完机器学习假设、想找一个能逐行调试的算法实现来对照理论的新手以及需要快速搭一个可解释基线模型、又不想被黑箱框架绑死的工程师。决策树的价值不在精度天花板而在它的每个分裂节点都能被打印、被追问、被剪枝这是随机森林、梯度提升树这些集成模型的地基。下面我按「先立住原理、再动手复现、最后讲坑」的顺序把这份源码包该怎么读、怎么改、怎么验证讲清楚。2. 决策树源码包的结构拆解与运行环境准备2.1 一个典型决策树源码包里到底有什么这类以「机器学习与算法源代码」命名的压缩包结构通常高度相似核心文件跑不出这几类。先别急着运行把目录树打印出来看一遍比盲目点开文件高效得多。# 解压后先看结构不要直接运行 unzip 机器学习与算法源代码5 决策树模型.zip -d decision_tree_src cd decision_tree_src find . -maxdepth 2 -type f | sort常见的文件分布是这样的一个data/或dataset/目录放 csv 或 txt 格式的训练数据一个tree.py或decision_tree.py放核心算法一个main.py或run.py做入口可能还有utils.py放信息熵、基尼系数的计算函数。有些包会带requirements.txt有些则什么都没有需要你自己判断依赖。文件类型典型命名作用是否必须核心算法tree.py / dt.py递归建树、特征选择、剪枝必须入口脚本main.py / run.py加载数据、训练、预测必须数据集data.csv / iris.txt训练与测试样本必须工具函数utils.py熵、基尼、准确率计算常见依赖清单requirements.txt第三方库版本不一定有说明文档README.md运行方式不一定有如果包里没有 README不要慌先看入口脚本的if __name__ __main__块那里通常写死了数据路径和调用顺序是理解整个流程的最短路径。2.2 环境准备Python 版本与依赖的取舍决策树源码包对环境的挑剔程度取决于它是纯手写实现还是调用了 sklearn。纯手写版本往往只用标准库加 numpy反而更好跑调用 sklearn 的版本则要小心版本差异导致的 API 变动。# 建议用独立虚拟环境避免污染全局 python -m venv dt_env source dt_env/bin/activate # Windows 用 dt_env\Scripts\activate # 先装最保守的依赖组合 pip install numpy pandas scikit-learn matplotlib参数说明numpy负责矩阵运算手写决策树里计算信息增益时几乎必用pandas用于读取 csv 和处理缺失值scikit-learn只在源码包调用它做对比实验或数据集划分时才需要matplotlib用于画树或画特征重要性。如果你的源码包是纯手写、连 numpy 都不用那上面这些可以只装 numpy。提示不要一上来就pip install -r requirements.txt。老源码包里的版本号经常锁死在某个旧版本直接装会和你本地的 Python 版本冲突。先看代码里import了什么按需安装更稳。2.3 先跑通再读懂最小运行路径读源码最忌讳从头读到尾。正确姿势是先让它跑起来拿到一个输出再顺着输出往回追。找到入口脚本后先确认三件事数据路径对不对、Python 版本兼不兼容、有没有硬编码的绝对路径。# 常见的入口脚本骨架先定位这几行 import pandas as pd from tree import DecisionTree if __name__ __main__: # 1. 数据加载路径经常是硬编码的重点检查这里 data pd.read_csv(./data/iris.csv) X data.iloc[:, :-1].values y data.iloc[:, -1].values # 2. 模型初始化看默认参数max_depth 和 criterion 是关键 clf DecisionTree(criterionentropy, max_depth5) clf.fit(X, y) # 3. 预测与评估 preds clf.predict(X) print(训练准确率:, (preds y).mean())逻辑说明这段骨架是绝大多数决策树源码包的通用形态。criterion决定分裂标准entropy是信息增益gini是基尼系数max_depth控制树的最大深度是防过拟合的第一道闸。如果运行报FileNotFoundError八成是数据路径问题把路径改成相对当前脚本的路径即可。如果报ModuleNotFoundError缺什么装什么别一次装一堆。跑通之后你会看到一个准确率数字。这个数字本身不重要重要的是它证明整条链路是通的接下来才有资格去改参数、读算法。3. 决策树核心算法的源码级理解与手写复现3.1 信息增益、基尼系数分裂标准到底在算什么决策树每一次分裂本质是在问用哪个特征、在哪个阈值切一刀能让子节点比父节点更「纯」。纯度有两种主流度量源码包里必然实现其中一种。信息熵衡量的是不确定性公式是 $H(D) -\sum p_i \log_2 p_i$。熵越小越纯。信息增益就是父节点熵减去子节点熵的加权和增益越大这一刀切得越值。基尼系数是另一种纯度度量$Gini(D) 1 - \sum p_i^2$计算时省掉了对数运算工程上更快sklearn 默认就用它。import numpy as np def entropy(y): 计算标签集合的信息熵y 是一维标签数组 _, counts np.unique(y, return_countsTrue) probs counts / len(y) # 加 1e-9 防止 log2(0) 报错这是血泪经验 return -np.sum(probs * np.log2(probs 1e-9)) def gini(y): 计算基尼系数 _, counts np.unique(y, return_countsTrue) probs counts / len(y) return 1 - np.sum(probs ** 2) def information_gain(y, y_left, y_right): 父节点熵 - 子节点加权熵 n len(y) w_left len(y_left) / n w_right len(y_right) / n return entropy(y) - (w_left * entropy(y_left) w_right * entropy(y_right))参数说明np.unique的return_countsTrue直接给出每个类别的样本数比手写循环快得多。1e-9这个平滑项是必须的当某个子节点全是一类时log2(0)会返回负无穷整个增益计算就崩了。这个细节很多教学代码会漏掉实际跑数据时才会翻车。3.2 递归建树一棵树是怎么长出来的决策树的核心是一个递归函数在当前数据集上找最佳分裂特征和阈值切分数据对左右子集递归调用自己直到满足停止条件。停止条件通常有三个节点样本全属同一类、没有特征可用了、达到最大深度。class Node: def __init__(self, featureNone, thresholdNone, leftNone, rightNone, valueNone): self.feature feature # 分裂特征索引 self.threshold threshold # 分裂阈值 self.left left # 左子树 self.right right # 右子树 self.value value # 叶子节点的预测值 def build_tree(X, y, depth0, max_depth5, min_samples2): # 停止条件一样本全同类 if len(np.unique(y)) 1: return Node(valuenp.bincount(y).argmax()) # 停止条件二达到最大深度或样本太少 if depth max_depth or len(y) min_samples: return Node(valuenp.bincount(y).argmax()) best_gain, best_feat, best_thr 0, None, None n_features X.shape[1] for feat in range(n_features): thresholds np.unique(X[:, feat]) for thr in thresholds: left_mask X[:, feat] thr if left_mask.sum() 0 or (~left_mask).sum() 0: continue gain information_gain(y, y[left_mask], y[~left_mask]) if gain best_gain: best_gain, best_feat, best_thr gain, feat, thr if best_feat is None: # 没有找到有效分裂 return Node(valuenp.bincount(y).argmax()) left_mask X[:, best_feat] best_thr left build_tree(X[left_mask], y[left_mask], depth 1, max_depth, min_samples) right build_tree(X[~left_mask], y[~left_mask], depth 1, max_depth, min_samples) return Node(featurebest_feat, thresholdbest_thr, leftleft, rightright)逻辑说明外层遍历每个特征内层遍历该特征的所有取值作为候选阈值这是最朴素的暴力搜索。best_gain初始为 0意味着只有正增益才分裂避免无效分裂。np.bincount(y).argmax()是取众数作为叶子预测要求标签是从 0 开始的整数如果标签是字符串需要先做编码。参数说明max_depth是最重要的防过拟合参数树越深越容易记住训练集的噪声min_samples控制叶子最小样本数太小会导致树对个别样本敏感。这两个参数配合使用效果比单独调一个要好。3.3 用鸢尾花数据集验证手写实现理论讲完必须验证。用 sklearn 自带的鸢尾花数据集把手写实现和 sklearn 的决策树放在一起对比看准确率是否接近。from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier iris load_iris() X_train, X_test, y_train, y_test train_test_split( iris.data, iris.target, test_size0.3, random_state42) # 手写版本 tree build_tree(X_train, y_train, max_depth5) def predict(node, x): if node.value is not None: return node.value if x[node.feature] node.threshold: return predict(node.left, x) return predict(node.right, x) my_preds [predict(tree, x) for x in X_test] print(手写决策树准确率:, (np.array(my_preds) y_test).mean()) # sklearn 版本做对照 clf DecisionTreeClassifier(criterionentropy, max_depth5, random_state42) clf.fit(X_train, y_train) print(sklearn 准确率:, clf.score(X_test, y_test))逻辑说明predict函数沿着树往下走遇到叶子节点就返回预测值这是决策树推理的全部逻辑。两个准确率应该在同一量级如果手写版本明显偏低通常是分裂阈值搜索不够细或停止条件设置不当。注意random_state固定后结果可复现这是做对比实验的基本素养。参数说明test_size0.3表示三成做测试样本量小时可以调到 0.2max_depth5对鸢尾花这种简单数据已经足够再深就是过拟合。如果两个版本差距超过 5 个百分点回去检查information_gain里的加权是否正确。4. 决策树调参与剪枝让模型从能跑到能用4.1 预剪枝在建树过程中就踩刹车预剪枝是在树还没长完时就限制它常见手段就是max_depth、min_samples_split、min_samples_leaf这几个参数。它的优点是训练快、不容易过拟合缺点是可能欠拟合因为有些分裂当下看起来没收益但后续能带来大幅纯度提升。# 用网格搜索找预剪枝参数组合 from sklearn.model_selection import GridSearchCV param_grid { max_depth: [3, 5, 7, 10, None], min_samples_split: [2, 5, 10], min_samples_leaf: [1, 2, 4], criterion: [gini, entropy] } grid GridSearchCV(DecisionTreeClassifier(random_state42), param_grid, cv5, scoringaccuracy) grid.fit(X_train, y_train) print(最佳参数:, grid.best_params_) print(交叉验证最佳得分:, grid.best_score_)参数说明cv5是五折交叉验证样本量小于一千时用 5 折比较稳样本更少可以用 10 折但计算量上升。max_depthNone表示不限制深度让网格搜索自己判断是否需要限制。min_samples_split是节点分裂所需的最小样本数min_samples_leaf是叶子节点的最小样本数后者对抑制过拟合更直接。注意网格搜索的参数组合数是各参数取值数的乘积上面这组是 5×3×3×290 种组合每种跑 5 折计算量不小。数据量大时先用粗粒度网格定位范围再细化。4.2 后剪枝先长满再回头砍后剪枝的思路相反先让树充分生长再自底向上检查每个子树如果把它替换成叶子节点后验证集精度不降反升就砍掉。代价复杂度剪枝CCP是 sklearn 里现成的实现通过ccp_alpha参数控制。# 先获取不同 alpha 对应的剪枝路径 clf DecisionTreeClassifier(random_state42) path clf.cost_complexity_pruning_path(X_train, y_train) ccp_alphas path.ccp_alphas # 对每个 alpha 训练一棵树看测试集表现 train_scores, test_scores [], [] for alpha in ccp_alphas: clf DecisionTreeClassifier(random_state42, ccp_alphaalpha) clf.fit(X_train, y_train) train_scores.append(clf.score(X_train, y_train)) test_scores.append(clf.score(X_test, y_test)) best_alpha ccp_alphas[np.argmax(test_scores)] print(最佳 ccp_alpha:, best_alpha, 对应测试准确率:, max(test_scores))逻辑说明cost_complexity_pruning_path返回一系列递增的ccp_alpha值和对应的不纯度alpha 越大剪得越狠。遍历这些 alpha 训练模型选测试集得分最高的那个。这是后剪枝的标准流程比手动调max_depth更有依据。参数说明ccp_alpha0表示不剪枝等于原始树alpha 过大则会把树剪成单节点。实际选值时不要只看测试集最高点要看测试得分随 alpha 变化的曲线是否平稳选平稳区间内的值泛化更可靠。4.3 特征重要性决策树的白盒优势怎么用决策树相比神经网络最大的落地优势是能直接输出特征重要性。这个值来自每个特征在所有分裂节点上带来的不纯度下降的加权和归一化后加起来等于 1。import matplotlib.pyplot as plt clf DecisionTreeClassifier(max_depth5, random_state42) clf.fit(X_train, y_train) importances clf.feature_importances_ for name, imp in zip(iris.feature_names, importances): print(f{name}: {imp:.4f}) plt.barh(iris.feature_names, importances) plt.xlabel(Feature Importance) plt.tight_layout() plt.show()逻辑说明feature_importances_是训练后自动计算的属性不需要额外调用。打印出来能直接看出哪些特征在决策中起主导作用这对业务解释极其重要——比如风控场景里如果「历史逾期次数」重要性远高于其他特征这个结论可以直接拿去和业务方沟通。参数说明特征重要性对高基数特征取值很多的类别特征有偏好这是决策树的已知偏差。如果某个 ID 类特征重要性异常高要警惕它是不是在过拟合。可以用随机森林的特征重要性做交叉验证两者结论一致才可信。5. 决策树落地避坑五条踩过的血泪记录5.1 连续值特征没做离散化阈值搜索慢到怀疑人生现象手写决策树在连续特征上跑得极慢几万条数据要跑好几分钟。原因代码里对每个特征的每个唯一取值都试一遍阈值连续特征的唯一值数量等于样本数复杂度直接爆炸。解决对连续特征先做分箱或者只在排序后的相邻值中点取候选阈值把候选数从 O(n) 降到 O(n-1) 但常数小很多更彻底的做法是限制候选阈值数量。5.2 标签不是从 0 开始的整数bincount 直接报错现象换自己的数据集后np.bincount(y)抛ValueError: object too deep或结果全错。原因bincount要求非负整数字符串标签或从 1 开始的标签都会出问题。解决训练前用LabelEncoder把标签转成 0 到 K-1 的整数并保存映射关系预测时再转回去。这一步不做后面所有评估都是错的。5.3 训练集测试集划分前就做了归一化数据泄漏现象模型在测试集上准确率高得离谱上线后一落千丈。原因先对全量数据做了标准化或归一化再划分训练测试集测试集的统计信息泄漏进了训练过程。解决先train_test_split再在训练集上fit标准化器用同一个标准化器transform测试集。决策树对量纲不敏感其实可以不做归一化但如果你在特征工程里加了就必须遵守这个顺序。5.4 树太深导致每个叶子只有一个样本训练集 100% 测试集崩盘现象不限制max_depth时训练准确率接近 100%测试准确率却很低。原因树长到每个叶子只含一个样本等于把训练集背下来了完全没有泛化能力。解决设max_depth或min_samples_leaf配合后剪枝。判断标准是训练和测试准确率的差距差距超过 10 个百分点基本就是过拟合了。5.5 类别特征直接喂给基于阈值的分裂语义被破坏现象把「城市」这种类别特征编码成 1、2、3 后模型学到的分裂是「城市 ≤ 2」这没有任何业务含义。原因决策树的阈值分裂天然适合有序数值对无序类别会强行引入大小关系。解决类别特征做独热编码或者改用能处理类别分裂的决策树变体如 CART 的多路分裂。独热编码会让特征维度上升但语义正确比维度重要。6. 从单棵树到集成决策树源码包的进阶用法单棵决策树的精度天花板不高但它是所有树集成模型的地基。理解了源码包里的分裂逻辑和剪枝再去看随机森林和梯度提升树会发现它们只是在「怎么组合多棵树」上做文章。随机森林是并行训练多棵在随机特征子集上生长的树然后投票梯度提升树是串行训练每棵新树去拟合前面所有树的残差。两者的基学习器都是你手里这份源码包实现的东西。一个实用的进阶技巧是用源码包里的手写决策树做特征选择再把选出的重要特征喂给随机森林。手写版本慢但透明适合在小样本上做特征筛选随机森林快且准适合在筛选后的特征上做最终模型。这样既拿到了可解释性又保住了精度。from sklearn.ensemble import RandomForestClassifier # 用手写树筛出的 top-k 重要特征 clf DecisionTreeClassifier(max_depth5, random_state42) clf.fit(X_train, y_train) top_k np.argsort(clf.feature_importances_)[::-1][:3] X_train_sel, X_test_sel X_train[:, top_k], X_test[:, top_k] # 在筛选特征上训练随机森林 rf RandomForestClassifier(n_estimators100, max_depth5, random_state42) rf.fit(X_train_sel, y_train) print(随机森林在筛选特征上的准确率:, rf.score(X_test_sel, y_test))参数说明n_estimators100是树的数量通常 100 到 500 之间再多收益递减max_depth5对每棵子树做限制随机森林本身有 bagging 抗过拟合深度可以比单棵树稍深。top_k取 3 只是示例实际用交叉验证确定最优特征数。验证方法上我习惯做三件事一是固定random_state保证结果可复现二是同时看训练集和测试集得分差距大就说明过拟合三是把特征重要性打印出来和业务常识对照如果模型认为最重要的特征在业务上说不通那多半是数据泄漏或编码出了问题。我自己踩过最深的一个坑是早期做决策树时迷信「树越深拟合越好」结果在一个信贷数据集上训练准确率 99%上线后坏账识别率还不如规则引擎。后来老老实实把max_depth压到 4加上后剪枝测试集精度反而涨了。决策树这个模型克制比激进重要能解释比能拟合重要。希望帮到你。本文还有配套的精品资源点击获取
