简介这份Python机器学习预测系统合集面向计算机、数学及电子信息等专业学生以及希望上手数据分析与预测建模的开发者可用于课程设计、期末大作业或毕业设计。包内共12个文件以6个py脚本为核心配套xlsx与csv数据集、ui界面文件、docx使用说明及md文档压缩包约1.3MB结构紧凑便于直接运行与二次修改。内容覆盖贝叶斯网络、马尔科夫模型、线性回归、岭回归、多项式回归、决策树回归与深度神经网络预测等主流算法从概率图推理、时间序列建模到非线性回归与神经网络预测均有对应实现并配有可视化对比脚本方便观察不同模型在房价等数据上的拟合差异。已有64人学习适合作为算法入门到综合实践的参考模板帮助读者理解各模型的原理、调用方式与评估思路提升编程与数据分析能力。1. 从一份 Python 预测合集说起七种模型到底该怎么选拿到「机器学习预测系统python合集贝叶斯网络、马尔科夫模型、线性回归、岭回归、多项式回归、决策树回归、深度神经网络预测」这个标题很多人第一反应是去翻压缩包里有什么但真正该先问的是这七种模型分别解决什么形态的预测问题能不能塞进同一条流水线。我做过不少预测类项目最常见的翻车不是代码写错而是模型选错——拿线性回归硬拟合非线性时序或者用深度神经网络去跑只有两百行的表格数据结果还不如决策树。这份合集的价值不在于「模型多」而在于它覆盖了从概率图模型到深度网络的完整光谱贝叶斯网络处理带因果结构的离散变量马尔科夫模型处理状态转移线性/岭/多项式回归处理连续值拟合决策树回归处理非线性分段深度神经网络处理高维复杂映射。适合已经会写 Python、想系统跑一遍预测流程的人也适合机器学习入门阶段想找一套可复现骨架的读者。下面我按「先立住原理、再动手复现、最后避坑」的顺序把这套合集拆成能直接抄作业的路径。2. 七种预测模型的定位与选型先搞清楚谁该上场2.1 从预测目标反推模型连续值、离散状态还是概率分布选模型的第一步不是看哪个高级而是看你的预测输出是什么形态。线性回归、岭回归、多项式回归、决策树回归、深度神经网络回归这五个的输出都是连续数值区别在于它们对「特征与目标之间关系」的假设不同。线性回归假设关系是线性的岭回归在线性基础上加 L2 正则解决共线性多项式回归通过升维把非线性关系拉回线性框架决策树回归用分段常数逼近任意形状深度神经网络则用多层非线性变换拟合高维映射。贝叶斯网络和马尔科夫模型不一样它们输出的是概率分布或状态序列——贝叶斯网络给你「在已知父节点取值时某变量的条件概率」马尔科夫模型给你「下一状态的概率分布」。我一般会先画一张表把预测目标、输入形态、样本量三列填清楚再对照下面的选型逻辑决定用哪个。模型预测输出适合的输入形态样本量门槛典型场景线性回归连续值数值特征、线性关系几十条起房价、销量基线岭回归连续值数值特征、存在共线性几十条起多指标强相关预测多项式回归连续值数值特征、非线性但平滑上百条物理量曲线拟合决策树回归连续值混合类型、非线性分段上百条带阈值效应的预测深度神经网络连续值/分类高维、大量样本上千条起图像、文本、时序贝叶斯网络条件概率离散变量、有因果结构几百条起故障诊断、风险评估马尔科夫模型状态序列概率离散状态、时序几百条起天气、用户状态流转这张表不是铁律但能帮你避开最常见的错配。比如你只有三百条表格数据、特征之间还高度相关硬上深度神经网络大概率过拟合换成岭回归反而稳。反过来如果你要做的是「根据前七天状态预测明天状态」马尔科夫模型比任何回归模型都自然。2.2 概率图模型和回归模型的分界线在哪很多人把贝叶斯网络和马尔科夫模型当成「另一种分类器」这是理解偏差。贝叶斯网络的核心是条件独立性假设加有向无环图结构它不直接给你一个预测值而是给你一个可以推理的概率框架——你可以问「如果 A 发生B 的概率变成多少」。马尔科夫模型的核心是「当前状态只依赖前一个状态」这个假设它把时序问题简化成状态转移矩阵。而回归模型的核心是函数逼近输入特征、输出数值中间是一个待拟合的函数。分界线在于你要的是「一个数」还是「一套概率关系」。如果你要的是「明天销量是多少」回归模型直接给数如果你要的是「明天销量落在各区间的概率分别是多少」贝叶斯方法更自然。我一般会这样判断预测目标能不能用一个标量概括能就用回归不能就用概率模型。2.3 用 Python 把七种模型串成一条预测流水线的最小骨架不管用哪个模型预测系统的骨架是一样的数据加载、特征处理、训练、评估、预测输出。下面这段代码是我常用的最小骨架把七种模型统一成 fit/predict 接口方便你替换着跑。注意贝叶斯网络和马尔科夫模型需要额外的结构定义这里先用占位说明后面章节展开。import numpy as np from sklearn.linear_model import LinearRegression, Ridge from sklearn.preprocessing import PolynomialFeatures from sklearn.tree import DecisionTreeRegressor from sklearn.neural_network import MLPRegressor from sklearn.pipeline import make_pipeline from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error # 假设 X 是特征矩阵y 是连续目标 X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) models { linear: LinearRegression(), ridge: Ridge(alpha1.0), poly: make_pipeline(PolynomialFeatures(degree2), LinearRegression()), tree: DecisionTreeRegressor(max_depth5, random_state42), mlp: MLPRegressor(hidden_layer_sizes(64, 32), max_iter1000, random_state42), } for name, model in models.items(): model.fit(X_train, y_train) pred model.predict(X_test) rmse np.sqrt(mean_squared_error(y_test, pred)) print(f{name}: RMSE{rmse:.4f})这段代码的逻辑是统一用 sklearn 的 fit/predict 接口把五个回归模型放在同一个循环里跑输出 RMSE 做横向对比。参数上Ridge 的 alpha 控制正则强度越大越抗共线性PolynomialFeatures 的 degree 控制升维阶数2 到 3 够用再高容易过拟合DecisionTreeRegressor 的 max_depth 是防过拟合的关键我一般从 3 开始试MLPRegressor 的 hidden_layer_sizes 控制网络容量小数据集用 (64, 32) 就够再大就是浪费。跑完这一轮你至少知道哪个模型在你的数据上基线最好再决定要不要深入调。3. 贝叶斯网络与马尔科夫模型概率推理怎么落地3.1 贝叶斯网络的结构定义与条件概率表怎么建贝叶斯网络落地最难的不是算法是结构。你得先确定哪些变量之间有依赖关系画成有向无环图再为每个节点建条件概率表。常见做法是用领域知识定结构用数据估参数。Python 里我一般用 pgmpy 这个库它把结构定义和参数估计分得很清楚。下面是一个三节点网络的例子天气影响是否带伞是否带伞影响是否淋湿。from pgmpy.models import BayesianNetwork from pgmpy.factors.discrete import TabularCPD from pgmpy.inference import VariableElimination # 定义结构天气 - 带伞 - 淋湿 model BayesianNetwork([(Weather, Umbrella), (Umbrella, Wet)]) # 天气的先验概率 cpd_weather TabularCPD(variableWeather, variable_card2, values[[0.7], [0.3]]) # 0晴, 1雨 # 带伞的条件概率晴天带伞概率低雨天带伞概率高 cpd_umbrella TabularCPD(variableUmbrella, variable_card2, values[[0.9, 0.2], [0.1, 0.8]], evidence[Weather], evidence_card[2]) # 淋湿的条件概率带伞淋湿概率低 cpd_wet TabularCPD(variableWet, variable_card2, values[[0.95, 0.1], [0.05, 0.9]], evidence[Umbrella], evidence_card[2]) model.add_cpds(cpd_weather, cpd_umbrella, cpd_wet) model.check_model() infer VariableElimination(model) result infer.query(variables[Wet], evidence{Weather: 1}) print(result)这段代码的关键在 TabularCPD 的 values 参数每一列对应一个父节点取值组合每一行对应本节点的取值概率列内求和必须为 1。evidence 和 evidence_card 声明父节点及其取值个数。check_model() 会验证概率表是否合法这一步别跳过我见过太多因为列顺序搞反导致推理结果完全错误的案例。推理时用 VariableElimination它适合小规模网络节点多了要换近似推理。参数上variable_card 是节点取值个数二值就是 2三值就是 3必须和 values 的行数一致。3.2 马尔科夫模型的状态转移矩阵估计与预测马尔科夫模型的核心是一张状态转移矩阵矩阵里每个元素是从状态 i 转移到状态 j 的概率。落地时你只需要两样东西状态序列和转移计数。下面这段代码从历史状态序列估计转移矩阵然后做下一步预测。import numpy as np def estimate_transition(states, n_states): # 初始化计数矩阵 counts np.zeros((n_states, n_states)) for (i, j) in zip(states[:-1], states[1:]): counts[i][j] 1 # 行归一化成概率加平滑防止零概率 row_sums counts.sum(axis1, keepdimsTrue) row_sums[row_sums 0] 1 trans counts / row_sums return trans # 假设状态序列0晴, 1阴, 2雨 states [0, 0, 1, 2, 1, 0, 0, 1, 2, 2, 1, 0] trans estimate_transition(states, 3) print(转移矩阵:\n, trans) # 预测下一步当前状态为 2雨 current 2 next_probs trans[current] print(下一步状态概率:, next_probs)逻辑说明estimate_transition 先统计所有相邻状态对的转移次数再按行归一化。加平滑那一步很重要如果某个状态在历史里从没出现过转移行和为零会导致除零错误我一般会把零行设成均匀分布。参数上n_states 是状态总数必须覆盖序列里所有取值。预测时直接取当前状态对应的行就是下一步的概率分布。如果要做多步预测就用矩阵乘法迭代。注意马尔科夫模型假设「无记忆性」如果你的状态转移明显依赖更早的历史得升级成高阶马尔科夫或隐马尔科夫模型。3.3 把概率模型接进预测系统的接口设计概率模型和回归模型的输出形态不同接进同一个系统时我一般做一层适配回归模型输出标量概率模型输出分布统一封装成 predict_proba 和 predict 两个方法。predict 返回最大概率对应的状态或期望值predict_proba 返回完整分布。这样上层业务代码不用关心底层是哪种模型。具体做法是写一个包装类内部持有模型对象对外暴露统一接口。这一步看起来简单但如果不做后面换模型时上层代码全要改血泪经验。4. 回归模型族实操从线性到决策树的参数怎么调4.1 线性回归和岭回归共线性来了怎么办线性回归是最容易上手的但也是最容易翻车的。当特征之间高度相关时普通最小二乘的系数估计会变得极不稳定稍微换个样本系数就跳变。岭回归通过加 L2 惩罚项把系数往零压牺牲一点偏差换方差大幅下降。下面这段代码对比两者在共线性数据上的表现。import numpy as np from sklearn.linear_model import LinearRegression, Ridge from sklearn.metrics import mean_squared_error np.random.seed(42) # 构造共线性特征x2 近似 x1 x1 np.random.randn(200) x2 x1 np.random.randn(200) * 0.01 X np.column_stack([x1, x2]) y 3 * x1 2 * x2 np.random.randn(200) * 0.1 lr LinearRegression().fit(X, y) ridge Ridge(alpha10.0).fit(X, y) print(线性回归系数:, lr.coef_) print(岭回归系数:, ridge.coef_) print(线性回归RMSE:, np.sqrt(mean_squared_error(y, lr.predict(X)))) print(岭回归RMSE:, np.sqrt(mean_squared_error(y, ridge.predict(X))))逻辑说明x2 和 x1 几乎线性相关普通线性回归的系数会变成很大的正负值相互抵消而岭回归的系数更平滑。参数上alpha 是正则强度越大惩罚越重系数越接近零。我一般用交叉验证选 alpha候选范围从 0.01 到 100 按对数间隔取。注意岭回归不把系数压到零只压小如果你需要特征选择得用 Lasso。另外标准化必须在岭回归之前做否则惩罚项对不同量纲的特征不公平。4.2 多项式回归升维的阶数怎么定才不过拟合多项式回归本质是特征升维后做线性回归难点在阶数选择。阶数太低欠拟合太高过拟合。下面这段代码用交叉验证选阶数。from sklearn.preprocessing import PolynomialFeatures from sklearn.linear_model import LinearRegression from sklearn.pipeline import make_pipeline from sklearn.model_selection import cross_val_score import numpy as np np.random.seed(42) X np.linspace(-3, 3, 100).reshape(-1, 1) y 0.5 * X.ravel()**3 - X.ravel()**2 2 np.random.randn(100) * 2 for degree in [1, 2, 3, 4, 5, 7]: model make_pipeline(PolynomialFeatures(degree), LinearRegression()) scores cross_val_score(model, X, y, cv5, scoringneg_mean_squared_error) print(fdegree{degree}, CV RMSE{np.sqrt(-scores.mean()):.4f})逻辑说明make_pipeline 把升维和回归串起来cross_val_score 做五折交叉验证输出负均方误差取负再开方就是 RMSE。参数上degree 是多项式阶数从 1 试到 7 看 RMSE 拐点。我一般选 RMSE 不再明显下降的那个阶数再高就是过拟合。注意多项式升维后特征数会爆炸degree7 时单特征变 8 维多特征时更夸张所以高维数据慎用。另外升维前标准化也很重要否则高次项数值范围失控。4.3 决策树回归max_depth 和 min_samples_leaf 的配合决策树回归不需要标准化能处理混合类型特征但极易过拟合。控制过拟合的两个关键参数是 max_depth 和 min_samples_leaf。下面这段代码展示不同参数组合的效果。from sklearn.tree import DecisionTreeRegressor from sklearn.model_selection import cross_val_score import numpy as np np.random.seed(42) X np.random.randn(300, 5) y X[:, 0]**2 np.sin(X[:, 1] * 3) np.random.randn(300) * 0.3 for depth in [3, 5, 7, 10, None]: for leaf in [1, 5, 10]: model DecisionTreeRegressor(max_depthdepth, min_samples_leafleaf, random_state42) scores cross_val_score(model, X, y, cv5, scoringneg_mean_squared_error) print(fdepth{depth}, leaf{leaf}, RMSE{np.sqrt(-scores.mean()):.4f})逻辑说明max_depth 限制树的最大深度None 表示不限制min_samples_leaf 要求每个叶子至少含这么多样本。两者配合使用效果最好depth 控制整体复杂度leaf 防止局部过拟合。参数上我一般先设 min_samples_leaf5 到 10再调 max_depth 从 3 往上试。注意决策树对数据扰动敏感换个随机种子结果可能差不少所以交叉验证的折数别太少。如果单棵树不够稳可以上随机森林但那是另一个模型了。5. 深度神经网络预测小数据集怎么不翻车5.1 网络结构设计层数、宽度和激活函数的选择深度神经网络在预测任务上的优势是拟合高维非线性映射但小数据集上极易过拟合。我的经验是表格数据用两到三层全连接就够每层 32 到 128 个神经元激活函数用 ReLU输出层线性。下面是一个可跑的回归网络。import torch import torch.nn as nn import numpy as np class RegNet(nn.Module): def __init__(self, input_dim): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, 64), nn.ReLU(), nn.Dropout(0.2), nn.Linear(64, 32), nn.ReLU(), nn.Linear(32, 1) ) def forward(self, x): return self.net(x) np.random.seed(42) X np.random.randn(500, 10).astype(np.float32) y (X[:, 0] * 2 X[:, 1]**2 - X[:, 2]).astype(np.float32).reshape(-1, 1) model RegNet(10) optimizer torch.optim.Adam(model.parameters(), lr1e-3) loss_fn nn.MSELoss() X_t torch.from_numpy(X) y_t torch.from_numpy(y) for epoch in range(200): model.train() optimizer.zero_grad() pred model(X_t) loss loss_fn(pred, y_t) loss.backward() optimizer.step() if epoch % 50 0: print(fepoch{epoch}, loss{loss.item():.4f})逻辑说明网络结构是 10 维输入、64 维隐藏层、32 维隐藏层、1 维输出中间加 Dropout 防过拟合。参数上lr 是学习率1e-3 是 Adam 的常用起点Dropout 的 0.2 表示随机丢弃 20% 神经元小数据集上这个值别超过 0.3。注意输入数据要转成 float32PyTorch 默认不接受 float64。训练轮数看 loss 曲线不再下降就可以停。5.2 训练集划分和早停小样本下的防过拟合手段小数据集上验证集划分和早停比调网络结构更重要。我一般按 6:2:2 分训练、验证、测试用验证集 loss 做早停。下面这段代码展示早停逻辑。from sklearn.model_selection import train_test_split X_train, X_tmp, y_train, y_tmp train_test_split(X, y, test_size0.4, random_state42) X_val, X_test, y_val, y_test train_test_split(X_tmp, y_tmp, test_size0.5, random_state42) X_train_t torch.from_numpy(X_train) y_train_t torch.from_numpy(y_train) X_val_t torch.from_numpy(X_val) y_val_t torch.from_numpy(y_val) best_val float(inf) patience 20 wait 0 for epoch in range(500): model.train() optimizer.zero_grad() loss loss_fn(model(X_train_t), y_train_t) loss.backward() optimizer.step() model.eval() with torch.no_grad(): val_loss loss_fn(model(X_val_t), y_val_t).item() if val_loss best_val: best_val val_loss wait 0 torch.save(model.state_dict(), best.pt) else: wait 1 if wait patience: print(f早停于 epoch{epoch}) break逻辑说明训练集更新参数验证集判断是否继续。patience 是容忍轮数验证 loss 连续 20 轮不降就停。参数上patience 设 10 到 30 都合理太小容易早停太大浪费时间。保存最佳模型权重是关键否则早停后模型可能已经过拟合了。注意验证集不能参与梯度更新所以要用 model.eval() 和 torch.no_grad()。5.3 和传统回归模型的对比什么时候深度网络真的值得上深度网络不是万能的。我做过对比在样本量低于一千、特征维度低于二十的表格数据上调好参数的岭回归或决策树往往和深度网络打平甚至更好而训练成本低一个数量级。深度网络真正拉开差距的场景是样本量上万、特征维度上百、存在复杂交互、或者数据本身是图像文本时序。所以我的建议是先用回归模型族跑基线如果 RMSE 已经满足业务需求就别上深度网络如果基线明显不够再考虑深度网络并且一定要做早停和正则化。这个判断顺序能帮你省掉大量调参时间。6. 避坑与排查七种模型落地时最容易踩的五个坑6.1 现象模型在训练集上完美测试集一塌糊涂原因过拟合。多项式回归阶数太高、决策树深度太大、神经网络训练轮数太多都会导致。解决多项式回归用交叉验证选阶数决策树限制 max_depth 和 min_samples_leaf神经网络加 Dropout 和早停。判断标准是训练集和验证集的 loss 差距差距超过一个数量级就要警惕。6.2 现象贝叶斯网络推理结果和直觉完全相反原因条件概率表的列顺序和父节点取值顺序不匹配。TabularCPD 的 values 列顺序必须和 evidence 里父节点的取值顺序一致搞反了推理就全错。解决建完模型后先跑 check_model()再用几个已知案例验证推理结果。我一般会手工算一个简单案例对一遍确认无误再上真实数据。6.3 现象马尔科夫模型预测概率全是零或均匀分布原因状态序列太短或某些状态从未出现导致转移计数矩阵出现零行。解决加平滑把零行设成均匀分布或者用拉普拉斯平滑给每个计数加一个小常数。另外状态编码要连续从 0 开始中间不能跳号否则矩阵索引会错位。6.4 现象岭回归系数和线性回归系数差异巨大原因特征没有标准化。岭回归的惩罚项对所有系数一视同仁如果某个特征量纲是另一个的千倍惩罚效果完全失衡。解决在岭回归之前做 StandardScaler把所有特征拉到同一量纲。注意标准化参数只能从训练集算再应用到测试集否则数据泄漏。6.5 现象神经网络 loss 不下降或变成 NaN原因学习率太大、输入数据没归一化、或者网络太深导致梯度爆炸。解决先把学习率降到 1e-4 试输入数据做零均值单位方差归一化网络层数控制在三层以内。如果还不行加梯度裁剪。我一般会在训练前打印几个 batch 的输入统计量确认数据没问题再开跑。7. 进阶技巧用交叉验证和残差分析把预测系统调稳跑通七种模型只是起点真正让预测系统可靠的是验证方法。我习惯在模型选型阶段用 K 折交叉验证在最终评估阶段用残差分析。K 折交叉验证的做法是把数据分成 K 份每次拿 K-1 份训练、1 份验证循环 K 次取平均。K 一般取 5 或 10数据量小就取大一点。下面这段代码把交叉验证封装成一个通用函数七种模型都能用。from sklearn.model_selection import KFold import numpy as np def cv_evaluate(model, X, y, k5): kf KFold(n_splitsk, shuffleTrue, random_state42) scores [] for train_idx, val_idx in kf.split(X): X_tr, X_val X[train_idx], X[val_idx] y_tr, y_val y[train_idx], y[val_idx] model.fit(X_tr, y_tr) pred model.predict(X_val) rmse np.sqrt(np.mean((y_val - pred) ** 2)) scores.append(rmse) return np.mean(scores), np.std(scores) # 对每个模型调用 for name, model in models.items(): mean_rmse, std_rmse cv_evaluate(model, X, y) print(f{name}: RMSE{mean_rmse:.4f} ± {std_rmse:.4f})逻辑说明KFold 做随机划分每次重新训练模型输出 RMSE 均值和标准差。标准差很重要它告诉你模型稳不稳标准差大说明模型对数据划分敏感。参数上shuffleTrue 保证划分随机random_state 固定后结果可复现。注意交叉验证要在所有调参完成后做最终评估不能边调参边看交叉验证结果否则就是另一种过拟合。残差分析是另一个我必做的步骤。把测试集预测值和真实值的差画出来看残差是否随机分布。如果残差呈现明显模式比如随预测值增大而增大说明模型有系统性偏差可能是欠拟合或者特征缺失。我一般会看三个东西残差均值是否接近零、残差方差是否恒定、残差是否和某个特征相关。这三个检查能发现很多 RMSE 指标掩盖的问题。最后一个习惯每次跑完模型把超参数、数据版本、RMSE 记在一个表格里。我吃过亏调了半天参数结果忘了之前哪组最好只能重跑。现在我用一个简单的 CSV 记录列是模型名、关键参数、验证 RMSE、测试 RMSE、备注。这个习惯看起来笨但能帮你省下大量重复劳动。希望帮到你。本文还有配套的精品资源点击获取
