Python机器学习实战：源代码与实验数据复现完整指南

简介面向Python机器学习初学者的配套源代码与实验数据包可配合《机器学习编程与实战》图书逐章动手实践。压缩包共77个文件包含Python脚本、CSV/Excel数据表、可视化图片、NumPy数据文件等整体约82.8MB按章节目录划分便于按需调用。内容涵盖第一章至第八章从Python基础语法、NumPy/Pandas数据处理与Matplotlib绘图开始逐步覆盖特征工程、分类、回归、聚类、降维及模型选择等核心算法并给出餐饮客户流失预测、客户价值分析、通信运营商客户流失预测等完整案例实战性强读者可基于真实数据复现代码流程。包内附带的泰迪科技产品体系图还能帮助了解大数据和人工智能在商务分析中的实际部署。目前已有676人下载学习适合学生、自学者和培训班学员快速积累实战经验。1. 拿到“源代码和实验数据”压缩包先把它当成一套可复现的实验教材很多人下载“Python机器学习编程与实战_源代码和实验数据.rar”这个压缩包时心里想的是“有代码了跑一遍就会了”。但真解压完对着几十个 .py 文件和一堆数据文件往往不知道该先点哪一个。这套资源的真正价值不在代码本身而在于“源代码实验数据”绑定在一起的形式书里每个算法的输出、每张图、每个精度指标你都有机会亲手重跑一遍。它适合三类人——自学机器学习但一直找不到干净数据集的期末或面试前想把经典算法快速过一遍的以及工作中想验证某个思路能不能跑通的。这篇笔记按“看懂包→搭环境→把数据送进模型→排坑→结合教材复习”的顺序写想直接抄作业可以跳到对应章节。2. 解压到跑通第一个脚本目录怎么看、环境怎么搭、先跑哪个2.1 先读目录别急着双击 .py解压后第一件事不是运行而是先花五分钟看清目录结构。这种“书配代码”的包目录组织一般很规矩按章节命名chapter01、chapter02或按算法命名decision_tree、svm、knn实验数据单独放在 data 或 datasets 目录里。用下面的命令看前两层目录。# 解压Windows 直接用 7-Zip 或 WinRAR 右键解压即可 unrar x Python机器学习编程与实战_源代码和实验数据.rar # 进入项目根目录 cd Python机器学习编程与实战 # 只列出目录前两层就足够判断结构了 find . -maxdepth 2 -type d | sort如果系统里没有 unrar 命令Debian/Ubuntu 下用 apt-get install unrarmacOS 用 brew install unrar。Windows 不装命令行工具也没关系压缩软件右键解压的效果完全一样。解压时注意两点路径里不要带中文和空格解压完先找有没有 README 或 requirements.txt。目录里常见的东西列个表方便你对号入座目录/文件常见内容你的操作data/ 或 datasets/CSV、Excel、图像子文件夹先看数据文件能不能用 pandas 读出来chapter01/ 等章节目录按章节组织的 .py 或 .ipynb按编号顺序运行不要随意跳tree/、svm/ 等算法目录按算法组织的实验代码和教材目录对照着学requirements.txt版本锁定文件有就先按它装环境README.md 或 readme.txt运行说明第一优先读的内容我的习惯是先找“带数据读取”的脚本而不是先找 hello.py 之类的演示脚本。因为数据读取那一步才能暴露编码、路径、环境三类问题hello.py 只能证明 Python 装好了证明不了这套实验包能跑。找到脚本后先打开看一眼 import 了哪些库心里有数再动手。2.2 用 conda 或 venv 把项目环境隔离出来python 安装教程搜出来一大把但你需要的不是“能运行 Python”而是一个“和这套代码兼容、且不污染系统环境”的 Python。这套包大概率是几年前写的直接用系统自带的 Python 3.11/3.12 跑很容易在 numpy 或 sklearn 这层翻车。我一般用 conda 单独建一个环境python 版本选 3.9兼容老代码和新语法之间比较稳的折中。# 创建并激活干净环境 conda create -n ml_book python3.9 -y conda activate ml_book # 核心依赖一次装齐 pip install numpy pandas scikit-learn matplotlib jupyter openpyxl前面几个包不用解释openpyxl 是给 pandas 读 Excel 用的实验数据里如果混着 .xlsx 格式就会用到它。没有 conda 的机器用 Python 自带的 venv 也一样python3 -m venv ml_book_env source ml_book_env/bin/activate # Windows 用 ml_book_env\Scripts\activate装完先验证版本重点看 numpy 和 sklearn 的大版本号python -c import numpy, sklearn, pandas; print(numpy.__version__, sklearn.__version__, pandas.__version__)这一步的用意是给后面所有实验一个稳定的“基准”哪天跑出来的结果和注释里不一样第一件事就是回来核对版本而不是怀疑代码写错了。用 VSCode 调试的话还要记得把解释器切到刚建的虚拟环境CtrlShiftP → Python: Select Interpreter否则终端里激活了界面里还是系统 Python这是环境错位最典型的表现排查起来相当隐蔽。2.3 跑通第一个“带数据”的脚本不要挑最简单的脚本跑挑第一个读取数据文件的脚本。路径一般在章节目录下比如cd chapter02 python 2_1_linear_regression.py跑通的标准不是“没有报错”而是屏幕上出现了训练过程的输出——loss 下降、R2 分数、混淆矩阵或保存好的图片文件。如果报 ModuleNotFoundError说明环境没激活退出重进如果报 FileNotFoundError八成是数据路径没对上往下看第 4 章。脚本里如果有if __name__ __main__:说明这个文件既可以独立运行也可以被 import运行入口就在这个 if 块里改代码时别去动文件中间的内容先看入口这里。如果一切正常你会看到类似这样的输出具体打印什么取决于脚本但至少要有数字或图表结果R2 score: 0.8735到这里“环境没问题、路径没问题、代码能跑”三个前提就都成立了。再往后值得花时间的问题就只剩下一个数据是怎么一步步变成这个数字的。这就进入第 3 章的内容。3. 实验数据怎么进模型从数据框到训练集的完整链路3.1 数据加载CSV、Excel、图像目录三种格式这套实验数据常见的载体有三种CSV 表格、Excel 表、图像文件夹。CSV 是主力用 pandas 的 read_csv 就能读。import pandas as pd # 实际文件名以解压出来的为准iris.csv 这类只是常见命名 df pd.read_csv(data/iris.csv, encodingutf-8) print(df.head()) # 先看前 5 行确认列名和数据类型 print(df.shape) # 行数和列数心里有个底注释里两个细节先 head 再 shape。head 能看出数据有没有读对shape 能告诉你训练集大概有多大。如果读进去发现中文列名乱码把 encoding 换成 gbk 或 gb18030这是实验数据最常踩的编码坑。Excel 数据用 read_excel前提是环境里装了 openpyxlxls pd.read_excel(data/features.xlsx, sheet_name0)sheet_name 可以传序号也可以传工作表名实验数据一般只有一张表传 0 就够了。图像数据不太一样它很少直接以“一张图”的形式进模型而是先转成数值数组from PIL import Image import numpy as np from glob import glob img_paths sorted(glob(data/images/*.jpg)) imgs [np.array(Image.open(p).convert(L)) for p in img_paths] # 转灰度 X np.array(imgs).reshape(len(imgs), -1) # 摊平成二维特征矩阵这里 convert(L) 是把图像转成灰度让每个样本变成二维矩阵再 reshape 成一维特征向量。如果手头是医学影像这类灰度图通常还要先做对比度增强再进模型直方图均衡化是这类实验数据最常见的预处理步骤代码包里如果有图像实验多半绕不开它。3.2 Series 和 DataFrame 的预处理三板斧类型、空值、标准化数据读进来只是第一步真正决定模型能不能学的是预处理。很多在线实验闯关里考的数据框、序列定义及数据处理应用拆开看也就是三板斧。第一板斧是类型。机器学习算法基本只认数值标签列和特征列都得是数字。字符串分类标签要转成编码df[label] df[label].astype(int) # 已经是数字但类型不对时 df[label] df[label].map({setosa: 0, versicolor: 1, virginica: 2}) # 字符串映射第二板斧是空值。实验数据里偶尔会为了模拟真实场景故意掺入缺失值# 看每个列有多少空值 print(df.isnull().sum()) # 数值列用均值填充类别列用众数填充 df[age] df[age].fillna(df[age].mean()) df[type] df[type].fillna(df[type].mode()[0])第三板斧是标准化。树模型不依赖特征尺度但距离类模型KNN、SVM 带核函数对尺度极其敏感年龄 0-100 和收入 0-100000 放在一起距离矩阵基本被收入列垄断。from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X) # 用 fit_transform 得到标准化后的特征矩阵StandardScaler 做的事情是“减均值、除以标准差”把每个特征都拉到均值为 0、方差为 1 的分布上。注意 fit_transform 只能用在训练集上测试集要用训练集拟合好的 scaler 去 transform否则会造成数据泄漏评估结果虚高。提示fit_transform 只用在训练集测试集一律用训练集拟合好的 scaler 做 transform这是新手最容易犯的“数据泄漏”会让模型评估失真。3.3 训练集划分与评估闭环一个可以直接换数据的模板数据预处理好之后剩下的实验流程非常固定划分训练测试集、选模型、训练、评估。我一般写成下面这种四段式。from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score, confusion_matrix X X_scaled # 上一步标准化后的特征 y df[label].values # 标签 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, # 30% 做测试集 random_state42, # 固定随机种子结果可复现 stratifyy # 按标签比例分层采样 ) clf DecisionTreeClassifier(max_depth3, random_state42) clf.fit(X_train, y_train) y_pred clf.predict(X_test) print(accuracy:, accuracy_score(y_test, y_pred)) print(confusion matrix:\n, confusion_matrix(y_test, y_pred))这里有两个参数要特别解释。random_state42 是把随机过程锁死否则每次跑出来的训练集、测试集划分都不一样实验结果当然对不上。stratifyy 是按标签比例做分层划分类别不平衡时尤其重要——比如 1000 个样本里只有 50 个正样本不分层的话测试集里可能一个正样本都没有。把这个模板跑通之后你已经掌握了这套代码包 80% 的使用方式剩下的所有实验无非是换数据、换模型、换评估指标。接下来真正有价值的事情是搞清楚坑在哪里。4. 跑源码必踩的坑编码、路径、版本这三个大黑匣子4.1 读数据乱码中文变成“锟斤拷”现象pd.read_csv 直接报 UnicodeDecodeError或者数据读进来了但列名、字符串列全是乱码。原因这套实验数据是多年前整理的保存时用的是 GBK 或 GB2312 编码和默认的 UTF-8 不一致。这种问题在代码包里出现的概率非常高几乎每个拿到老实验包的人都会撞上一次。解决按顺序试三种编码总有一种能读通。df pd.read_csv(data/some_data.csv, encodingutf-8) # 默认先试 df pd.read_csv(data/some_data.csv, encodinggbk) # 八成是它 df pd.read_csv(data/some_data.csv, encodinggb18030) # gbk 的超集兜底读通之后顺手把df.dtypes打出来看一遍乱码问题经常和类型问题一起出现。血的教训是不要因为读出来就跳过这一步后面模型报错往往能追溯到这里的隐性问题。4.2 sklearn 旧 API 报 ImportError现象from sklearn.cross_validation import train_test_split直接报 ModuleNotFoundError或者 model_selection 不存在。原因sklearn 在 0.20 版本把原先的 cross_validation 模块拆成了 model_selection老实验代码里按旧模块导入的写法自然失效。很多人会卡在这一步以为是自己环境没装好其实是 API 迁移了。解决把导入语句改成from sklearn.model_selection import train_test_split同一个文件里交叉验证相关的旧 APIcross_val_score 等也一起改。改完如果还报错在环境里直接查新 API 的参数签名python -c from sklearn.tree import DecisionTreeClassifier; print(DecisionTreeClassifier.__doc__) | head -30查文档比搜报错快因为老代码当年用的默认参数和现在的默认参数可能已经不是一回事了。4.3 相对路径失效明明有数据却报 FileNotFoundError现象在项目根目录运行脚本没问题进了子目录再跑就 FileNotFoundError。原因脚本里写死的 data/xxx.csv 是相对当前工作目录解析的不是相对脚本文件位置。在 chapter02 目录下运行Python 就去 chapter02/data/ 找文件自然找不到。解决最省事的办法是全程在项目根目录运行脚本里的 data/ 就能对上。如果想彻底解决在脚本开头加两行固定工作目录import os os.chdir(os.path.dirname(os.path.abspath(__file__)))这两行把当前目录切到脚本所在目录无论你在哪个路径下运行数据都能找到这是我最常给代码包加的头两行。排查时可以先跑一句python -c import os; print(os.getcwd())确认当前目录在哪再决定改哪个方向。4.4 结果和书里/注释里的数字对不上现象代码能跑通但精度、loss 和注释里写的差一截有时差 1%有时直接差 10%。原因随机种子没锁死、数据预处理顺序不同、sklearn 内部算法实现更新都可能造成偏差。说句实在话老代码在新版本 sklearn 上能得到一模一样的结果才是玄学大部分时候能对上趋势就不错了。解决先固定 random_state再核对数据是否标准化最后看模型默认参数有没有变。如果还是对不上就放弃“数字一致”看“趋势一致”——决策树深度从 3 加到 10训练精度上升测试精度下降这个趋势对不对比某个具体精度数字重要得多。做实验记录时把 numpy、sklearn 的版本号写进笔记这个数字对不上问题以后还能查。4.5 解压后文件损坏或脚本没有执行权限现象.rar 解压到一半报错或者 Linux 下运行 .py 提示 Permission denied。原因下载传输过程中文件损坏或者解压工具版本太老。Linux 下脚本没有执行权限也常见但 .py 本来就不需要执行权限。解决先排除解压工具问题更新到 7-Zip 最新版或 unrar 最新版再解压一次。损坏的话重新下载并对比文件大小压缩包不要放网盘同步目录OneDrive、坚果云这类同步锁文件会让解压半路失败。Linux 下运行直接python 脚本.py就行不要 chmod x那不是问题所在改权限反而引入新变量。5. 结合周志华《机器学习》和期末复习把这套包用出教材效果5.1 按算法章节重排实验顺序这套代码包里通常有十几个实验单看名字容易被牵着走。我的建议是不要按包内编号学而是按教材的章节结构重排——周志华《机器学习》是很多学校课程的标准参考书机器学习算法围着它的章节走逻辑最顺。教材章节对应实验类别你的动作决策树第4章tree/ 目录下的分类实验调 max_depth观察过拟合现象神经网络第5章MLP 或深度学习实验先跑通再改隐藏层单元数支持向量机第6章svm/ 目录下的实验换核函数对比线性与 RBF贝叶斯分类第7章朴素贝叶斯实验对比先验对结果的影响集成学习第8章随机森林/Adaboost 实验比较单模型与集成的差距排这个顺序的用意是每一章的实验都对应教材里一个核心概念。从 tree 实验开始就把“信息增益”“剪枝”“过拟合”这些知识点落到了代码上后面学 SVM 时就有了比较基准。实验代码跑完一遍不算完要能对着教材里的公式指出“这一步实现的是公式里的哪一项”这才算真正读懂了代码。5.2 用重跑实验的方式做期末复习西电、山东大学这类课程的机器学习期末很喜欢围绕“机器学习假设”出题比如线性回归假设特征和目标的关系是线性的、朴素贝叶斯假设特征相互独立。这些假设背起来很抽象但放到代码包里就是一个实验。拿决策树举例复现“深度对泛化性能的影响”这个知识点from sklearn.tree import DecisionTreeClassifier for depth in [1, 2, 3, 5, 10, 15]: clf DecisionTreeClassifier(max_depthdepth, random_state42) clf.fit(X_train, y_train) train_acc clf.score(X_train, y_train) test_acc clf.score(X_test, y_test) print(fdepth{depth:2d} train{train_acc:.3f} test{test_acc:.3f})跑完你会看到训练精度一路上升测试精度先升后降。这个“先升后降”就是过拟合的活证据比背书里的定义有用得多。类似地可以拿 SVM 实验把线性核换成 RBF 核观察决策边界变化也可以拿朴素贝叶斯实验把平滑参数拉大观察它对零概率的处理。考前把书翻一遍配合这套包重跑三五个关键实验比反复背公式见效快。这里推荐给自己做一个“闯关清单”式的复习第一关能独立读入数据并输出形状第二关能用模板训练一个模型并输出精度第三关能改一个参数并解释结果变化。每一关都对应代码包里的一个实验遇到不会的随时回头翻代码。这种复习方式我在带新人时用过很多次比刷十套往届题都稳因为它逼你从“看懂”走到“能改”。6. 进阶用法把源码包改造成你自己的机器学习实验框架当你跑完五六个实验会发现每个实验的骨架都差不多加载数据、预处理、划分、训练、评估、打印结果。这时候可以把重复部分抽成一个通用类以后新数据来了直接套。from sklearn.metrics import accuracy_score class MLExperiment: def __init__(self, X, y, model, seed42): X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.3, random_stateseed, stratifyy ) self.X_train, self.X_test X_train, X_test self.y_train, self.y_test y_train, y_test self.model model def run(self): self.model.fit(self.X_train, self.y_train) y_pred self.model.predict(self.X_test) return { train_acc: self.model.score(self.X_train, self.y_train), test_acc: accuracy_score(self.y_test, y_pred), }用法把所有实验统一成三行res MLExperiment(X_scaled, y, DecisionTreeClassifier(max_depth3)).run() print(res)想扩展的话在 run 方法里加一行把结果写进 CSV每次实验自动留档。这个改造带来的好处是长期的以后回溯“到底是哪个参数导致结果变化”时不需要翻一堆脚本翻一个结果文件就够了。我自己的血泪经验是早期偷懒不固定随机种子、不把评估函数统一结果每次改参数都要重跑一堆脚本还得手动记结果吃了不少亏。后来把种子固定、结果输出成 CSV回溯参数变化就快多了。这套源码包的价值不在代码本身而在于它逼你把每个实验都跑成“可复现的记录”养成这个习惯之后不管是应付期末还是做实际项目你都会比那些只读代码不跑实验的人快一步。希望帮到你。本文还有配套的精品资源点击获取