简介这份资源面向具备一定Python基础、希望进入金融数据分析领域的开发者与量化投资初学者围绕股票大数据场景系统串联爬虫采集、数据预处理、统计分析与机器学习预测等核心环节帮助读者建立从数据获取到策略验证的完整实战思路。压缩包为7z格式整体约4.47MB包内文件类型以Python脚本、示例数据与配套说明文档为主脚本可直接运行调试数据文件便于复现实验文档则用于梳理关键知识点与实现逻辑。目前已有3642人学习下载具备一定的参考热度。内容覆盖BeautifulSoup、Scrapy等爬虫框架的实战用法Pandas数据清洗与格式统一NumPy、SciPy的统计计算以及Matplotlib、Seaborn的K线图与波动性可视化同时引入Scikit-learn中的线性回归、决策树、随机森林等模型并涉及Tushare、Wind实时数据接口与Flask、Django结果部署适合边学边练、逐步搭建个人股票分析流程。1. 股票大数据分析 Python 实战从数据获取到策略回测的完整链路很多人第一次接触股票大数据分析是从一段几十行的 Python 代码开始的拉数据、算均线、画个图感觉不过瘾于是想加因子、加回测、加实时更新结果一上规模就翻车——接口限流、内存爆掉、回测结果和实盘对不上。这个标题讲的不是用 Python 画 K 线而是把股票数据从采集、清洗、存储、因子计算到策略回测串成一条能跑起来的工程链路。它适合两类人一类是会用 pandas 但没做过完整数据管道的开发者另一类是有交易想法、想把想法变成可验证代码的从业者。核心难点不在算法而在数据质量和工程细节这也是后面几章要重点拆的部分。2. 数据层股票大数据从哪里来、怎么存、怎么保证不脏2.1 数据源选型免费接口、本地文件与数据库的分工做股票大数据分析第一步不是写策略而是想清楚数据从哪来。常见做法是分三层日线/分钟线历史数据用本地文件或数据库落盘实时行情用推送接口财务和基本面数据单独存一张表。免费数据源里akshare、tushare 这类库覆盖了大部分 A 股日线和部分分钟线适合个人和小团队起步如果要做高频或全市场 tick 级分析就得考虑付费数据源或券商接口。选型时重点看三个指标单次请求能拿多少条、每天调用次数上限、字段是否包含复权信息。很多人忽略复权导致回测时除权日出现巨大跳空策略信号完全失真。我一般会在数据入库时就同时存原始价和前复权价用一列adj_factor记录复权因子后续计算因子时统一用前复权价。存储方面日线数据量小CSV 或 Parquet 就够分钟线全市场一天约几百万行建议用 Parquet 按日期分区或者直接上 ClickHouse、DuckDB 这类列式数据库。下面是一个用 akshare 拉日线并落盘 Parquet 的最小示例import akshare as ak import pandas as pd from pathlib import Path # 拉取单只股票前复权日线start_date/end_date 格式 YYYYMMDD df ak.stock_zh_a_hist( symbol000001, perioddaily, start_date20200101, end_date20241231, adjustqfq # qfq前复权hfq后复权空不复权 ) # 统一列名方便后续多源合并 df df.rename(columns{ 日期: date, 开盘: open, 收盘: close, 最高: high, 最低: low, 成交量: volume, 成交额: amount, 换手率: turnover }) df[date] pd.to_datetime(df[date]) df df.sort_values(date).reset_index(dropTrue) # 按股票代码分区存储Parquet 压缩比高、读取快 out_dir Path(data/daily) out_dir.mkdir(parentsTrue, exist_okTrue) df.to_parquet(out_dir / 000001.parquet, indexFalse) print(df.tail())这段代码的关键参数是adjust它决定价格是否复权。回测必须用前复权否则除权除息日会出现假信号。period可选 daily、weekly、monthly分钟线要用另外的接口。落盘用 Parquet 而不是 CSV是因为 Parquet 带 schema、压缩率高几百万行读取速度差距明显。2.2 数据清洗缺失值、停牌与涨跌停的处理边界原始数据拿到手不能直接进因子计算。股票数据有三类脏停牌导致的缺失、涨跌停导致的不可交易、以及接口偶发的重复行。停牌期间没有成交价格是空的如果直接fillna(methodffill)会把停牌前的价格延续到复牌回测时会产生虚假成交。正确做法是保留停牌标记在回测撮合时跳过这些日期。涨跌停的处理更微妙。涨停时买不进、跌停时卖不出如果回测不考虑这个约束策略收益会被高估。常见做法是在信号生成后加一层过滤当日涨停且信号为买入时推迟到下一交易日跌停且信号为卖出时同理。下面是一个清洗和标记的片段import numpy as np # 标记停牌成交量为 0 或价格为 NaN df[is_suspended] (df[volume] 0) | (df[close].isna()) # 计算涨跌停以昨日收盘为基准±10% 为阈值ST 股为 ±5% df[prev_close] df[close].shift(1) df[limit_up] df[close] df[prev_close] * 1.099 df[limit_down] df[close] df[prev_close] * 0.901 # 缺失值只对价格做前向填充但保留 is_suspended 标记 df[close] df[close].ffill() df[open] df[open].ffill() # 删除仍然缺失的行通常是上市首日 df df.dropna(subset[close, open]).reset_index(dropTrue)这里1.099和0.901留了一点余量避免浮点误差漏判。ST 股阈值不同需要单独维护一张股票状态表。清洗后的数据要落一份带标记的版本回测时直接读不要每次重算。2.3 用 Parquet DuckDB 做本地大数据查询当股票数量到几千只、时间跨度到十年pandas 全量读入会吃满内存。这时候可以用 DuckDB 直接查 Parquet 文件不用把数据全部加载到内存。DuckDB 支持 SQL和 pandas 互转方便适合做因子计算前的聚合。import duckdb con duckdb.connect() # 直接查询 Parquet 目录自动识别分区 query SELECT date, symbol, close, volume FROM read_parquet(data/daily/*.parquet) WHERE date 2023-01-01 AND symbol IN (000001, 600000) ORDER BY date, symbol df con.execute(query).fetchdf() print(df.shape)read_parquet支持通配符DuckDB 会并行读取多个文件。如果数据按日期分区查询时带上日期条件能大幅减少扫描量。这个方案在单机上处理千万行级别数据足够用再往上就要考虑 Spark 或 ClickHouse 集群。3. 因子计算用 pandas 和 NumPy 把原始行情变成可回测的信号3.1 动量、波动率与均线因子的向量化写法因子计算最怕写 for 循环。pandas 和 NumPy 的向量化操作能把计算速度提升几十倍。以动量因子为例常见定义是过去 N 日收益率用pct_change一行搞定。波动率用滚动标准差均线用rolling().mean()。下面是一个批量计算多因子的函数import pandas as pd import numpy as np def compute_factors(df, windows(5, 10, 20, 60)): df 需包含 date, close, volume 列按 date 升序 返回原 df 加上各因子列 df df.sort_values(date).reset_index(dropTrue) ret df[close].pct_change() for w in windows: # 动量过去 w 日累计收益 df[fmom_{w}] df[close].pct_change(w) # 波动率过去 w 日收益率标准差年化 df[fvol_{w}] ret.rolling(w).std() * np.sqrt(252) # 均线偏离收盘价 / w 日均线 - 1 ma df[close].rolling(w).mean() df[fma_bias_{w}] df[close] / ma - 1 # 成交量因子量比 df[vol_ratio_5] df[volume] / df[volume].rolling(5).mean() return dfwindows参数控制因子周期短周期捕捉反转长周期捕捉趋势。np.sqrt(252)是年化系数A 股一年约 242 个交易日用 252 是行业惯例差异不大。计算完要检查前max(windows)行是否有 NaN回测时要么丢弃要么用截面中位数填充。3.2 因子标准化与去极值截面处理的三个必调参数单只股票算完因子还不够多股票回测需要做截面处理。核心三步去极值、标准化、中性化。去极值常用 MAD 法把超过中位数 ±N 倍 MAD 的值拉回边界标准化用 z-score中性化是剔除市值和行业影响避免因子收益被风格暴露污染。def winsorize_mad(series, n3): MAD 去极值n 控制边界宽度常用 3 或 5 median series.median() mad (series - median).abs().median() upper median n * 1.4826 * mad lower median - n * 1.4826 * mad return series.clip(lower, upper) def standardize(series): z-score 标准化 return (series - series.mean()) / series.std() # 按日期分组做截面处理 df[factor_clean] df.groupby(date)[mom_20].transform( lambda x: standardize(winsorize_mad(x, n3)) )n3是经验值因子分布厚尾严重时可以放宽到 5。1.4826是 MAD 到标准差的转换系数让边界和正态分布可比。中性化需要市值和行业数据一般用回归取残差这一步计算量大建议单独跑批并缓存。3.3 因子有效性检验IC、IR 与分层回测因子算完不能直接上策略要先检验它有没有预测能力。最常用的是 IC信息系数即因子值和未来收益的截面相关系数。IC 均值高、IRIC 均值 / IC 标准差大于 0.5说明因子相对稳定。分层回测是把股票按因子值分 5 组看多空收益差是否单调。# 假设 df 有 date, symbol, factor_clean, next_ret 列 ic df.groupby(date).apply( lambda x: x[factor_clean].corr(x[next_ret], methodspearman) ) print(IC 均值:, ic.mean(), IR:, ic.mean() / ic.std()) # 分层按因子值分 5 组 df[group] df.groupby(date)[factor_clean].transform( lambda x: pd.qcut(x, 5, labelsFalse, duplicatesdrop) ) layer_ret df.groupby([date, group])[next_ret].mean().unstack() print(layer_ret.cumsum().tail())next_ret是下一期收益计算时要注意用复权价并且避开涨跌停无法成交的样本。IC 用 Spearman 而不是 Pearson是因为因子和收益的关系往往非线性。分层收益如果单调性差说明因子可能只在特定市场环境下有效需要加条件过滤。4. 回测引擎自己写还是用框架撮合逻辑怎么定4.1 向量化回测与事件驱动回测的取舍回测引擎分两类向量化和事件驱动。向量化回测用 pandas 一次性算完所有信号和收益速度快适合因子研究和参数扫描事件驱动回测逐笔模拟撮合能处理滑点、手续费、部分成交适合策略上线前的最终验证。个人做股票大数据分析建议先用向量化快速筛因子再用事件驱动复核。向量化回测的核心是把信号 shift 一期避免未来函数。下面是一个最小向量化回测def vector_backtest(df, signal_col, fee0.0003, slippage0.001): df 需包含 date, close, signal_col signal 为 1 表示持有0 表示空仓 df df.sort_values(date).reset_index(dropTrue) # 信号下一期生效 df[position] df[signal_col].shift(1).fillna(0) # 日收益 df[ret] df[close].pct_change().fillna(0) # 扣除交易成本仓位变化时收取 df[trade] df[position].diff().abs().fillna(0) df[cost] df[trade] * (fee slippage) df[strategy_ret] df[position] * df[ret] - df[cost] df[nav] (1 df[strategy_ret]).cumprod() return dffee和slippage是必调参数A 股佣金约万三滑点按千一估算偏保守。position用 shift(1) 是关键否则当天收盘信号当天成交回测收益虚高。这个引擎不支持加仓减仓只适合 0/1 仓位策略。4.2 手续费、滑点与停牌撮合的工程实现事件驱动回测要模拟得更细。手续费分佣金、印花税、过户费卖出时印花税千一。滑点可以用固定值也可以用成交量的函数。停牌和涨跌停的撮合规则前面提过这里给一个简化的撮合函数def match_order(order, bar, fee_rate0.0003, slippage0.001): order: {symbol, side, price, size} bar: 当日行情含 open/high/low/close/volume/is_suspended/limit_up/limit_down 返回成交价和成交量未成交返回 None if bar[is_suspended]: return None if order[side] buy and bar[limit_up]: return None if order[side] sell and bar[limit_down]: return None # 以开盘价加滑点成交 exec_price bar[open] * (1 slippage) if order[side] buy \ else bar[open] * (1 - slippage) # 成交量不超过当日成交量的 10%避免冲击成本低估 max_size bar[volume] * 0.1 exec_size min(order[size], max_size) cost exec_price * exec_size * fee_rate return {price: exec_price, size: exec_size, cost: cost}这个函数把停牌、涨跌停、滑点、成交量约束都考虑进去了。max_size限制单笔不超过当日成交量的 10%是防止回测假设自己能吃掉全部流动性。实盘里大单还会拆分回测阶段先按这个保守估计。4.3 回测结果怎么看夏普、最大回撤与换手率回测跑完不能只看总收益。夏普比率衡量单位风险的收益最大回撤反映最坏情况换手率决定成本敏感度。三个指标要一起看夏普大于 1 算不错最大回撤超过 30% 要谨慎换手率高的策略对滑点极其敏感。def performance(df, rf0.02): df 需包含 strategy_ret 列按日频 ret df[strategy_ret] ann_ret (1 ret).prod() ** (252 / len(ret)) - 1 ann_vol ret.std() * np.sqrt(252) sharpe (ann_ret - rf) / ann_vol nav (1 ret).cumprod() drawdown (nav / nav.cummax() - 1).min() turnover df[trade].sum() / len(df) * 252 return { 年化收益: round(ann_ret, 4), 年化波动: round(ann_vol, 4), 夏普: round(sharpe, 2), 最大回撤: round(drawdown, 4), 年化换手: round(turnover, 2) }rf是无风险利率用 2% 估算。年化收益用几何平均波动用算术标准差乘 sqrt(252)。最大回撤是净值除以历史最高净值减一的最小值。换手率用每日仓位变化绝对值求和年化数值越高手续费侵蚀越严重。5. 避坑与排查股票大数据分析里最容易翻车的五件事5.1 未来函数回测收益虚高的头号原因现象回测曲线漂亮实盘一上就亏。原因用了当天收盘价生成信号又用当天收盘价成交或者因子计算里混入了未来数据。解决所有信号统一 shift 一期因子计算只用历史窗口检查rolling和shift的方向。用df[signal].shift(1)是最低要求涉及财务数据时还要注意公告日期不能用报告期直接对齐。5.2 复权处理不一致除权日出现假信号现象某天价格突然跌 30%策略触发卖出但实际是除权。原因部分数据用不复权价部分用前复权价或者复权因子更新不及时。解决全链路统一用前复权价入库时存一份adj_factor每次拉新数据后重新计算复权价。回测和因子计算读同一份数据不要混用。5.3 内存溢出全市场分钟线一次读入现象跑全市场分钟线时进程被 kill。原因pandas 默认把整个 Parquet 读进内存几千万行直接爆。解决用 DuckDB 或 PyArrow 按需读取加日期和股票过滤条件或者分股票循环处理每次只读一只。如果必须全量用dtype指定更小的类型比如float32代替float64。5.4 接口限流批量拉数据被中断现象拉几百只股票时中途报错部分数据缺失。原因免费接口有每日调用上限或者请求频率过高被临时限制。解决加time.sleep控制频率用 try/except 捕获异常并记录失败列表下次续拉。把已拉取的数据落盘不要每次从头开始。常见做法是维护一个进度文件记录每只股票的最后更新日期。5.5 回测与实盘差异滑点和流动性被低估现象回测年化 30%实盘只有 10%。原因回测假设按收盘价全额成交没考虑滑点和成交量限制。解决回测时加滑点单笔成交量不超过当日成交量的 5%10%小市值股票要更保守。实盘前用小资金跑一段时间对比回测和实际的成交价差反过来修正滑点参数。6. 把回测跑得更快用多进程和缓存把全市场因子计算压到十分钟内全市场几千只股票、十年日线单进程算因子可能要半小时以上。我一般用两个手段加速多进程和中间结果缓存。多进程用concurrent.futures.ProcessPoolExecutor按股票分组并行缓存把清洗后的数据存成 Parquet因子计算结果也落盘避免重复计算。from concurrent.futures import ProcessPoolExecutor from pathlib import Path import pandas as pd def process_one(symbol): 单只股票读数据 - 算因子 - 返回 df pd.read_parquet(fdata/daily/{symbol}.parquet) df compute_factors(df) df.to_parquet(fdata/factors/{symbol}.parquet, indexFalse) return symbol symbols [p.stem for p in Path(data/daily).glob(*.parquet)] with ProcessPoolExecutor(max_workers8) as ex: for sym in ex.map(process_one, symbols): print(done, sym)max_workers设为 CPU 核数IO 密集时可以适当调大。每只股票独立落盘后续回测按需读取不用全量加载。如果因子计算涉及截面处理就不能按股票并行要改成按日期并行先算完所有股票的原始因子再按日期分组做标准化。另一个技巧是用pd.read_parquet的columns参数只读需要的列减少 IO。因子计算完做一次df.memory_usage(deepTrue)检查把int64降成int32、float64降成float32内存能省一半。这些细节看起来小但全市场跑起来差距很大。我自己的习惯是每次改因子或回测逻辑先拿 10 只股票跑通确认没有未来函数和复权问题再上全市场。回测结果和实盘对不上时先查数据再查撮合最后才怀疑策略。这套流程帮我省了很多后悔药。希望帮到你。本文还有配套的精品资源点击获取
