简介这份压缩包提供了一套基于长短期记忆网络LSTM的股票涨跌幅预测项目适合机器学习、量化投资方向的学生与开发者用来参考完整的建模流程。项目将股票价格预测转化为多维函数拟合问题对涨跌幅度进行多值量化分类并以历史交易信息作为特征输入训练网络整体思路清晰便于迁移到其他金融时序场景。包内共31个文件以Python脚本为核心7个py文件另含配套的pyc编译文件、模型存档pkl、数据文件csv、可视化结果png、项目配置xml以及说明文档整体仅551KB轻量易用适合快速下载与本地复现。针对上证50ETF代码510050的真实行情数据进行了实验能够验证LSTM在单纯涨跌方向预测上的效果实验结论对短线分类策略有一定参考价值。已有1217人学习下载对于希望快速入手时序预测或复现股票分类实验的读者可直接运行代码并结合目录结构理解数据、模型与结果的组织方式节省自己整理环境与调试的时间。1. 当“基于 LSTM”成为一句话时真正要回答的是序列建模的四个问题写论文时在方法段落写一句“使用了基于 LSTM 的模型”很容易但从评审角度和复现角度看这句话背后至少藏着四个待回答的问题输入数据怎么切成长度为多少的滑动窗口、遗忘门的初始状态如何设置、网络层数和隐藏单元数如何与数据规模匹配、模型输出取最后一个时间步还是做多步递归。这些决策直接决定实验能否复现也决定预测曲线是平滑还是抖动。这篇内容不讨论 LSTM 论文原文的公式推导而是把它放在时间序列预测 Python 工程的语境下讲清从数据预处理到模型调参、再到验证判断的完整路径。目标读者是正在复现论文或做时序项目的工程师无论用 PyTorch 还是 TensorFlow核心结论都成立。2. LSTM 遗忘门的输入与状态传递机制2.1 遗忘门的输入数据x_t、h_{t-1} 与 c_{t-1} 如何拼接很多人刚接触 LSTM 时会误解遗忘门只看到当前输入 x_t 和上一个隐藏状态 h_{t-1}实际上标准实现里它同时接收三者。在 PyTorch 的nn.LSTM源码中门控计算是隐含的但如果你去对照 LSTM 原文的结构图可以看到遗忘门公式为f_t σ(W_f · [h_{t-1}, x_t] b_f)这里的[h_{t-1}, x_t]表示把上一时刻隐藏状态与当前输入拼接成一个向量再乘遗忘门权重矩阵。c_{t-1}不直接进入遗忘门它是在门控输出后参与状态更新的乘法操作。如果用 PyTorch 手动写一个 LSTM Cell 来观察输入张量形状是(batch, input_size hidden_size)恰好对应拼接后的维度。# python import torch import torch.nn as nn torch.manual_seed(0) batch, input_size, hidden_size 2, 4, 8 x torch.randn(batch, input_size) # 当前时刻输入 h_prev torch.randn(batch, hidden_size) # 上一时刻隐藏状态 combined torch.cat([x, h_prev], dim1) # 拼接形状为 (batch, 12) forget_proj nn.Linear(input_size hidden_size, hidden_size) f_t torch.sigmoid(forget_proj(combined)) print(f_t.shape) # torch.Size([2, 8])这段代码说明遗忘门的输入本质上是“当前输入和上一时刻隐藏状态的拼接”而不是两路独立分支。参数数量上一个单层 LSTM 的遗忘门权重矩阵形状为(hidden_size, input_size hidden_size)偏置形状为(hidden_size,)。实际使用中很少需要手写这个单元但理解拼接方式有助于排查梯度异常。例如当input_size是 200、hidden_size是 256 时仅遗忘门的线性层就有256 * 456 256 117, 064个参数四个门加起来接近 47 万。如果数据量只有几千条模型容量已经溢出这就是为什么调参的第一件事是压hidden_size而不是加层数。2.2 状态初始化与序列切断的边界条件遗忘门输入中还有一个容易忽略的变量初始状态。PyTorch 的nn.LSTM不传h_0和c_0时会默认全零初始化这在短序列上影响不大但如果序列长度超过几百步全零初始状态会让前几个时间步的输出明显偏低。实践中常见做法是把序列切成seq_len24或seq_len48的窗口每次窗口开头都重新置零。这意味着窗口长度决定了模型能“记住”多远的历史。注意这个记忆距离不是seq_len本身而是反向传播时梯度有效流动的距离。LSTM 对梯度消失有缓解但不代表 100 步以上还能稳定学习长期依赖。如果训练数据本身是连续的长序列我一般会在切窗口时让相邻窗口保留重叠部分而不是完全割裂# python def sliding_windows(data, seq_len24, step1): xs, ys [], [] for start in range(0, len(data) - seq_len, step): end start seq_len xs.append(data[start:end]) ys.append(data[end]) return torch.stack(xs), torch.stack(ys)参数step控制相邻窗口的重叠程度。step1时数据利用率最高但相邻样本几乎相同容易造成过拟合stepseq_len时每个样本完全独立数据量骤减。我一般取stepseq_len//2让训练集有适度重叠又避免信息冗余。2.3 单向 LSTM 的因果约束与双向结构的代价“单向 lstm”这个词常出现在论文里用于强调因果性。在时间序列预测中如果任务是用过去预测未来必须使用单向结构因为双向 LSTM 会让模型看到未来信息。如果用双向结构做单步预测Leakage 会直接抬高验证集指标但实盘部署时无法复现。判断方法很简单训练完成用前t步预测t1时推理网络里不能有任何来自t1时刻的输入。PyTorch 的bidirectionalTrue在训练时会把反向 LSTM 的隐藏状态拼接到输出上但预测阶段并没有未来数据这就导致训练推理不一致。双向 LSTM 真正适合的是“同一个序列整体已知”的任务比如文本分类、语音识别中的整句建模。在时间序列预测场景中只有当你在做窗口内部的序列标注例如对过去 24 小时逐点分类是否异常时双向结构才合理。这也是标题里出现“单向 lstm”这个热词时值得点破的一层很多人不是不可以用双向而是用错了地方。3. 用 PyTorch 实现 LSTM 时间序列预测的最小可运行工程3.1 数据归一化与滑动窗口构造LSTM 对输入特征的尺度非常敏感。原始序列如果是温度、股价或流量这类数值通常要先做归一化。常见有两种做法MinMaxScaler 把数据压到 [0,1]或者 StandardScaler 转为零均值单位方差。对于有界物理量MinMax 更合适对于长尾分布Standard 更稳。归一化必须先在整个训练集上拟合再分别转换训练集和测试集不能用测试集信息做归一化否则会造成轻微的数据泄漏。# python import numpy as np import torch from sklearn.preprocessing import MinMaxScaler raw np.sin(np.linspace(0, 20 * np.pi, 1000)) np.random.randn(1000) * 0.05 scaler MinMaxScaler(feature_range(0, 1)) data scaler.fit_transform(raw.reshape(-1, 1)).flatten() seq_len, horizon 24, 1 xs, ys [], [] for i in range(len(data) - seq_len - horizon 1): xs.append(data[i:i seq_len]) ys.append(data[i seq_len:i seq_len horizon]) xs torch.tensor(xs, dtypetorch.float32).unsqueeze(-1) # (样本数, 24, 1) ys torch.tensor(ys, dtypetorch.float32)这段代码把 1000 个点的一维序列切成(973, 24, 1)的输入张量和(973, 1)的标签张量。unsqueeze(-1)是为了符合 LSTM 对input_size维度的要求。这里input_size1表示单变量如果有多维特征需要把特征堆叠到最后一维后文会说。horizon1表示只预测下一步如果要做多步预测标签至少调整为(样本数, horizon)。3.2 LSTMForecaster 模型定义与训练循环模型定义的核心是把 LSTM 的输出取最后一个时间步再接一个线性层映射到预测值。nn.LSTM默认返回三个东西全部时间步的输出out、最后时刻的隐藏状态(h_n, c_n)。做单步预测时取out[:, -1, :]即可做序列标注或缺值填补时才需要用到全部时间步的输出。# python import torch.nn as nn class LSTMForecaster(nn.Module): def __init__(self, input_size, hidden_size, num_layers, output_size, dropout0.0): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropoutdropout ) self.regressor nn.Linear(hidden_size, output_size) def forward(self, x): out, _ self.lstm(x) # out: (batch, seq_len, hidden_size) last_step out[:, -1, :] # 取最后一个有效时间步 return self.regressor(last_step)训练循环直接使用 MSE 损失优化器选 Adam学习率从 1e-3 起步。这里有几个参数要注意batch_firstTrue让输入张量的维度顺序是(batch, seq_len, input_size)这样在构造数据时更直觉dropout只在num_layers 1时生效单层 LSTM 设 dropout 不会报错但也没有效果。# python def train_model(model, xs, ys, epochs200, lr1e-3): optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.MSELoss() dataset torch.utils.data.TensorDataset(xs, ys) loader torch.utils.data.DataLoader(dataset, batch_size64, shuffleTrue) for epoch in range(epochs): for xb, yb in loader: pred model(xb) loss loss_fn(pred, yb) optimizer.zero_grad() loss.backward() optimizer.step() if (epoch 1) % 50 0: print(fepoch {epoch 1}, loss {loss.item():.4f})shuffleTrue会打乱样本顺序这在这里是合理的因为每个样本已经是固定长度的窗口窗口内部的时间顺序没有被打乱。如果把原始序列整体随机打乱再切窗口时间顺序被破坏LSTM 就学不到任何序列依赖。3.3 训练过程中需要监控的三个信号第一个信号是 loss 曲线是否在头 50 个 epoch 内从初始值明显下降。如果 loss 完全不降优先检查归一化是否完成、学习率是否过大导致梯度爆炸。第二个信号是训练集和验证集的 loss 差距差距持续大于一个数量级时要降低hidden_size或增加dropout。第三个信号是预测曲线是否出现严重的“滞后”即预测值几乎是上一个时刻的真实值平移。这种情况下模型没有学到动态规律只是学了一个恒等映射常见原因是序列本身随机性太强或seq_len太短。4. 超参数选择与调优hidden_size、num_layers 与单向双向4.1 参数组合的合理区间与选择逻辑输入数据量决定了超参上限。一个经验数值是LSTM 的可训练参数约等于(input_size hidden_size) * hidden_size * 4 * num_layers。以hidden_size128、num_layers2、input_size1计算单层参数约 6.6 万两层接近 19 万。如果训练集只有 1000 条样本这个容量明显过大。下表是常见场景下的参数起点实际使用时先按表中跑一个基准再逐步调大数据量hidden_sizenum_layersdropout学习率 2000 条16 ~ 3210.01e-32000 ~ 20000 条32 ~ 641 ~ 20.0 ~ 0.21e-320000 ~ 200000 条64 ~ 12820.21e-3 200000 条128 ~ 2562 ~ 30.2 ~ 0.35e-4建议按这个顺序初始化训练 100 个 epoch 后比较 loss。如果验证 loss 不再下降不要盲目加层数。num_layers每增加一层反向传播路径就加长一截训练难度非线性上升。hidden_size的增大对训练时间的提升是线性的但容易过拟合。实际调参中我通常固定hidden_size搜索学习率再用固定学习率搜索hidden_size最后才碰num_layers。4.2 从推理效率角度比较单向与双向 LSTM单向 LSTM 在推理时有一个优势隐藏状态可以流式更新。也就是说不需要一次性输入完整序列可以逐步输入当前观测值并更新h_t和c_t这种方式在边缘设备上很友好。PyTorch 中可以通过手动保存h_n和c_n实现增量预测# python model LSTMForecaster(input_size1, hidden_size32, num_layers1, output_size1) model.eval() h torch.zeros(1, 1, 32) # (num_layers, batch, hidden_size) c torch.zeros(1, 1, 32) def step_predict(model, x_t, h, c): x_t x_t.view(1, 1, 1) _, (h, c) model.lstm(x_t, (h, c)) return model.regressor(h[-1]), h, c这里h[-1]取最后一层的隐藏状态因为单层 LSTM 只有一层。如果num_layers2h的第一维是 2不能再用h[-1]代替整体状态。注意在增量预测模式下h和c必须在预测过程中持续传递Session 断开时必须重新初始化。这是单向 LSTM 与双向结构最大的工程差异双向结构无法做到这一点因为反向传播的隐藏状态需要看到未来的输入。4.3 学习率与序列长度之间的联动序列长度seq_len对 LSTM 的影响被很多人低估。它直接决定了展开的计算图深度。seq_len24时反向传播要穿过 24 个时间步seq_len120时计算图深度是 120 层。虽然 LSTM 的门控机制缓解了梯度消失但梯度幅值依然会随时间步衰减。这意味着序列越长有效学习率越低训练时需要适当提高学习率或使用梯度裁剪。# python torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)梯度裁剪并不是防御所有情况它只是限制梯度的 L2 范数不超过max_norm。当seq_len从 24 增加到 96 时我一般会把max_norm从 5.0 降到 1.0同时把学习率从 1e-3 降到 5e-4。如果不做这个调整训练后期的 loss 容易出现周期性尖峰这是梯度在长序列上累积后突然越过陡峭区域的典型表现。5. 多维特征输入与多步预测的实现细节5.1 多变量输入时的张量构造与特征对齐前面代码里的input_size1对应单变量预测。如果需要用过去的气温、湿度、风速预测未来气温输入张量的最后一个维度就是特征数。特征在构造窗口前要分别归一化每一列单独做一个 scaler。需要注意特征之间的量纲差异归一化后的数据还会影响 LSTM 输出的可解释性。# python multi np.column_stack([temp, humid, wind]) # 形状 (N, 3) multi_scaled np.zeros_like(multi) for col in range(multi.shape[1]): scaler MinMaxScaler() multi_scaled[:, col] scaler.fit_transform(multi[:, col:col1]).flatten() seq_len 24 xs, ys [], [] for i in range(seq_len, len(multi_scaled) - 1): xs.append(multi_scaled[i - seq_len:i]) # 窗口内全部特征 ys.append(multi_scaled[i, 0]) # 预测第一个特征 xs torch.tensor(xs, dtypetorch.float32) # (N, 24, 3) ys torch.tensor(ys, dtypetorch.float32).view(-1, 1)多变量输入时有一个常被忽略的问题预测目标如果也做了归一化最终预测值需要逆变换回原始尺度。如果预测目标是第一个特征逆变换时要用第一个特征的 scaler不能使用整个矩阵的 scaler。验证集评估也必须在逆变换后的原始尺度上计算 RMSE否则指标会失真。5.2 多步预测的递归式与直接式两种写法horizon大于 1 时有两种主流策略。递归式预测把上一步的输出作为下一步的输入代码实现简单但误差会随着步长累积预测后期曲线通常趋于平滑甚至“退相”。直接式预测为每个预测步训练一个独立模型或一个多输出头误差不累积但训练成本倍增且依赖多个预测步之间的相关性。# python def recursive_predict(model, window, steps24): # window: (1, seq_len, input_size) model.eval() preds [] cur window.clone() with torch.no_grad(): for _ in range(steps): p model(cur) # (1, output_size) preds.append(p) next_input torch.cat([cur[:, 1:, :], p.unsqueeze(1)], dim1) cur next_input return torch.cat(preds, dim1)递归式预测的next_input构造方式是把窗口丢掉最早的一步拼上最新预测。这个操作要从维度上想清楚cur[:, 1:, :]去掉时间步维度的第一个位置p.unsqueeze(1)把预测值变成(1, 1, input_size)的形状两者在第 1 维上拼接后窗口长度保持seq_len不变。实际操作中预测值p的维度必须和输入特征数一致如果p只包含一个维度的预测而输入有三个特征拼接就会报错。这种情况下只能循环填充第一个特征其他特征用最后一个已知值或辅助模型预测。5.3 训练与推理不一致的“状态断裂”问题在多步预测中还有一种常见的状态断裂现象训练时模型每一步都接收真实历史值作为输入这段训练过程中预测持续进行时第一步用了真实值第二步却要把第一步的预测值接进来这个分布差异会放大误差。缓解手段是在训练中按概率随机替换部分历史输入为模型自己的预测这个技巧通常被称为计划采样Scheduled Sampling。PyTorch 中一种极简实现是# python teacher_forcing_ratio 0.5 if random.random() teacher_forcing_ratio: decoder_input target[:, step - 1:step] # 用真实值 else: decoder_input pred.detach() # 用模型预测detach()必须加上否则预测值会继续携带梯度导致学习信号在时间步之间来回纠缠。这个技巧能显著提升多步预测稳定性的占 20 到 30 个百分点但会拖慢收敛速度。是否需要使用取决于应用端是否必须做滚动预测。6. 训练完成后用 LSTM 梯度与对照实验验证序列规律模型训练完先别急着看测试集指标可以先做一个轻量级验证只训练一个 epoch把验证批次的梯度范数打出来确认梯度没有在某个时间步突然变为 0 或 NaN。做法是在loss.backward()之后、optimizer.step()之前记录每个参数张量的梯度范数# python def log_grad_norm(model): total_norm 0.0 for p in model.parameters(): if p.grad is not None: param_norm p.grad.detach().norm(2) total_norm param_norm.item() ** 2 return total_norm ** 0.5梯度范数稳定在 0.01 到 10 之间通常正常如果大于 100检查学习率和seq_len如果趋近于 0说明模型根本没有学习信号常见原因是目标值没有做归一化。之后再做一个对照实验把训练数据的时间顺序整体随机打乱重新训练同样结构的 LSTM。如果乱序版模型的验证集 loss 与正常训练版几乎一样说明模型根本没有学到时间依赖只是在做静态回归。这个实验是判断序列建模是否有效的核心依据比套用任何检验数据滞后的技巧都直接。最后还可以观察模型输出对输入扰动的响应。取一段测试数据把最后一个时间步的值小幅扰动 0.1看模型输出变化幅度。如果输出抖动剧烈说明模型对噪声敏感建议在序列入口前加一个平滑层或减小hidden_size如果输出几乎不动说明这个输入位置对预测结果不敏感可以尝试缩短seq_len以减轻计算负担。这类分析不需要额外工具基于现有训练脚本就可以快速实施也是向论文评审或团队解释“为什么用 LSTM 而不是简单回归”时最有说服力的一页。本文还有配套的精品资源点击获取
