简介面向时间序列预测入门与进阶学习者压缩包整合了多种经典机器学习与深度学习方法覆盖BP、CNN、LSTM、GRU、RNN、SVM以及CNNLSTM组合模型适合用来系统学习常见预测算法也可作为对比实验的基线参考。包内共包含25个文件以Python脚本为主同时配有CSV时序数据和Excel表格整体大小约5.08MB脚本与数据直接配套下载后即可运行能够完整体验数据读取、特征处理、模型训练与预测输出的流程。所有模型按目录独立组织例如LSTM、GRU、SVM、CNNLSTM等模块既方便针对单一模型深入调试也便于横向比较不同方法的拟合效果与泛化能力。目前已有1176人学习下载对正在做时间序列课程设计、毕业论文或算法竞赛准备的开发者尤其合适。通过这些代码实现读者可以快速理解各模型的构造差异和适用场景直接在自己的数据集上复现实验减少摸索和踩坑的时间。1. 时间序列预测学习为什么同一套模型换了业务场景就失效做工业设备寿命预测、销量预测、流量告警的人大概率都翻过“时间序列预测”这个方向的车。市面上的范例代码往往把 BP、CNN、LSTM、GRU、RNN、SVM、cnnlstm 一股脑堆在一起看起来像工具箱实际上每个模型对数据形态的假设完全不同。我见过不少人拿 LSTM 处理只有两三百个点的传感器数据结果指标还不如线性回归也见过把 SVM 用在强周期序列上误差大到直接返工。时间序列预测学习的核心不是学会跑通多少种模型而是搞清楚每种模型到底在拟合什么规律、输入数据做成什么样它才不翻车。这篇笔记按我自己的落地习惯来写先讲清每个模型的边界再给出可以抄走的 PyTorch 与 sklearn 代码最后是验证和排错的关键动作。适合正在做时序预测但总感觉“训练能跑、上线失效”的工程师。2. 模型谱系BP、RNN、LSTM、GRU、SVM 各解什么问题2.1 从 BP 到循环家族记忆机制的起点BP 即反向传播神经网络在时间序列预测里通常是多层全连接网络也叫 MLP。它的输入是一个滑窗截出来的特征向量例如过去 12 个时刻的值输出是下一时刻的预测值。BP 不关心特征之间的先后顺序它把 12 个连续值当作 12 个互不相关的维度。这种“无记忆”的假设在平稳序列上成立在趋势和周期叠加的序列上就会明显吃亏。RNN 的提出就是为了破除这个限制。循环网络在每一步维护一个隐状态 h_t它由当前输入 x_t 和上一步的 h_{t-1} 共同决定。我常用一个不太严谨但好记的说法BP 是“看整段窗口”RNN 是“按顺序慢慢读并且把读过的内容记在脑子里”。RNN 在时间序列预测学习里的价值在于建模条件依赖——今天的值依赖昨天昨天依赖前天这种链条关系正是序列数据区别于普通表格数据的地方。RNN 的问题也写在它结构里链式求导导致梯度在时间维度上连乘。序列一旦超过几十步反向传播时梯度要么指数级放大要么指数级消失训练会非常不稳定。后来的 LSTM、GRU 都是针对这个缺陷加“门控”机制本质上是给信息的写入、遗忘、输出加了可学习的开关。2.2 LSTM 与 GRU门控机制如何对抗梯度消失LSTM 在 1997 年由 Hochreiter 和 Schmidhuber 提出核心是引入了一条独立的单元状态 c_t相当于一条“传送带”让信息跳过多个时间步而不被非线性激活反复压缩。它有三个门遗忘门决定上一时刻的单元状态保留多少输入门决定新信息写进多少输出门决定单元状态对外暴露多少。这个结构让 LSTM 能在较长序列上保持梯度通路所以它成了时间序列预测里被用得最频繁的循环模型。GRU 是 LSTM 的简化变体只有两个门重置门和更新门。它把单元状态和隐状态合并成一个向量参数量比 LSTM 少约四分之一。实际效果上GRU 在大多数中等长度序列上并不比 LSTM 差训练更快更不容易过拟合。我的经验是如果数据量不足一万条样本优先试 GRU如果序列长度超过 200 步且有明显的长程依赖再考虑 LSTM。2.3 SVM 在时间序列里的定位滑窗特征 回归的适用区间SVM 本来是一个分类模型做预测时用它的回归版本 SVR。把时间序列转成监督学习格式后SVR 在核函数的作用下能拟合较强的非线性关系。它的优点非常显眼不需要像神经网络一样担心梯度崩溃对高维小样本数据特别友好调参空间也比较小。SVR 的缺点同样显眼它对特征缩放极其敏感核函数的尺度参数 gamma 直接影响预测曲率更重要的是SVR 建模的是“特征到目标”的映射完全没有序列状态传递。也就是说它和 BP 一样本质上是在滑窗特征上做函数拟合。如果序列本身蕴含缓慢漂移的工况SVR 很难表达“持续保持某种状态”这种信息。我一般只在两类场景用 SVR一是样本量只有几百到几千二是先跑线性基准模型之后想快速验证非线性的增益有多少。2.4 模型选择表序列长度、非线性、数据量决定路线好多初学者问我到底该选哪个模型我的回答是先看你手里有什么样本。下表是我自己梳理的选型依据不是公式但足够应付大多数工业预测任务。模型输入形态适合序列特征样本量要求常见翻车点BP/MLP滑窗向量平稳、短周期中等忽视时间顺序SVR滑窗向量弱非线性、小样本低特征尺度敏感无法传递状态RNN序列张量短依赖中等梯度消失长序效果差LSTM序列张量长依赖、强周期高训练慢需大量数据GRU序列张量长短依赖均可中高超过 200 步仍会退化CNN序列张量局部波形、多变量高感受野有限全局依赖弱CNNLSTM序列张量局部特征长依赖高结构复杂容易过拟合拿“设备寿命预测”这类场景举例振动数据往往有成百上千个采样点既有局部冲击特征又有缓慢退化趋势先做卷积提取局部冲击再上 LSTM 建模退化趋势就顺理成章反过来如果只是预测仓库库存数据波动平缓、记录频率又低普通 BP 反而更省事。选模型前先问一句“这条序列的规律是局部还是全局”答案是全局就往循环家族靠答案是局部脉冲CNN 才是合理入口。3. 用 PyTorch 在本地跑通七类模型的最小训练闭环3.1 构建统一的数据集与滑窗切分训练代码写得再漂亮数据切分不对模型就白练。我习惯先把任意一维序列转成监督学习格式用过去 window 个点预测未来 horizon 个点。假设我们有一段传感器采样序列窗口取 12 步预测未来 1 步构造样本的代码如下import numpy as np def make_samples(series, window12, horizon1): X, y [], [] for i in range(len(series) - window - horizon 1): X.append(series[i:i window]) y.append(series[i window horizon - 1]) return np.array(X), np.array(y).reshape(-1, 1)这段逻辑很直白以步长 1 滑动窗口每个样本包含连续 12 个历史点标签是窗口结束后的第 1 个点。注意这里默认是单步预测如果要预测未来 3 步 horizon 改为 3 标签就变成取窗口后第 3 个点或者你也可以把标签改成一段长度为 horizon 的序列看你要单点输出还是多步输出。滑窗的步长也可以调节例如改成每隔 2 步取一个样本能降低连续样本之间的相关性缓解过拟合但也会减少样本总量。3.2 BP 与 SVR 的特征映射写法BP 在 PyTorch 里是一个普通的多层全连接网络。输入是滑窗向量中间用两层 ReLU输出层不加激活函数因为这是回归任务。代码import torch import torch.nn as nn class BPModel(nn.Module): def __init__(self, input_dim, hidden_dim64): super().__init__() self.net nn.Sequential( nn.Linear(input_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim // 2), nn.ReLU(), nn.Linear(hidden_dim // 2, 1) ) def forward(self, x): return self.net(x)input_dim 就是滑窗长度。这里隐藏层设成 64、32对几百个样本的小任务足够。如果样本量特别少hidden_dim 降成 16 反而更稳隐藏层太宽BP 在小样本上极其容易把噪声也拟合进去。SVR 不用神经网络我用 sklearn 直接做。关键是把特征标准化否则惩罚项的数值大小会被量纲带偏。代码from sklearn.svm import SVR from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X_train) svr SVR(kernelrbf, C1.0, gammascale, epsilon0.1) svr.fit(X_scaled, y_train.ravel())这里 C 控制对误差的容忍程度C 越大越硬拟合越小越平滑gamma‘scale’ 会让 sklearn 根据特征数量自动设置初始尺度比手动填数值要稳得多epsilon 是回归不敏感带的宽度设 0.1 意味着预测值与真实值偏差小于 0.1 时不计算损失。这三个参数是 SVR 在时序上最容易调坏的地方。3.3 RNN、LSTM、GRU 的 PyTorch 实现与参数差异三个循环模型在 PyTorch 里的调用方式几乎一样差异全在层内部结构。先定义一个统一的数据封装class SequenceDataset(torch.utils.data.Dataset): def __init__(self, X, y): self.X torch.tensor(X, dtypetorch.float32).unsqueeze(-1) self.y torch.tensor(y, dtypetorch.float32) def __len__(self): return len(self.X) def __getitem__(self, idx): return self.X[idx], self.y[idx]注意 unsqueeze(-1) 这一步。RNN 系列模型期望输入形状是 (batch, seq_len, input_size)。我们滑窗是 12 个点每个点只有一个特征所以 input_size1要把最后一维补出来。如果是多变量预测比如同时输入温度和振动input_size 就是变量个数。模型定义如下class RNNRegressor(nn.Module): def __init__(self, input_size1, hidden_size32): super().__init__() self.rnn nn.RNN(input_size, hidden_size, batch_firstTrue) self.fc nn.Linear(hidden_size, 1) def forward(self, x): out, _ self.rnn(x) return self.fc(out[:, -1, :]) class LSTMRegressor(nn.Module): def __init__(self, input_size1, hidden_size32, num_layers1): super().__init__() self.lstm nn.LSTM(input_size, hidden_size, num_layers, batch_firstTrue) self.fc nn.Linear(hidden_size, 1) def forward(self, x): out, _ self.lstm(x) return self.fc(out[:, -1, :]) class GRURegressor(nn.Module): def __init__(self, input_size1, hidden_size32, num_layers1): super().__init__() self.gru nn.GRU(input_size, hidden_size, num_layers, batch_firstTrue) self.fc nn.Linear(hidden_size, 1) def forward(self, x): out, _ self.gru(x) return self.fc(out[:, -1, :])三个模型的关键共同点取最后一个时间步的隐状态 out[:, -1, :] 接全连接层。RNN 的 hidden_size 设 32LSTM 和 GRU 也设 32在大多数中小数据集上这个量级已经够用。增加 num_layers 可以加深模型但两层以上的 LSTM 在中小数据上训练难度陡增梯度传播路径变长收敛明显变慢。hidden_size 越大模型记忆容量越大但也越容易过拟合不要盲目往大了调。3.4 CNN 与 CNNLSTM 的两种实现CNN 用于时间序列时一般用一维卷积。1D 卷积的卷积核在时间维度上滑动提取局部模式比如一个长度为 3 的卷积核能捕捉三个连续点的联合特征。但卷积的感受野是有限的单层卷积只能看到局部要捕捉长依赖只能加层、加膨胀卷积或后面接循环模块。单纯的 CNN 回归器和 BP 类似输入也是 (batch, seq_len, input_size)只是把全连接换成卷积加池化class CNNRegressor(nn.Module): def __init__(self, input_size1, seq_len12): super().__init__() self.conv1 nn.Conv1d(input_size, 32, kernel_size3, padding1) self.conv2 nn.Conv1d(32, 32, kernel_size3, padding1) self.fc nn.Linear(32 * seq_len, 1) def forward(self, x): # 输入 (batch, seq_len, input_size)转成 (batch, input_size, seq_len) x x.transpose(1, 2) x torch.relu(self.conv1(x)) x torch.relu(self.conv2(x)) return self.fc(x.reshape(x.size(0), -1))这里有个初学者最容易踩的坑PyTorch 的 Conv1d 期望张量形状是 (batch, channels, length)而 RNN 系列期望的形状是 (batch, length, input_size)。同一个滑窗数据在两种模型之间必须做 transpose(1, 2) 维度互换写错维度位置会直接报 shape mismatch 或者跑出一个训练半天不收敛的隐形 bug。CNNLSTM 把两者串联先用一维卷积提取局部特征并压缩序列长度再把压缩后的特征序列送入 LSTMclass CNNLSTMRegressor(nn.Module): def __init__(self, input_size1, hidden_size32, seq_len12): super().__init__() self.conv nn.Conv1d(input_size, 16, kernel_size3, padding1) self.lstm nn.LSTM(16, hidden_size, batch_firstTrue) self.fc nn.Linear(hidden_size, 1) def forward(self, x): x x.transpose(1, 2) # (batch, input_size, seq_len) x torch.relu(self.conv(x)) # (batch, 16, seq_len) x x.transpose(1, 2) # 变回 (batch, seq_len, 16)送 LSTM out, _ self.lstm(x) return self.fc(out[:, -1, :])卷积输出的通道数 16 在这里就是 LSTM 每个时间步的特征维度相当于把原始单变量序列变成了 16 维特征序列。局部特征比如瞬时冲击、短时抖动由卷积负责提取提取后的特征序列长度不变但每个位置的语义更丰富LSTM 再去建模这些语义之间的时间依赖。训练这个结构时要注意卷积层非常容易快速收敛而 LSTM 层收敛偏慢二者合在一起学习率设太高会出现损失先降后跳的现象。3.5 统一训练循环与关键超参训练循环不分模型统一用 MSE 损失和 Adam 优化器即可model LSTMRegressor(input_size1, hidden_size32) optimizer torch.optim.Adam(model.parameters(), lr0.001) loss_fn nn.MSELoss() dataloader torch.utils.data.DataLoader( SequenceDataset(X_train, y_train), batch_size32, shuffleTrue ) model.train() for epoch in range(80): total_loss 0.0 for xb, yb in dataloader: optimizer.zero_grad() pred model(xb) loss loss_fn(pred, yb) loss.backward() optimizer.step() total_loss loss.item() if (epoch 1) % 20 0: print(fepoch {epoch 1}, loss {total_loss / len(dataloader):.4f})batch_size 设为 32lr 0.001epoch 80这是比较稳妥的起始值。样本量极小时batch_size 降到 8 到 16学习率超过 0.005 在 LSTM 上很容易震荡低于 0.0005 则收敛过慢。shuffleTrue 只用于训练阶段验证和预测阶段必须 shuffleFalse原因是时间序列样本之间存在前后依赖打乱顺序后评估指标会失真。4. CNNLSTM 的落地细节特征提取与序列建模怎么配合4.1 为什么先卷积再循环局部特征与长程依赖的分工纯 LSTM 在输入维度很低时每个时间步只有一个数值它需要很多层或很大的隐状态才能自己学会从原始数值中抽象出“峰值”“震荡”“突变”这样的特征。CNN 正好擅长这件事。卷积核在时间轴上滑动相当于一个可学习的模板匹配器某个卷积核可能专盯“连续三个点快速上升”另一个专盯“突然掉零”。卷积之后LSTM 面对的就不再是原始数值而是一组已经提炼过的局部特征。这个组合模式在设备寿命预测里效果尤其明显。转动设备的振动信号通常包含高频冲击分量原始波形直接送进 LSTM模型要把冲击特征和缓慢退化趋势一起处理非常吃力。先做一维卷积冲击特征被浓缩到卷积输出的某个通道上LSTM 只需要学习这个通道的演变趋势任务就简单多了。4.2 输入张量与维度流动CNNLSTM 在 PyTorch 里的维度流动经常能把人绕晕。以 seq_len12、单变量输入为例流程是原始滑窗张量(batch, 12, 1) transpose 后(batch, 1, 12) Conv1d 后(batch, 16, 12) 再 transpose(batch, 12, 16) LSTM 输入(batch, 12, 16) LSTM 输出(batch, 12, hidden_size) 取最后时间步(batch, hidden_size) 全连接输出(batch, 1)卷积层把单变量映射成 16 个特征通道时间长度保持不变。做第二次 transpose 是很多人的盲区Conv1d 的输出顺序是 (batch, channels, length)LSTM 偏偏要 (batch, length, features)不换轴就会把通道数和序列长度搞混。每次写完混合模型先打印一次每一层的输出形状能省下大量排查时间。4.3 全连接输出与多步预测的格式化最后一个全连接层输出回归值。单步预测时输出维度是 1很容易理解。多步预测常见做法有两种一是把 LSTM 最后一步输出接一个 linear 层直接改输出维度为 horizon二是先保持单步输出预测出来后再把新预测值当作输入回填到窗口尾端滚动预测下一步。回填法的代码逻辑是这样的def recursive_forecast(model, init_window, steps): model.eval() window init_window.copy() preds [] with torch.no_grad(): for _ in range(steps): x torch.tensor(window, dtypetorch.float32).unsqueeze(0).unsqueeze(-1) pred model(x).item() preds.append(pred) window np.append(window[1:], pred) return preds回填法的问题在于误差会累积。第一步预测偏差进入窗口后第二步的输入就已经包含误差越往后预测越偏。如果模型在单步上 MAPE 是 5%滚动十步后的误差可能放大到 20% 以上。改用直接多步输出把标签做成 horizon 长度的序列训练时一步到位误差不累积但模型需要更多数据来拟合多输出的联合分布。切换前先用回填法跑一遍验证集观察误差随步长的增长曲线再决定要不要换直接多步。5. 时间序列预测避坑清单5 个高频翻车点与排查方式5.1 数据泄漏归一化放在划分之前的结果不可信现象训练集和测试集指标都极好测试误差甚至比训练误差还小上线后一塌糊涂。原因先对整个序列做归一化再切训练集和测试集。归一化里的 mean 和 std 是用全序列算的测试集的信息已经渗透到训练数据里。预测未来这件事在现实中是“拿已知推断未知”测试集信息提前见了光评估结果自然虚高。解决先切分再单独对训练集计算 mean 和 std用同一组参数转换训练集、测试集。代码形态上是把第三章数据切分提前到归一化之前。注意对测试集做归一化时必须使用训练集算出来的参数不能重新 fit。很多人的归一化代码写得能跑却在这里埋了雷。5.2 滑窗长度设置不当引起的过拟合现象训练集损失降到很低验证集误差大或者不同窗口长度下结果差异大到离谱。原因窗口太短模型无法看到完整周期比如数据有一个月节奏窗口却只有 3 天窗口太长模型把无关的历史也当作依据参数量还在增长。解决先做周期分析观察自相关图或者简单地按日、周、月分别计算均值。窗口长度至少覆盖一个完整周期最多不超过两个周期。自相关分析可以快速看趋势import pandas as pd series pd.Series(raw_series) for lag in [7, 12, 24, 30]: corr series.autocorr(laglag) print(flag {lag}, autocorr {corr:.3f})自相关最高的那个 lag 往往就是序列的隐含周期窗口据此设定。5.3 LSTM 结果不稳定随机种子和初始化是最大的黑匣子现象同一份数据同样的模型和超参跑两次结果差 10% 以上换一台机器结果也变。原因LSTM 的初始化权重是随机的PyTorch 默认的权重初始化在不同硬件上浮点运算指令也可能略有差异。结果波动这一现象在小数据集上格外明显因为模型有多种方式都能拟合训练集不同初始化会落到不同的局部最优解。解决固定随机种子并且要同时固定 NumPy、Python random 和 PyTorchimport random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)固定种子只能保证复现不能保证稳定。真正的稳定来自多种子评估用五个不同种子各训练一次取指标中位数而不是只跑一次就下结论。这个习惯在时间序列预测里比模型结构本身更影响项目能否落地。5.4 CNN 的卷积核看向未来信息泄漏发生在感受野内部现象CNN 或 CNNLSTM 在验证集上表现很好一上线就发现预测值总是“慢半拍”峰值跟不准。原因普通一维卷积是对称的卷积核中心两边的点都参与运算也就是说预测 t 时刻会用到 t 之后的未来点。这在分类任务里没问题在预测任务里就是典型泄漏。PyTorch 的 Conv1d 默认卷积核覆盖即前后都看所以做预测必须改成因果卷积只允许卷积核看到当前及之前的时间步。解决在卷积层设置 padding 时用左侧单边补零手动限制卷积核的有效视野。一个简单的做法是把卷积核大小设为奇数并在 padding 时只取本侧预留的尺寸更严谨一些用膨胀因果卷积。小规模实验可以这样实现# 因果卷积的等效写法把卷积核权重后移左侧补零 def causal_pad(x, kernel_size, dilation1): return torch.nn.functional.pad(x, ((kernel_size - 1) * dilation, 0))这个 pad 只在序列左侧加零右侧不加卷积核从当前时间步开始往前看杜绝未来信息。5.5 MAPE 在接近零的序列上爆炸现象模型在验证集上 MSE 正常换成 MAPE 评估发现误差百分之几千连简单平均值模型都比神经网络好。原因MAPE 计算的是相对误差当真实值接近 0 时哪怕绝对误差只有 0.01相对误差也会被放大成天文数字。传感器序列里经常有停机、暂时归零的状态这些点会让 MAPE 失去意义。解决改用对称 MAPE 或者直接用 RMSE、MAE 做主要评估指标。如果业务上必须看百分比去掉真实值小于阈值的样本再计算比如只统计真实值大于均值的时序点。指标选择要放在模型选型之前否则你可能为了压一个不合理的 MAPE 去疯狂调参最后调出一个对大值准、对小值烂的模型。6. 收尾验证与调参的决定性技巧6.1 滚动回测是最接近真实使用的验证方式固定切分出训练集和测试集只能验证模型的静态表现而真实预测是不断向前滚动的。我用滚动回测把测试集切成多段每预测一段后把真实值并入历史窗口重新训练或更新状态。这个过程能暴露模型对分布漂移的敏感性。滚动回测的基准做法第一轮用前 70% 数据训练预测后 10%然后把这 10% 的真实值加入训练集继续预测下一个 10%。误差看每一轮的均值变化如果最后一轮误差明显变大说明序列规律在漂移模型需要定期重训而不是上线就不管。6.2 先跑基准再谈先进模型我在每个时序预测项目里的第一个动作都是构建两个基准历史均值模型和朴素延续模型。前者预测值是历史窗口的平均后者预测值是最后观测值。如果 LSTM、CNNLSTM 连这两个基准都打不过问题不在模型而在数据形态、滑窗方式或训练流程。这个习惯帮我避免了很多“先进模型自我感动”的无效劳动。调参时也遵循同样的顺序先调输入长度和预测步长再调学习率和 batch_size最后才动模型结构。输入处理方式对结果的影响度往往超过模型内部的隐藏维度。窗口长度没选对时把 LSTM 从单层加到三层也补不回来。6.3 残差分析比单纯对比指标更能定位问题训练完成后我习惯把验证集残差画出来观察两个规律残差是否随预测值增大而增大残差是否存在连续同号片段。前者说明模型对大值区间的拟合能力不足后者说明模型漏掉了某个缓慢变化的趋势分量。如果残差连续同号一个实操价值很高的技巧是给模型叠加一个后校正层用残差序列做一次简单的自回归拟合然后用它修正最终输出。后校正听起来玄学但在随机森林、SVR、LSTM 上都见过明显的指标改善因为它相当于把基准模型的系统偏差显式建模了一次。我通常会把这个逻辑做成一个独立的小函数跑一把验证集看校正前后 RMSE 的变化来量化增益。这些验证手段加起来能帮你把时间序列预测学习从“训练能跑”推进到“上线可信”。神经网络在这里不是黑匣子每一项改进都可以通过滚动回测和残差分布获得局部可解释的反馈。希望这些踩坑经验能让你在 BP、CNN、LSTM、GRU、RNN、SVM、CNNLSTM 这条路线上少走几段弯路。本文还有配套的精品资源点击获取
