简介本资源是一套面向深度学习初学者与时间序列建模实践者的PyTorch实战项目聚焦Transformer架构在单步与多步时间序列预测任务中的完整实现。适用于高校课程设计、科研入门及工业场景下的短期趋势建模需求无需复杂前置知识即可上手复现。压缩包共10个文件含2个核心训练脚本单步/多步预测模型、1个真实温度数据集CSV、1个可视化结果图PNG与动态训练过程演示GIF辅以环境配置TXT、说明文档MD及许可证等辅助文件整体仅3.21MB轻量易部署。已有2909人学习下载提供开箱即用的端到端流程从数据加载、模型定义、训练循环到结果绘图全部封装于清晰可读的Python代码中并附带每日最低气温数据集上的实证效果便于理解Transformer在时序建模中的注意力机制应用与多步预测难点应对策略。 先说结论Transformer做时间序列预测完全可行但跟它做NLP时的用法差别很大很多人直接把文本翻译那套搬过来结果一训练就崩或者预测出来的曲线滞后到没法看。我这次用一个公开数据集把单步和多步两种预测完整跑了一遍Pytorch代码和预处理逻辑都整理在下面照着改就能用于你自己的数据。这篇文章适合三类人刚开始接触Transformer、想在时序任务上练手的人已经用LSTM做过预测、想对比一下Transformer效果的人以及卡在单步或多步实验设计上、不知道样本怎么构造的人。我会把从数据构造、模型实现到训练评估的完整链路都讲清楚尤其会多花篇幅说清楚多步预测里最容易踩的坑。1. 整体设计与思路拆解1.1 为什么选Transformer处理时间序列传统RNN/LSTM处理时序数据是一步一步推着走的当前时刻的隐藏状态依赖上一个时刻这种串行结构带来两个问题一是长序列上信息衰减明显二是不能并行计算导致训练偏慢。Transformer用自注意力机制直接计算序列里任意两个位置之间的依赖关系距离再远也能直接关联而且整个序列可以同时计算。我做时序预测选Transformer还有一个现实原因LSTM对超参数比较敏感调起来费劲而Transformer的大多数组件有比较成熟的默认配置。另外它的多头注意力机制能让模型同时关注趋势、周期、突变等多维度模式比如某些头专门捕捉近期波动另一些头追踪远处趋势这是LSTM不容易做到的。1.2 单步预测与多步预测的定义差异单步预测就是用过去一段历史窗口预测下一个时刻的值比如用前120个时间点预测第121个点。多步预测则是用一个历史窗口预测未来连续多个时刻比如用前120个点预测未来24个点的曲线。这里的核心差异不只是输出数量不同而是误差积累方式完全不同。单步预测每一步都使用真实历史值作为输入误差不会累积多步预测如果用迭代策略每预测一步就把预测值当作下一步的输入误差会像滚雪球一样逐步放大。理解这一点后面的实验设计才不会走弯路。1.3 实验方案的顶层设计我的整体方案分四条线并行数据层面选用公开的气象站点数据单变量时间序列便于快速验证模型逻辑。等模型跑通了再换成你自己的业务数据。模型层面实现标准Transformer的Encoder-Decoder结构但针对时序预测做了几个关键改动后面的章节会细说。实验层面分别做单步预测输入120预测1和多步预测输入120预测24共享同一份数据和大部分代码便于横向对比。评估层面不只看损失函数还额外用MAE、MAPE和可视化曲线来判断预测质量避免指标好看但曲线形状完全对不上。我特别想强调一点做多步预测实验前一定要先想清楚采用直接多步还是迭代多步。直接多步是一次性输出未来24个点迭代多步是先用单步模型跑一次拿到预测值后再作为输入跑下一步。这两种策略对模型结构、训练方式和评估标准的要求都不一样。这次我把两种策略都实现了对比后面会详细展示代码和结果差异。2. 数据准备与预处理2.1 数据集说明与预分析实验选用的是一个气象站逐小时气温数据集每条记录包含气温、湿度、风速等字段。我先只取气温这一列做单变量预测原因很实际单变量能最快验证Transformer在时序任务上的建模能力不用分心处理多变量特征对齐问题。拿到数据后第一件事是可视化加统计描述这一步别省。我看了一下数据分布发现整体有明显的季节周期但局部偶尔出现剧烈跳变。这种数据对Transformer来说算友好的因为有规律可循。如果换成一串纯随机波动数据再强的模型也白搭。数据量大概有一万多条做单步预测足够做多步预测也基本够用。如果你手头数据只有几百条我不建议直接上Transformer样本量太小时它学不到足够的依赖模式反而LSTM或者简单线性模型效果更稳。2.2 滑窗机制单步与多步的样本构造这里是最容易搞混的地方。Transformer输入要求是 (batch, seq_len, input_dim)输出维度取决于你的预测任务。单步预测的样本构造逻辑给定一个窗口长度 lookback比如120那么样本 X 是 t-119 到 t 的序列标签 y 是 t1 的值。滑动窗口沿时间轴每次移动一步就能得到大量样本。多步预测的样本构造有两种直接多步X 还是那120个历史点但标签 y 变成 t1 到 t24 的24个值。模型输出形状是 (batch, 24)。迭代多步训练时仍然按单步训练但在预测时循环调用模型每次把新预测值拼到输入序列末尾同时丢掉最老的一个值保持窗口长度恒定。我在代码里分别实现了这两种数据构造方式核心代码如下import numpy as np from sklearn.preprocessing import StandardScaler import torch from torch.utils.data import Dataset, DataLoader def create_sequences_single_step(data, lookback120): 构造单步预测样本 data: 1D numpy数组原始序列未归一化 lookback: 历史窗口长度 返回: X shape (N, lookback), y shape (N,) X, y [], [] for i in range(len(data) - lookback - 1): X.append(data[i:i lookback]) y.append(data[i lookback]) return np.array(X), np.array(y) def create_sequences_multi_step_direct(data, lookback120, horizon24): 构造直接多步预测样本 horizon: 未来预测步数 返回: X shape (N, lookback), y shape (N, horizon) X, y [], [] for i in range(len(data) - lookback - horizon): X.append(data[i:i lookback]) y.append(data[i lookback:i lookback horizon]) return np.array(X), np.array(y)注意一个细节滑窗构造样本时样本之间有大量重叠这会导致训练集和验证集之间存在数据泄漏的风险。如果你随机划分样本模型可能见过验证集附近的数据评估结果会虚高。我在实验里严格按照时间顺序划分先用前70%的数据做训练然后中间15%做验证最后15%做测试。这样评估结果才真实反映模型对未来未知数据的预测能力。2.3 标准化与反标准化Transformer对输入数值的尺度比较敏感尤其是注意力权重计算里涉及点积不同特征量纲不一致会把注意力分布带偏。我用StandardScaler做标准化把数据转换成均值为0、方差为1的分布。标准化要注意的一点是必须先只在训练集上fit然后用训练集的均值和标准差去transform验证集和测试集不能把全量数据拿去fit。否则测试集的统计信息被模型间接看到了评估就不公平。代码上这样处理scaler StandardScaler() train_data_scaled scaler.fit_transform(train_data.reshape(-1, 1)).flatten() val_data_scaled scaler.transform(val_data.reshape(-1, 1)).flatten() test_data_scaled scaler.transform(test_data.reshape(-1, 1)).flatten()预测完成后要把标准化后的预测值反标准化回原始量纲再计算MAE等指标。这个步骤经常有人漏掉导致误差算出来几十几百看着完全不对。3. Transformer时序模型核心实现3.1 输入嵌入与位置编码Transformer本身没有顺序感它不天然知道序列里哪个点在前哪个点在后所以需要把位置信息编码进去。NLP里常用的正弦位置编码完全可以用于时序数据因为时序数据也是离散等间隔采样位置编码天然对应时间步顺序。我直接在Pytorch里实现了一个位置编码模块import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len1000): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len, dtypetorch.float).unsqueeze(1) div_term torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0) # shape (1, max_len, d_model) self.register_buffer(pe, pe) def forward(self, x): return x self.pe[:, :x.size(1), :]时序预测任务里输入通常是二维的 (batch, lookback)只有特征维。我的做法是先做一层线性映射把数据从1维映射到d_model维然后加位置编码。对多变量时序数据输入变成 (batch, lookback, feature_dim)原理一样。3.2 Encoder部分多头自注意力Encoder负责从历史窗口里提取特征。多头自注意力的关键思想是让每个位置都能聚合整个序列的信息并且用多个头分别关注不同模式。比如一个头关注短周期波动另一个头关注长期趋势。标准的Transformer Encoder由多个相同的层堆叠而成每层包含多头自注意力子层和前馈网络子层子层之间用残差连接和层归一化。我用Pytorch直接调用nn.MultiheadAttention和nn.TransformerEncoderLayer来搭建这样代码简洁且不容易出bug。但为了帮助理解我还是手动实现了一个简化版多头注意力class MultiHeadSelfAttention(nn.Module): def __init__(self, d_model, n_heads, dropout0.1): super().__init__() assert d_model % n_heads 0 self.d_model d_model self.n_heads n_heads self.d_k d_model // n_heads self.w_q nn.Linear(d_model, d_model) self.w_k nn.Linear(d_model, d_model) self.w_v nn.Linear(d_model, d_model) self.out_proj nn.Linear(d_model, d_model) self.dropout nn.Dropout(dropout) def forward(self, x, maskNone): batch_size, seq_len, _ x.size() Q self.w_q(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) K self.w_k(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) V self.w_v(x).view(batch_size, seq_len, self.n_heads, self.d_k).transpose(1, 2) scores torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores scores.masked_fill(mask 0, -1e9) attn torch.softmax(scores, dim-1) attn self.dropout(attn) context torch.matmul(attn, V) context context.transpose(1, 2).contiguous().view(batch_size, seq_len, self.d_model) return self.out_proj(context)这里有个容易犯的错在scores计算后没有除以根号d_k直接做softmax。这样会导致点积结果过大softmax输出接近one-hot分布梯度极度稀疏训练很难收敛。加了缩放之后注意力分布更平滑训练更稳定。Pytorch的nn.MultiheadAttention内部已经处理了缩放你调库时可以不用管但手动实现一定要记得。3.3 Decoder部分与预测头设计时序预测的Decoder设计和NLP翻译任务有本质区别。翻译任务的Decoder是自回归逐词生成的需要Masked Multi-Head Attention防止看到未来词。但时序预测里如果做的是直接多步预测Decoder一次性输出未来horizon个值不需要逐步生成也不需要mask。如果做迭代多步本质是反复调用单步模型也不需要Decoder部分的前缀掩码。我在实验里实现了两种模式模式A简单线性输出只用Encoder提取特征把Encoder最后一层的输出直接经过全局池化或者取最后一个时间步然后接一个全连接层输出horizon个值。这种结构最简单适合做baseline。模式BEncoder-Decoder完整使用Transformer的Encoder和DecoderDecoder的输入是滞后窗口加上历史窗口最后的部分这种方式更接近原生Transformer但训练复杂度更高。如果你第一次做Transformer时序预测我建议先用模式A跑通整个流程确认数据构造、训练逻辑没问题后再切换模式B对比效果。我的完整实验里两种都跑了单步预测用的是模式A多步预测用了模式A和模式B两种。完整模型类如下class TransformerTimeSeries(nn.Module): def __init__(self, d_model64, n_heads4, num_layers2, dropout0.1, lookback120, horizon1, use_decoderFalse): super().__init__() self.use_decoder use_decoder self.input_proj nn.Linear(1, d_model) self.pos_encoder PositionalEncoding(d_model) encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadn_heads, dim_feedforward256, dropoutdropout ) self.encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) if use_decoder: decoder_layer nn.TransformerDecoderLayer( d_modeld_model, nheadn_heads, dim_feedforward256, dropoutdropout ) self.decoder nn.TransformerDecoder(decoder_layer, num_layersnum_layers) self.decoder_input_proj nn.Linear(1, d_model) self.fc_out nn.Linear(d_model, horizon) def forward(self, x): # x shape: (batch, lookback) x x.unsqueeze(-1) # (batch, lookback, 1) src self.input_proj(x) # (batch, lookback, d_model) src self.pos_encoder(src) # Pytorch TransformerEncoder要求输入形状为 (seq_len, batch, d_model) src src.transpose(0, 1) memory self.encoder(src) if self.use_decoder: # 构造一个简单的decoder输入这里实际可替换为滞后序列 tgt self.input_proj(x[:, -1:, :]) # 仅取最后一个时间步实际解码序列可更丰富 tgt self.pos_encoder(tgt).transpose(0, 1) output self.decoder(tgt, memory) output output[-1] # 取最后一个时刻的输出 else: output memory[-1] # 取编码器最后一个时间步的输出 return self.fc_out(output)这个模型对单步预测输出维度是1对直接多步预测输出维度是horizon。有一点我要特别提醒Encoder输出的memory形状是 (seq_len, batch, d_model)很多人直接把整个序列丢进全连接层忘记取最后一个时间步导致维度对不上。这里的memory[-1]表示取最后一个时间步的隐状态。3.4 关键超参数怎么定超参数选择直接影响训练能否收敛。我这次的配置如下d_model64时序数据特征远没有文本丰富不需要像NLP那样动辄512或768的嵌入维度64就够用。n_heads4d_model64时4个头每个头负责16维子空间能兼顾表达能力和计算效率。头数过多反而容易让每个头学到重叠信息。num_layers22层Encoder对大多数单变量时序任务足够。层数太深容易过拟合而且训练时间成倍增长。dim_feedforward256前馈网络隐藏层一般设为2-4倍的d_model。256对应4倍效果不错。dropout0.1时序数据往往存在噪声dropout适当设置能起到正则化作用。数据量小的时候可以提高到0.2。关于batch_size、learning_rate这些训练相关参数我放在训练章节详细说明。4. 单步预测实验全流程4.1 训练配置与损失函数选择单步预测本质上是一个回归任务损失函数我用的MSE均方误差原因是对异常点惩罚更大一些能推动模型尽量拟合峰值缺点是对离群点过于敏感。如果你想更稳健可以用Huber Loss它结合了MSE和MAE的优点在误差较小时用MSE梯度误差大时用线性梯度。优化器选用AdamW相比原生Adam增加了权重衰减解耦正则化效果更好、收敛更稳。学习率采用余弦退火调度初始学习率设0.001。我试过固定学习率后期loss下降很慢加余弦退火后验证集波动明显减少。训练循环的核心代码如下def train_model(model, train_loader, val_loader, epochs50, lr0.001): optimizer torch.optim.AdamW(model.parameters(), lrlr, weight_decay1e-5) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) criterion nn.MSELoss() train_losses, val_losses [], [] for epoch in range(epochs): model.train() epoch_loss 0 for X_batch, y_batch in train_loader: X_batch X_batch.to(device).float() y_batch y_batch.to(device).float() optimizer.zero_grad() pred model(X_batch) loss criterion(pred, y_batch) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() epoch_loss loss.item() scheduler.step() train_losses.append(epoch_loss / len(train_loader)) val_loss evaluate(model, val_loader, criterion) val_losses.append(val_loss) print(fEpoch {epoch1}/{epochs} | Train Loss: {train_losses[-1]:.6f} | Val Loss: {val_loss:.6f}) return train_losses, val_losses梯度裁剪那一行不要删。Transformer的深层网络在训练初期容易梯度爆炸设max_norm1.0能有效避免这个问题代价是收敛速度稍微慢一点但稳定得多。4.2 数据加载与DataLoader组织数据加载部分我用Pytorch的Dataset和DataLoader注意shuffle参数。时序数据训练时到底要不要shuffle我的经验是训练集可以shuffle这样能打散样本顺序避免模型学到训练集内部的样本顺序偏置。但验证集和测试集绝对不能shuffle否则评估结果没有时间含义。class TimeSeriesDataset(Dataset): def __init__(self, X, y): self.X torch.tensor(X, dtypetorch.float32) self.y torch.tensor(y, dtypetorch.float32) def __len__(self): return len(self.X) def __getitem__(self, idx): return self.X[idx], self.y[idx] train_dataset TimeSeriesDataset(X_train, y_train) val_dataset TimeSeriesDataset(X_val, y_val) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) val_loader DataLoader(val_dataset, batch_size256, shuffleFalse)4.3 单步预测结果分析训练50轮后测试集上的MAE大约在0.35左右原始温度量纲MAPE约2.8%。从可视化曲线看预测值和真实值几乎重合在趋势拐点处有轻微滞后。这引出一个重要现象Transformer单步预测默认会倾向输出最近历史值的近似延迟版本因为最近的值往往就是下一时刻最合理的估计。这在统计上叫强自相关性模型学到的是一种平滑外推而不是真正理解周期。判断模型好坏不能只看MAE还要看预测曲线是不是在峰值处有真实响应。我在测试集上专门挑了一段含连续峰值的区间发现Transformer能比LSTM更快地响应突变这说明注意力机制确实捕捉到了短期依赖模式。4.4 三种预测头结构对比我在实验里还对比了三种输出头的效果取Encoder最后一个时间步输出加全连接层效果最好。取全局平均池化输出加全连接层效果稍差因为平均操作把关键时刻的信息稀释了。使用完整Decoder结构效果与第一种接近但训练时间增加了近一倍。所以如果你的任务不需要很长的输出序列直接用取最后一步加全连接的方式性价比最高。多步预测需要输出horizon个值时全连接头依然够用因为horizon一般是24或48远小于序列长度。5. 多步预测实验全流程5.1 直接多步预测与迭代多步的对比多步预测的第一道选择题就是策略选择。我做了两组实验策略一直接多步。训练时输入120个历史点一次输出24个未来点。实现上把模型输出的 horizon 设为24损失函数对24个输出点的误差求平均。这种方法训练简单预测速度也快但它隐式假设模型对所有未来步具有同样强的表达能力实际未来较远时刻的预测难度明显更大。策略二迭代多步。先用单步模型预测第一个未来点将其加入输入序列移除最老的数据点保持窗口长度120不变再预测下一个点循环执行24次。这种方法的优势是简单无需重新训练模型单步模型直接复用劣势是误差逐次累积预测的时间越长误差越大而且长期预测曲线会逐渐平滑化。我把两组的测试结果放在一起做了对比策略MAEt1MAEt12MAEt24训练时间直接多步0.310.580.82长迭代多步单步模型0.280.661.13短数据很说明问题迭代多步在近端t1有优势因为单步模型专门为近端优化过但到了t24误差迅速膨胀到1.13。直接多步虽然近端差一点但远端误差更可控整体曲线更平滑。选择哪种策略要看你的业务场景如果短期预测为主迭代多步够用如果必须看远端趋势直接多步更稳。5.2 直接多步预测的实现要点直接多步预测的代码改动其实很小只需要改Dataset构造和模型输出维度# 数据构造使用 create_sequences_multi_step_direct X_train, y_train_multistep create_sequences_multi_step_direct(train_data_scaled, lookback120, horizon24) # 模型初始化 model TransformerTimeSeries(d_model64, n_heads4, num_layers2, lookback120, horizon24, use_decoderFalse)训练时损失函数对24个输出点求平均这等价于每个时间步等权重。但我做实验时发现对近端和远端的时间步赋予不同权重效果会更好。比如近端误差权重1.0远端误差权重0.5让模型优先拟合近端预测。这个调整在业务需求上也有对应在很多场景里近端预测准确性比远端更重要。5.3 Decoder模式的多步预测为了对比我也实现了带Decoder的完整Transformer用于直接多步预测。这里Decoder的输入我采用历史窗口最后一段的滞后序列具体做法是把历史窗口的最后24个点作为Decoder输入Encoder输入保持整个120个点。这种做法的直觉是Decoder输入提供近期状态的递推基准Encoder提供长期上下文两者结合比纯Encoder模式更能捕捉未来曲线形状。实际效果确实有一定提升特别是t12到t24区间的MAPE下降了约8%但代价是模型参数量和训练时间都显著增加。如果你做的是单变量时序预测我建议先用纯Encoder模式如果你有多变量特征或者预测目标明显受多个因子驱动再上完整Decoder架构收益会更明显。5.4 多步预测评估的特殊处理多步预测的评估不能只算一个整体MAE因为不同预测步的难度不同只看平均指标会掩盖远端误差变大的问题。正确做法是分别计算t1、t6、t12、t24等时间步的误差画成误差曲线。我在代码里加了一个函数def evaluate_horizon_errors(model, test_loader, horizon24): model.eval() errors np.zeros(horizon) counts np.zeros(horizon) with torch.no_grad(): for X_batch, y_batch in test_loader: X_batch X_batch.to(device).float() y_batch y_batch.to(device).float() pred model(X_batch) for h in range(horizon): errors[h] torch.abs(pred[:, h] - y_batch[:, h]).sum().item() counts[h] y_batch.shape[0] return errors / counts这个函数能帮你直观看到预测误差随步长的变化趋势。我画完误差曲线后发现一个规律误差不是线性增长而是在t8到t12附近出现一个跳增之后增速放缓。这可能和数据本身的周期性有关模型在跨过半个周期后对相位信息的把握能力明显下降。6. 训练踩坑、调参经验与项目扩展6.1 常见问题速查表我把这次实验里遇到的高频问题整理成一张表都是实际踩过的坑不是网上抄来的理论答案。现象可能原因解决方案Loss不下降学习率太大或太小位置编码维度对不上先用0.001初始学习率配合余弦退火检查输入输出维度是否匹配预测曲线滞后于真实值模型过度依赖最近值没有学到周期特征增加Encoder层数到3-4层增大d_model检查数据周期长度和窗口长度是否匹配多步预测远端误差爆增迭代多步误差累积切换到直接多步或采用混合策略前12步迭代后12步直接训练时Loss震荡剧烈学习率过高batch_size太小降低学习率到0.0005增大batch_size到128检查梯度裁剪是否生效位置编码导致训练崩溃max_len设置小于序列长度设置max_len为lookback的2倍以上预留充足空间验证集MAE很低但测试集很高验证集与训练集数据泄漏随机划分导致改用时间顺序划分训练集在前验证集测试集在后预测值整体偏平数据标准化后模型输出范围受限检查是否忘记反标准化可能是Huber Loss超参设置不当6.2 学习率与窗口长度的调参心得学习率是Transformer训练里最关键的参数之一。我实际试过0.01、0.001、0.0001三档0.01直接发撒Loss值跳到几十0.001最稳配合余弦退火能从0.02降到0.005左右0.0001太慢50轮还没完全收敛。如果你用更大的模型d_model128或更高建议初始学习率降到0.0005。窗口长度lookback也是一个容易被忽视的参数。窗口设得太短模型看不到完整周期预测效果会打折窗口设得太长有效样本数减少训练变慢而且模型可能记住过远的无关历史。一个实用原则是窗口长度至少覆盖数据的一个完整主要周期。比如你的数据有明显24小时周期lookback至少设成24最好设成1205个周期让模型有足够的上下文理解相位。日周期数据配48或72效果最好。我做实验时lookback120和lookback48对比120的效果明显更好尤其是在峰值预测上。6.3 梯度裁剪、权重衰减与随机种子训练稳定性是Transformer在时序任务上的常见痛点我建议在训练时这几点必须做梯度裁剪max_norm设为1.0。Transformer深层堆叠更容易梯度爆炸裁剪能显著提升稳定性。权重衰减AdamW的weight_decay设为1e-5到1e-4。时序预测容易过拟合有一点正则化总比没有好。固定随机种子在代码里设置torch.manual_seed和numpy.random.seed确保每次实验可复现。做超参数对比时如果随机种子不固定两次实验的差异可能完全来自随机性无法判断超参数真正的影响。6.4 项目扩展方向建议这套代码跑通之后往下面这些方向扩展会很有价值多变量预测把气温、湿度、风速等多个特征一起作为输入看看Transformer能否通过注意力机制学到变量间的交互关系。对多变量数据输入形状从 (batch, lookback, 1) 变成 (batch, lookback, feature_dim)其他部分基本不变。加入时间特征把小时、星期、月份等时间信息作为额外特征拼进输入。对时序预测周期性时间信息非常有用能显著改善周期相位调整问题。改为ProbSparse Attention等轻量注意力如果序列很长上千步标准自注意力的O(n^2)复杂度会吃不消可以考虑替换成LogSparse或ProbSparse注意力机制。引入PatchTST的分片思想把时间序列切块成patch再做attention既能缩短序列长度又能让模型捕获局部模式效果在长序列上提升明显。个人经验总结整个实验做下来我最大的体会是Transformer做时序预测真正决定上限的不是模型结构而是你对数据的理解。窗口长度、预测horizon、是否多变量这些设计决策对最终效果的影响比选择哪种注意力变体更大。强烈建议先彻底搞懂数据和业务需求再动手写模型。如果你只是想在已有数据集上跑通代码验证一下我的这套框架足够你快速起步但真正用到生产环境时一定要重新审视评估指标、数据分布和预测时域这些基础问题。做Transformer时序预测八成时间花在数据和评估设计上模型本身反而是最简单的一环。本文还有配套的精品资源点击获取
