1. 环境准备与源码解析第一次接触APFNet复现时我花了整整三天才把环境配置明白。这里分享几个关键点建议使用Ubuntu 18.04系统Python 3.7环境下运行。PyTorch版本要特别注意——实测1.7.1最稳定高版本会出现奇怪的维度错误。源码结构其实很有讲究。下载完项目后你会看到这些核心目录/pretrain藏着数据预处理的玄机/models像保险柜一样存放各阶段模型/tracking里的Run.py是测试入口最容易踩的坑是CUDA版本匹配。我遇到过最诡异的问题是明明nvidia-smi显示驱动正常但torch.cuda.is_available()返回False。后来发现是conda自动安装了不兼容的cudatoolkit。解决方法很暴力但有效conda install cudatoolkit10.2 pip install torch1.7.1cu102 -f https://download.pytorch.org/whl/torch_stable.html2. 数据预处理实战技巧GTOT和RGBT234这两个数据集的处理堪称玄学。原论文没说清楚的是每个属性子集OCC/SC/TC等需要单独生成pkl文件。这就意味着要运行prepro_data.py整整12次我写了个自动化脚本帮你搞定这个繁琐过程import subprocess attributes [FM, OCC, SC, TC, ILL, ALL] for attr in attributes: cmd fsed -i s/challenge_type .*/challenge_type \{attr}\/ prepro_data.py subprocess.run(cmd, shellTrue) subprocess.run(python prepro_data.py, shellTrue)注意几个魔鬼细节seq_home路径最好用绝对路径Linux和Windows的斜杠方向不同生成的pkl文件建议校验MD5值我有次遇到文件损坏导致训练时报KeyErrorgtot.txt文件要用UTF-8编码Windows默认的ANSI编码会报错3. 三阶段训练全解3.1 预训练阶段这个阶段很多人会直接跳过但其实暗藏杀机。原项目的mdnet_imagenet_vid.pth需要从CSDN下载虽然不太优雅但没办法。有个小技巧用wget下载时加--show-progress参数大文件断点续传更安心。关键配置项在train_mdnet.py里parser.add_argument(-d, --dataset, defaultgtot) # 必须小写 parser.add_argument(-init_model_path, default./models/mdnet_imagenet_vid.pth)我建议先跑GTOT再跑RGBT234因为前者数据量小能快速验证流程是否正确。3.2 第一阶段属性分支训练这是最耗时的阶段每个属性分支要单独训练。我的显卡是RTX 3090每个分支大约需要4小时。有几点经验batch_pos不要超过32否则显存爆炸可以用nvidia-smi监控显存占用发现泄漏立即中断日志里关注precision曲线如果震荡太大要调小lr修改train_stage1.py时特别注意# 这个路径最后的.pth必须保留 parser.add_argument(-model_path, default/path/to/GTOT_FM.pth)3.3 第二阶段全局特征融合此时要切换pretrain_option.py的配置# 注释掉stage1的配置取消stage2的注释 opts[ft_layers] [ensemble,fc6] opts[lr_mult] {ensemble:10,fc6:5}这个阶段容易遇到loss不下降的问题。我的解决方案是检查第一阶段各分支模型的精度是否都0.9适当增大n_cycles到800添加梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5)3.4 第三阶段Transformer微调终极Boss来了这里最大的坑是显存管理。即使24G显存的3090也可能OOM解决方法# 在train_stage3.py中添加 torch.backends.cudnn.benchmark True torch.cuda.empty_cache()训练时建议用watch -n 1 nvidia-smi监控。如果看到显存占用持续增长可能是数据加载器的问题试试把num_workers设为0。4. 跨数据集测试秘籍测试环节最让人崩溃的是路径配置。Run.py里有三个致命参数parser.add_argument(-dataset, defaultRGBT234) # 测试集名称 parser.add_argument(-model_path, default./models/GTOT_ALL_Transformer.pth) # 注意这里是训练集命名的模型 parser.add_argument(-result_path, default/absolute/path/to/results/) # 必须绝对路径测试结果的分析有门道。不是简单看跟踪框位置要关注RGB和Thermal模态的框是否对齐在OCC(遮挡)场景下的稳定性处理Fast Motion时的响应速度我写了个可视化比对脚本import cv2 def draw_boxes(rgb_path, thermal_path, box_file): # 实现多模态框对比绘制 ...5. 常见报错解决方案在这三个月复现过程中我记录了这些典型错误CUDA out of memory降低batch_frames到4设置torch.no_grad()用with torch.cuda.amp.autocast()开启混合精度KeyError: pos_samples检查pkl文件是否完整重新生成预处理数据确认Python版本是3.7NaN in loss减小学习率到1e-5添加梯度裁剪检查数据是否有异常值最后说个血泪教训一定要用git管理每个阶段的模型我有次误删了第三阶段的checkpoint不得不重新跑了72小时...
