简介面向自动驾驶与计算机视觉学习者这份压缩包提供了基于U-Net模型在TuSimple数据集上训练的车道线检测完整项目。包内共15个文件包括7个Python脚本覆盖模型结构、数据集处理、训练与预测流程、2个Markdown说明文档、2个文本配置以及4个AVI/MP4演示视频可用于直观查看实线、虚线、湿滑路面等多种场景下的预测效果压缩包整体约7.89MB轻量易上手。已有581人学习适合希望快速了解车道线分割思路、复现U-Net训练流程或作为入门参考的学习者。通过阅读源码与视频读者能掌握图像分割模型的构建、损失函数与优化器选择、TuSimple数据预处理及结果评估方法为后续开展自动驾驶感知研究打下基础。1. 用U-Net在TuSimple上跑车道线检测先搞清楚这份工程能给你什么拿到这个压缩包的人多半是想在车道线检测上快速跑通一套U-Net。标题很短但信息量不少模型用的是UNet结构数据集是TuSimple产物是「预测车道线的效果」。换句话说这是把语义分割的思路直接套在车道线任务上——把每根车道线当成前景像素训练一个端到端的二分类分割网络再从概率图里还原出线条。这个方案最大的价值是门槛低、可复现不需要复杂的anchor设计不需要预处理车道线方程显存要求也不高一张入门卡就能跑。适合刚接触分割类车道线检测、或者想拿U-Net做baseline对比的工程师和数据爱好者。后面几章我会按「数据怎么准备→网络怎么改→参数怎么调→坑在哪→效果怎么验」把这条路完整走一遍。2. 从TuSimple标注到训练样本把json折线变成能喂给U-Net的mask2.1 TuSimple标注里不止有折线lanes、h_samples与-999的含义TuSimple数据集的标注是json格式每条车道线由一组离散点组成。原始json里关键的字段有raw_file图像路径、lanes所有车道线的x坐标列表、h_samples对应的y坐标采样点。这里有个新手必踩的细节lanes里的坐标和h_samples按位置一一对应如果某一行没有这条车道线x坐标用-999表示。转mask时不滤掉这些-999画出来的线会直接横穿整张图训练出来的模型也会在错误位置响应。拿到一条json先打印看看结构这个习惯能省掉后面很多排查时间。import json with open(label.json, r) as f: ann json.loads(f.readline()) print(原始图像:, ann[raw_file]) print(车道线数量:, len(ann[lanes])) print(采样高度数量:, len(ann[h_samples])) for i, lane in enumerate(ann[lanes]): valid [(x, y) for x, y in zip(lane, ann[h_samples]) if x ! -999] print(f第{i}根线有效点数量: {len(valid)})这段代码做的事情很简单把json的第一条标注读出来统计每根车道线有多少个有效点。重点在列表推导里的x ! -999TuSimple的标注里-999表示该行不存在这条线如果不过滤后续绘图函数就会用异常坐标画出一堆斜线。h_samples是等间隔采样的纵坐标不同标注文件长度可能略有差异打印出来核对下能帮你判断是数据问题还是代码问题。2.2 把json转成mask一张图几行代码但thickness是第一个坑常见做法是用OpenCV的polylines把离散点连成折线画在一张全零图上。这里有个参数很多人第一次会忽略thickness。车道线在原始图里只有几像素宽如果mask也跟着画成1像素U-Net训练时会极度偏向背景因为前景像素占比太小网络倾向于把整张图都预测成背景。我一般会把线条画到6到10像素宽让正负样本比例不那么悬殊训练稳定性会好很多。import json import numpy as np import cv2 def tusimple_to_mask(json_path, img_shape(720, 1280), thickness8): with open(json_path, r) as f: anns [json.loads(line) for line in f] masks [] for ann in anns: mask np.zeros((img_shape[0], img_shape[1]), dtypenp.uint8) for lane in ann[lanes]: pts [(x, y) for x, y in zip(lane, ann[h_samples]) if x ! -999] if len(pts) 2: pts np.array(pts, dtypenp.int32).reshape(-1, 1, 2) cv2.polylines(mask, [pts], isClosedFalse, color255, thicknessthickness) masks.append(mask) return masks这里有两个逻辑点要说明。先做len(pts) 2判断是因为只有单个有效点时没法构成线段polylines画不出来甚至报错。再一个就是reshape(-1, 1, 2)OpenCV的polylines要求点集是N×1×2的形状少这个维度会直接抛异常。输出是uint8的0/255图后面可以存成png或npy训练时统一读入不需要在DataLoader里重复转换。thickness的选择值得多说一句8像素是我常用的起点。如果你的数据里弯道多、曲率大mask画粗一点后处理拟合时不容易断线但太粗会把相邻车道线糊成一片模型就分不清两条线的边界了。一般先用8观察效果再往6或10调整。2.3 训练集/验证集划分与数据组织方式TuSimple官方提供的训练数据有三千多张常见的做法是把官方json文件按8:2随机切分。我的建议是尽量不要用随机划分因为TuSimple是按路段采集的同一条路的连续帧画面相似度很高随机划分很容易让同路段的帧同时出现在训练集和验证集里验证指标虚高但换路段就露馅。如果工程包里有官方划分好的文件直接用官方划分。数据组织上把每张图像路径和对应的mask路径存成一行一对的text文件训练时用Dataset类去读。如果包里有预先生成的mask目录加载会快很多如果没有第一次运行时要先全量生成一遍这一步值得等别在DataLoader里现场算具体原因后面避坑章会展开说。这里给一个最小可用的Dataset实现from torch.utils.data import Dataset from PIL import Image import numpy as np class TusimpleLaneDataset(Dataset): def __init__(self, pairs_file, img_dir, mask_dir, size(256, 512)): self.pairs [] with open(pairs_file, r) as f: for line in f: line line.strip() if line: img_path, mask_path line.split() self.pairs.append((img_path, mask_path)) self.img_dir img_dir self.mask_dir mask_dir self.size size def __len__(self): return len(self.pairs) def __getitem__(self, idx): img_path, mask_path self.pairs[idx] img Image.open(f{self.img_dir}/{img_path}).convert(RGB) mask Image.open(f{self.mask_dir}/{mask_path}).convert(L) img img.resize(self.size, Image.BILINEAR) mask mask.resize(self.size, Image.NEAREST) return np.array(img).transpose(2, 0, 1) / 255.0, np.array(mask) / 255.0这段代码里最值得注意的细节是mask的resize插值方式。掩膜图必须用NEAREST最近邻不能用BILINEAR或BICUBIC否则双线性插值会在车道线边缘产生灰度过渡像素这些中间值会让BCE损失计算变得混乱训练出来的概率图边缘会发虚。图像本身用BILINEAR没问题因为RGB图缩小时需要抗锯齿。3. 搭一个能训练的车道线U-Net网络改动、损失函数与最小训练循环3.1 为什么是U-Net细线目标更要靠浅层特征车道线检测本质上是像素级的前景/背景分类FCN这类纯卷积分割网络也能做但实践里有个明显短板下采样太深、上采样太浅边缘细节恢复得不好。车道线是长条细目标偏移一两个像素线看起来就歪了。U-Net靠跳跃连接把编码器的浅层特征直接拼到解码器这些浅层特征保留了更多的位置和边缘信息对细线目标非常友好。这是U-Net在医学图像分割里反复验证过的结构优势放在车道线上同样成立。不少人拿着yolov8训练自己的数据集的经验来套这个任务结果发现完全不是一回事。检测框和分割mask是两种表达方式车道线这种长条目标用检测框来表达很别扭而且只输出框拿不到像素级的线。U-Net作为baseline的价值就在这结构简单改动点少一两天就能跑通并看到一个不错的分割效果之后再考虑换更复杂的方法。3.2 U-Net结构怎么改三下三上、输出1通道的基线网络U-Net的原始结构是为医学图像设计的输入是单通道灰度图输出是多类分割。用在车道线上只需要改两点输入通道改成3RGB输出通道改成1只有前景/背景两类。下面是一份完整的U-Net实现按我的习惯精简到三下三上通道数从32起步适合在256x512输入上训练。import torch import torch.nn as nn class DoubleConv(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.block nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue), nn.Conv2d(out_ch, out_ch, 3, padding1), nn.BatchNorm2d(out_ch), nn.ReLU(inplaceTrue) ) def forward(self, x): return self.block(x) class SimpleUNet(nn.Module): def __init__(self, in_channels3, out_channels1, base32): super().__init__() self.enc1 DoubleConv(in_channels, base) self.enc2 DoubleConv(base, base * 2) self.enc3 DoubleConv(base * 2, base * 4) self.pool nn.MaxPool2d(2) self.bridge DoubleConv(base * 4, base * 8) self.up3 nn.ConvTranspose2d(base * 8, base * 4, kernel_size2, stride2) self.dec3 DoubleConv(base * 8, base * 4) self.up2 nn.ConvTranspose2d(base * 4, base * 2, kernel_size2, stride2) self.dec2 DoubleConv(base * 4, base * 2) self.up1 nn.ConvTranspose2d(base * 2, base, kernel_size2, stride2) self.dec1 DoubleConv(base * 2, base) self.out_conv nn.Conv2d(base, out_channels, kernel_size1) def forward(self, x): e1 self.enc1(x) e2 self.enc2(self.pool(e1)) e3 self.enc3(self.pool(e2)) b self.bridge(self.pool(e3)) d3 self.dec3(torch.cat([self.up3(b), e3], dim1)) d2 self.dec2(torch.cat([self.up2(d3), e2], dim1)) d1 self.dec1(torch.cat([self.up1(d2), e1], dim1)) return self.out_conv(d1)这个网络有两个地方值得展开说明。第一是跳跃连接decoder每一层都把上采样结果和对应encoder的feature map做通道拼接torch.cat([...], dim1)就是把通道维度拼起来这样解码器既有上采样的语义信息又有编码器传来的边缘细节。第二是输出层最后用1x1卷积把通道压到1输出不加sigmoid因为后面配合BCEWithLogitsLoss一起算sigmoid被集成进损失函数里数值上更稳定。输入尺寸为什么选256x512而不是512x512TuSimple原图是1280x720横向构图等比缩放到256x512正好不拉伸不变形。如果缩到128x256车道线的细节会丢得厉害如果上512x1024显存占用会翻好几倍训练速度也慢。256x512是绝大多数入门卡都能接受的平衡点。3.3 损失函数BCEWithLogitsLoss与类别不平衡车道线的类别不平衡问题比一般分割任务更严重。靠近边的区域至少有百分之几的前景占比车道线只有零点几个百分点。如果直接用普通的BCELoss网络会很快学会把所有像素都预测为背景因为那样loss也很低。常见的处理手段是给BCEWithLogitsLoss设置pos_weight也就是对前景像素的梯度放大。pos_weight5表示前景像素的loss权重是背景的5倍。这个值不用太精确先给5观察训练时如果loss下降太慢就加大如果mask出现大片假阳性的噪点就减小。另一种做法是叠加DiceLoss它的好处是直接优化分割区域的重叠度对类别比例不敏感但小目标上梯度不够稳定我一般是只用一个dice项加一个BCE项dice的权重设成0.5左右具体看效果。criterion nn.BCEWithLogitsLoss(pos_weighttorch.tensor([5.0]))一句话说明这里传的是一个列表因为BCEWithLogitsLoss按通道处理我们输出只有1个通道所以要写成[5.0]而不是5.0。如果后续改成多通道输出比如每个实例一根线这个pos_weight也要改成对应通道数的列表。3.4 最小训练循环跑通一个epoch需要哪些代码在配置好环境和数据之后训练的部分其实很少。下面这个循环就是完整的最小可复现版本优化器用Adam学习率1e-3再加一个StepLR在每10个epoch把学习率减半。这种配置对于U-Net分割任务来说是很稳的起点。import torch from torch.utils.data import DataLoader model SimpleUNet(in_channels3, out_channels1, base32).cuda() criterion nn.BCEWithLogitsLoss(pos_weighttorch.tensor([5.0]).cuda()) optimizer torch.optim.Adam(model.parameters(), lr1e-3) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.5) train_loader DataLoader( TusimpleLaneDataset(train.txt, images, masks), batch_size8, shuffleTrue, num_workers4, pin_memoryTrue ) for epoch in range(30): model.train() total_loss 0.0 for imgs, masks in train_loader: imgs, masks imgs.cuda(), masks.cuda() preds model(imgs) # 原始logits形状 B x 1 x H x W loss criterion(preds, masks) # masks是0/1浮点与logits直接比较 optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() scheduler.step() print(fepoch {epoch1}, loss: {total_loss / len(train_loader):.4f})这里有个新手容易踩的细节masks不要先套sigmoid。BCEWithLogitsLoss的内部实现是先对preds做sigmoid再计算交叉熵输入应该是未经激活的logits。如果不小心在模型输出后手动加了sigmoid再传给这个损失函数数值上虽然也能算但梯度会不稳定训练收敛明显变慢。另一个细节是pos_weight这个tensor也要放到cuda上否则前向时会因为device不一致报错。4. 训练参数调优与效果评估从loss能降到多少到F1怎么算4.1 必调参数表从lr到pos_weight一次说清训练U-Net车道线模型需要调整的参数不多但每个都直接影响结果。下面这张表是我认为最有用的起点参数组合按这个配置先跑通再根据你的实际效果去调。参数建议起始值调试方向说明输入分辨率256x512128x256 / 288x512分辨率越低训练越快但细节丢失明显batch size84 / 16显存不够就减到4同时可适当降低lr优化器Adam, lr1e-3SGD, lr0.02 momentum 0.9Adam收敛快SGD最终精度略稳epoch3050 / 80三千多张图30轮基本能看出趋势pos_weight51 / 10用于平衡前景像素占比过低的问题mask thickness86 / 10画mask时的线条宽度影响正样本占比推理阈值0.50.3 / 0.7只影响后处理不影响训练loss降到什么程度算正常加了pos_weight之后BCE loss会在0.1到0.3之间浮动越低越好但这不代表模型达到瓶颈。如果你发现loss卡在0.5以上下不去先检查pos_weight是不是不小心传成了1.0或者数据加载时是不是真的读到了有前景的mask。我见过有人在Dataset里把像素归一化成0到255之外的值导致BCE在数值上异常膨胀排查了很久才发现是数据类型的问题。4.2 数据增强亮度扰动为什么比随机裁剪优先数据增强里最容易犯的错是对车道线图像直接套用通用目标检测那套增强方案。随机裁剪要非常小心因为车道线往往延伸到图像边缘裁剪后大量车道线被切断模型看到的正样本是半截线语义被破坏。同样的道理随机旋转也不适合旋转会让车道线的形状偏离真实物理规律道路上的线不会随便歪斜。我一般把亮度、对比度扰动放在第一位。TuSimple是白天高速路场景光照变化其实很有限但训练时引入小范围的亮度抖动能让模型对白色/黄色标线的反射差异更鲁棒。实现上用PyTorch自带的ColorJitter就够brightness给0.2、contrast给0.2不要加太多否则mask和图像之间会出现语义错位。水平翻转可以用因为车道线左右对称性在这个任务上是成立的Flip之后把mask一起翻。下面是一个常用的增强组合from torchvision import transforms train_transform transforms.Compose([ transforms.ColorJitter(brightness0.2, contrast0.2), transforms.RandomHorizontalFlip(p0.5), ])使用说明这个transform要同时作用于图像和maskColorJitter只改图像本身mask是二值图不需要跟着变但水平翻转时图像和mask必须一起翻否则标注错位导致训练出来全是错乱的线。如果发现训练集增强太重导致过拟合不减优先降低ColorJitter的幅度而不是去掉翻转。4.3 评估指标像素IOU与TuSimple官方F1的口径差异训练过程中的评估和最终效果评估要分开看。训练时用像素IOU就够了它反映的是mask预测的质量计算简单、跑得快。但TuSimple官方的评测指标是F1它跟像素IOU的口径完全不同官方评测先把预测出来的车道线点集和真实车道线点集做匹配落在距离阈值内算命中再按线粒计算precision和recall最后算F1。也就是说官方指标关心的是「线找没找对、线画得准不准」而不是「每个像素对不对」。这两个指标很容易出现背离的情况。比如模型预测出一根轮廓发虚的宽线像素IOU可能不错但线心的位置偏移了官方F1就拉低了。反过来预测线很细很锐利但有一小段断了IOU不高但官方F1可能很高因为断线不影响线级别的匹配。所以如果你最后要跟别人对比必须用TuSimple官方F1如果只是自己验证U-Net效果像素IOU加上逐个可视化就够用。我这里给一个训练阶段检查IOU的最小实现def compute_iou(preds, masks, thr0.5): preds (preds thr).float() inter (preds * masks).sum() union (preds masks).clamp(max1).sum() return (inter 1e-6) / (union 1e-6)这个函数很简单inter是预测和真实mask重叠的像素数union是两者并集的像素数加两个1e-6的epsilon是为了防止分母为0。在训练循环里每隔几个epoch跑一次验证集看到IOU开始下降而loss还在降那说明模型开始过拟合了这时候早停比继续训练划算。5. U-Net车道线训练常见问题5个翻车现场与排查思路5.1 车道线太细loss下降慢、mask全黑现象训练了好几个epochloss在0.5以上波动降不下去验证集的预测mask几乎全黑。原因车道线像素占比本身就低如果你把mask画成1像素宽那么正样本占比可能只有0.1%到0.5%。在这种极度不平衡的情况下即使全部预测为背景loss也不算高。网络没有足够的梯度信号去学习前沿的细节。解决把标注转mask时的thickness从1改成6以上给BCEWithLogitsLoss增加pos_weight5再观察如果还不行就提高到10或者直接往loss上加一个DiceLoss项Dice对前景区域的比例不敏感能有效拉高前景分割质量。这三个改动按顺序做做完之后loss通常会在两三个epoch内明显下降。5.2 验证IOU高但可视化全是噪点现象验证集IOU有0.6以上但你拿预测图叠加到原图上一看车道上全是零散的白色噪点轮胎印、路面缝隙都被预测成了车道线。原因验证时用了整体准确率作为指标在不平衡数据集上准确率天然虚高另一个原因是没有做后处理直接拿概率图过了0.5阈值就去可视化小噪点全被当成了前景。如果模型里用了BatchNorm或Dropout还要检查推理时是不是忘了model.eval()这会导致BN和Dropout还在用训练模式预测结果带随机性。解决可视化验收时不看指标直接看预测图和原图的叠加。推理端加一层连通域过滤把小于30像素的区域直接去掉。务必在加载权重后调用一次model.eval()再测一次指标对比往往能发现验证指标被高估了不少。5.3 同一份代码换机器精度对不上现象把自己的训练工程拷到另一台机器上同样的数据同样的超参最后验证指标差了一截甚至中间loss曲线都不一样。原因训练环境的PyTorch版本、CUDA版本不同卷积和池化的底层实现有非确定性另外显存大小不同导致你无意识地改了batch sizebatch size变了但lr没同步调整相当于换了一套训练配置。这两类问题叠加起来效果对不上很常见。解决在代码入口固定随机种子包括torch.manual_seed和numpy.random.seed如果追求严格复现可以用torch.use_deterministic_algorithms(True)代价是训练速度变慢。更重要的习惯是把batch size、lr、增强参数、mask thickness全部写进一个config文件里每次跑实验都记录。这样换机器后按config恢复环境精度对不上的问题基本能定位到是不是依赖版本变了。5.4 数据加载慢到GPU利用率只有十几现象GPU显存占用正常但利用率一直在百分之十几训练一个epoch要半小时以上感觉像在跑CPU课程。原因最常见的错误是在DataLoader里实时读json、实时画mask这意味着每个epoch都要在CPU端重新跑一遍OpenCV的polylines。这个操作非常慢尤其是lanes列表很长几百个点循环绘制耗时严重。另一个问题是mask以png格式存储IO本身不慢但如果你在Dataset里每次resize也会拖慢整体加载速度。解决预处理把mask提前生成并保存好训练时只读现成的png或npy文件不要在Dataset里做json解析和画线。DataLoader设置num_workers4到8pin_memoryTrue这样数据加载和GPU训练能重叠起来。TuSimple只有几千张图整个数据集完全可以缓存进内存Dataset里加一个字典做缓存速度会再快一截。5.5 弯道处断线mask标注与后处理的双重问题现象直道路段预测效果不错但弯道和匝道处车道线断成几截连通域计数临时多了好几根。原因TuSimple的标注本身是离散点线性连接弯道处采样点稀疏折线会切弯和真实曲率有偏差。mask只画了8像素宽弯道一旦曲率大预测出的前景在这个区域特别薄后处理时很容易被面积过滤规则误删。解决绘图时对采样点做一次三次样条插值再画线让弯道区域的mask曲率更平滑。后处理的过滤阈值不要设得太高min_area给到30左右。最后一招是加曲线拟合把每个连通域的点做多项式拟合把断线重新接起来。别指望训练能把断线彻底干掉后处理才是弯道修复的主力。6. 从预测mask到可视化效果连通域过滤与车道线拟合6.1 连通域过滤把概率图变干净预测出的概率图直接叠到原图上会很难看需要过滤掉零散噪点。常见做法是用OpenCV的connectedComponentsWithStats做连通域分析按面积阈值保留目标区域。import cv2 import numpy as np def filter_by_area(prob, thr0.5, min_area30): mask (prob thr).astype(np.uint8) n, labels, stats, _ cv2.connectedComponentsWithStats(mask, connectivity8) out np.zeros_like(mask) for i in range(1, n): if stats[i, cv2.CC_STAT_AREA] min_area: out[labels i] 1 return out说明背景label是0遍历从1开始。stats的CC_STAT_AREA列直接给出每个连通域的像素数小于min_area的直接丢弃。min_area的设置要跟图像缩放比例挂钩如果推理时输入是512x102430可能偏严调整到100左右更合适。这个函数只保留面积满足要求的连通域断线问题在视线上会明显改善。6.2 曲线拟合每个连通域一条多项式过滤后的每条连通域本质上都是一堆像素坐标要得到平滑的线条常见做法是按x坐标做聚类再对每一簇做多项式拟合。这里给一个简化版本假设你已经把像素点按车道线分好了簇用二次多项式拟合最合适因为真实车道线在道路平面上的投影接近抛物线。def fit_polyline(points, degree2): xs points[:, 0].astype(np.float32) ys points[:, 1].astype(np.float32) coef np.polyfit(ys, xs, degree) poly np.poly1d(coef) ys_plot np.linspace(ys.min(), ys.max(), 100) xs_plot poly(ys_plot) return np.stack([xs_plot, ys_plot], axis1)这里用y作为自变量拟合x原因是车道线在图像里大多是竖条如果反过来用x拟合y弯道弧度大的地方会出现一个x对应多个y的歧义拟合出来的线是乱的。输出是一组平滑点可以直接用cv2.polylines画到原图上。6.3 效果验收把mask叠到原图上逐帧检查跑训练的时候每到几个epoch就导出一批预测图把mask和原图按0.6和1.0的权重叠加存成一张jpg。这样能看到模型在直道、弯道、阴影分别是什么表现。我最常做的是直接抽一段视频让模型逐帧预测输出带线条的合成视频这比看单张图能更快发现问题。像弯道断线、直道抖动这类问题单张图可能不明显一放到连续帧里就原形毕露了。做完预测之后再把训练好的模型权重、推理脚本、后处理参数整理好这样整个流程才算闭环。我现在养成的习惯是每跑通一个项目就把「数据准备脚本训练配置推理脚本」三件套固定下来下次做任何U-Net相关的任务直接复用这套骨架能省非常多是时间。车道线检测这个方向U-Net可能不是最终落地的最优解但它作为baseline的价值很大——统计指标、后处理流程、数据pipeline全是这套东西打底。希望这个工程能帮你把第一步迈得稳一些也希望这些踩坑经验能让你少折腾几个晚上祝顺利。本文还有配套的精品资源点击获取
