简介面向机器人导航与自动驾驶等真实场景这份资源围绕双目摄像头提供从立体匹配、视差计算、深度图生成到点云重建的完整算法系统同时涵盖目标检测与跟踪、实时视频处理、相机标定与校正等关键环节适合计算机视觉开发者与相关方向研究人员参考学习。包内共132个文件、约8.12MB以20个Python算法脚本为核心配以50张JPG示例图像另有HTML/CSS/JS可视化页面、TXT说明、DOCX文档及少量DLL/LIB运行库目录结构清晰便于按模块查阅。已有229人浏览学习。读者可对照源码理解块匹配、特征匹配、图割等立体匹配算法的实现思路借助示例图像验证视差图与深度图生成效果参考文档掌握相机标定及多视角几何的关键流程为搭建可落地的双目视觉系统提供有价值的参考。1. 双目立体视觉的三维重建为什么一张图不够两张图刚好双目摄像头之所以能在机器人导航和自动驾驶环境感知里站住脚是因为它用最朴素的三角测量原理把像素变成了距离。单目相机能告诉你画面里有什么但给不出物体到底离你多远激光雷达给得出距离但成本和功耗不是所有场景都扛得住。双目立体视觉把两个普通相机固定成一对眼睛通过立体匹配找到左右图像中的同名点算出视差再映射成深度图和三维点云——这就是标题里那套算法系统的骨架从相机标定与校正、立体匹配、视差计算到深度图生成、点云重建再到目标检测与跟踪的完整链路。整套方案特别适合移动机器人避障、AGV导航、自动驾驶周边感知这类需要实时拿到稠密深度的落地场景。至于最近常被提起的nerf三维重建它擅长离线重建静态场景与双目这种逐帧实时出深度的几何路线是两条赛道本文只聊后者。2. 相机标定与极线校正误差0.1像素背后是几何关系在兜底立体视觉最核心的公式是 Z f * B / df是焦距、B是基线、d是视差。这个公式看着简单但每一项都有误差放大效应深度Z对视差d的导数等于 Z² / (fB)意味着同样一个像素的视差误差在近距离可能只造成几毫米偏差到了10米外会变成几十厘米甚至数米的偏差。所以整个系统从第一步「相机标定」开始就必须把内参和外参抠到极限这也是标题里那套系统把相机标定与校正放在最前面的根本原因。双目标定分两层。单目标定求出每个相机的内参矩阵(fx, fy, cx, cy)和畸变系数(k1, k2, p1, p2, k3)决定了畸变纠正的质量双目标定求出左右相机之间的旋转矩阵R和平移向量T决定了极线校正的质量——也就是立体匹配时左右图像的同名点能否落在同一行。任何一个环节差一点后面SGBM的代价计算再聪明都找补不回来。我用的经典张正友标定法拍摄一组棋盘格在不同位姿下的图像对自动提取角点再做闭合解加非线性优化的两步标定。2.1 为什么标定误差会直接变成深度误差前面提到深度误差的放大效应这里用一个具体数字来说明。假设基线B120mm、焦距f6mm某个目标距离相机5米对应视差d fB/Z 6*120/5000 0.144mm折算到像素尺寸3.75μm640x480的1/2.7传感器大约是38像素。如果视差测量误差达到0.5像素也就是1.3%深度误差直接放大到约5米的1.3%即6.5厘米。看起来不大同样的0.5像素误差在20米距离上深度误差会膨胀到接近1米。这就是为什么标定阶段看似只影响零点几像素的对齐质量却决定了整个系统能不能远距离使用。在移动机器人场景里2到5米的避障精度要求通常在10厘米以内标定质量必须保证极线对齐在0.3到0.5像素以内。相机支架的机械刚性也是同一层面的问题两个镜头之间的微小晃动会实时改变外参标定结果只对操作当时的状态有效。我见过不少项目把大量精力花在调SGBM参数最后发现深度飘移其实是支架用手一按就动了这种问题算法层面无解。实操中我偏好9x6内角点、边长25mm的棋盘格拍18到20组覆盖俯仰、偏航、侧滚三种旋转方向和不同距离。注意不能只拍正对相机的位姿那样外参求解的病态程度会急剧上升。标定板的平整度是很多人忽略的变量普通喷绘棋盘格在远距离标定时表面弧度会造成亚像素级的角点偏移标定出来的焦距可能带0.5%的假性偏差。条件允许的话尽量用玻璃基板或陶瓷基板的棋盘格平整度有保证一块能用好几年。2.2 用OpenCV完成双目标定的最小可跑流程标定过程分成三步走先用findChessboardCorners逐张采集角点坐标再用calibrateCamera分别标定左右相机的内参和畸变最后用stereoCalibrate求双目标定用stereoRectify得到校正映射。下面的脚本可以直接跑通一版import cv2 import numpy as np # 棋盘格内角点尺寸 pattern_size (9, 6) square_size 25.0 # 单位mm # 世界坐标系下的角点坐标z0平面 objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp * square_size obj_points [] # 世界坐标 img_points_l [] # 左图像素坐标 img_points_r [] # 右图像素坐标 # 假设您已经准备好成对标定图片calib/left_01.jpg, calib/right_01.jpg ... for i in range(1, 21): img_l cv2.imread(fcalib/left_{i:02d}.jpg, cv2.IMREAD_GRAYSCALE) img_r cv2.imread(fcalib/right_{i:02d}.jpg, cv2.IMREAD_GRAYSCALE) ret_l, corners_l cv2.findChessboardCorners(img_l, pattern_size, None) ret_r, corners_r cv2.findChessboardCorners(img_r, pattern_size, None) if ret_l and ret_r: obj_points.append(objp) img_points_l.append(corners_l) img_points_r.append(corners_r) # 单目标定得到内参矩阵和畸变系数 ret_l, mtx_l, dist_l, rvecs_l, tvecs_l cv2.calibrateCamera( obj_points, img_points_l, img_l.shape[::-1], None, None) ret_r, mtx_r, dist_r, rvecs_r, tvecs_r cv2.calibrateCamera( obj_points, img_points_r, img_r.shape[::-1], None, None) # 双目标定固定内参只求相对外参 R, T ret_s, mtx_l, dist_l, mtx_r, dist_r, R, T, E, F cv2.stereoCalibrate( obj_points, img_points_l, img_points_r, mtx_l, dist_l, mtx_r, dist_r, img_l.shape[::-1], flagscv2.CALIB_FIX_INTRINSIC) # 极线校正得到校正旋转矩阵和重投影矩阵 Q R1, R2, P1, P2, Q, roi1, roi2 cv2.stereoRectify( mtx_l, dist_l, mtx_r, dist_r, img_l.shape[::-1], R, T)这段代码的逻辑是先分别对左右相机做单目标定把内参固定住再用stereoCalibrate只求外参R和T最后用stereoRectify同时输出左右相机的校正旋转矩阵R1/R2、校正后的投影矩阵P1/P2以及一个最重要的Q矩阵——它会在后面把视差图转换成三维坐标时用到。几个参数值得专门说明。pattern_size的(9, 6)是内角点数量不是棋盘格总的格子数买标定板时先确认清楚。square_size的单位要跟后续点云重建的单位统一用毫米还是厘米都行但Q矩阵里的基线单位会跟着变。calibrateCamera返回的重投影误差通常能到0.1像素以下但这只代表单目畸变模型拟合得好双目好坏要看stereoRectify之后极线是否真正水平这一步的验证方法在下一节给出。2.3 极线校正与重投影矩阵立体匹配的入场券stereoRectify算出的R1、R2是校正旋转矩阵分别作用于左右图像让两幅图的光轴平行、极线水平。P1、P2是校正后的投影矩阵描述了三维点到校正后图像坐标的映射关系。Q矩阵是一个4x4矩阵把归一化视差映射成三维齐次坐标它内部编码了基线长度、主点偏移和焦距信息后面会直接喂给reprojectImageTo3D。实际操作中我们先用initUndistortRectifyMap生成左右两幅校正查找表再用remap应用到原始图像上。这一步做完左右图像的同一物理点就落在同一行上后面用SGBM做立体匹配时才能直接按行搜索复杂度从二维降到一维。# 生成校正映射并应用 map_lx, map_ly cv2.initUndistortRectifyMap( mtx_l, dist_l, R1, P1, img_l.shape[::-1], cv2.CV_32FC1) map_rx, map_ry cv2.initUndistortRectifyMap( mtx_r, dist_r, R2, P2, img_r.shape[::-1], cv2.CV_32FC1) rect_l cv2.remap(img_l, map_lx, map_ly, cv2.INTER_LINEAR) rect_r cv2.remap(img_r, map_rx, map_ry, cv2.INTER_LINEAR)remap的插值方式用INTER_LINEAR就够追求速度时可以换INTER_NEAREST但边缘会毛糙。映射表选CV_32FC1而不是默认的CV_16UC2是因为16位整数映射在标定板边缘区域会出现轻微的锯齿32位浮点表能保住亚像素精度。这里有个很容易踩的坑initUndistortRectifyMap的输入图像尺寸必须是校正后的目标尺寸如果直接传入原始图像尺寸不会报错但输出图像会被拉伸视差计算全部错位。极线校正结果怎么验证我习惯写一小段代码检测校正后左右图像的棋盘格角点对比同一角点的行坐标y值。差值超过0.5像素说明标定有偏差宁可重拍标定板也不要继续往下做立体匹配。# 验证极线校正质量比较左右图像角点的行坐标差 ret_l, corners_l cv2.findChessboardCorners(rect_l, pattern_size, None) ret_r, corners_r cv2.findChessboardCorners(rect_r, pattern_size, None) if ret_l and ret_r: max_row_diff np.max(np.abs(corners_l[:, 0, 1] - corners_r[:, 0, 1])) print(f极线最大行差: {max_row_diff:.3f} px)如果max_row_diff超过0.5px常见的起因是某一帧图像对拍摄时发生了轻微颤动或者标定板不平整。这时候不要急着调立体匹配参数先回去重新标定。老工程师常说的标定一小时调参一下午翻车全在标定误差没查清说的就是这个环节。3. 立体匹配与视差计算SGBM参数如何决定深度图的生死3.1 立体匹配的四步框架为什么SGM能成为工业默认选择经典立体匹配算法普遍遵循Scharstein与Szeliski总结的四步框架匹配代价计算、代价聚合、视差优化、视差细化。第一步计算左右图像像素在不同候选视差下的相似度第二步在支持窗口内聚合代价以抑制噪声第三步从聚合代价体中挑选最优视差第四步做左右一致性检查和亚像素插值。每一步都有若干算法变体组合起来能衍生出几十种立体匹配方法。SGM半全局匹配之所以是这些变体中最流行的是因为它在视差优化这一步引入了一个多方向动态规划的能量函数每一像素的匹配代价会沿8个或16个方向传播平滑惩罚项P1、P2在相邻像素视差变化时起作用。这个设计让SGM在无纹理区域和弱纹理区域的表现远好于纯局部方法又比全局图割方法快几个数量级。OpenCV的SGBM就是SGM的工程化实现它把代价计算限定在一个blockSize窗口内做块匹配再叠加多方向代价聚合结果在CPU上可以跑到接近实时的速度——这也是标题里实时视频处理的底气来源。理解这个框架对参数调优很重要。举个例子blockSize直接影响的是匹配代价计算的窗口大小而不是聚合窗口很多人以为它是聚合窗口导致调参方向完全错乱。另一个例子P1、P2属于代价聚合阶段的平滑惩罚它们只在相邻像素视差差值为1或大于1时有意义跟匹配代价本身没有关系。参数出问题时你至少该知道该去哪个阶段找原因。3.2 用OpenCV的SGBM跑通第一版视差图SGBM是C实现Python绑定里的调用方式如下。我给的是一组保守起步参数适合640x480分辨率、基线120mm左右的场景import cv2 import numpy as np min_disp 0 num_disp 128 # 必须是16的倍数 block_size 11 # SAD窗口边长奇数3~21之间 sgbm cv2.StereoSGBM_create( minDisparitymin_disp, numDisparitiesnum_disp, blockSizeblock_size, P18 * 3 * block_size ** 2, P232 * 3 * block_size ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange2, modecv2.STEREO_SGBM_MODE_SGBM_3WAY ) # 输入必须是校正后的灰度图 disp sgbm.compute(rect_l, rect_r).astype(np.float32) / 16.0 # 把无效视差标记为NaN方便后续过滤 disp[disp min_disp] np.nan参数说明如下numDisparities必须是16的倍数表示搜索的视差范围它直接决定计算量和能感知的最近距离128对应0到127的整数视差。blockSize是匹配窗口边长窗口越大平滑区域的误匹配越少但边缘处会把前景背景混在一起产生物体膨胀效果。P1和P2是平滑惩罚参数P2通常取P1的4倍左右P1惩罚相邻像素视差变化1个像素的情况P2惩罚变化超过1个像素的情况P2设得越大视差图越平滑但遇到真实深度断裂时容易把不同深度值的物体平滑到同一个视差上。disp12MaxDiff是左右一致性检查的阈值大于这个值的点会被判定为误匹配并置为无效1到2就够了。uniquenessRatio要求最低匹配代价比次低匹配代价小至少这个百分比才接受该视差10是一个常见起点。speckleWindowSize和speckleRange用于去除斑点噪声把面积小于speckleWindowSize且视差差异在speckleRange内的孤立区域替换为周围的一致性视差。mode默认建议用STEREO_SGBM_MODE_SGBM_3WAY它在精度和速度之间最均衡。返回值除以16是因为SGBM内部用定点数表示视差精度为1/16像素。这一步漏掉的话后面生成的深度图会整体偏小16倍而且这种错误非常隐蔽——深度图的形状完全正常只有数值全错。视差图质量快速检查方法把disp映射到0到255的灰度显示有效区域应该平滑连续边缘清晰锐利远处平缓变化近处变化快。如果看到横向条纹状的撕裂大多是P2过大把深度边缘过度平滑如果看到密集的黑点无效视差大多是uniquenessRatio过高或blockSize过小。这个视觉检查比盯着数字指标更直觉也更快。3.3 视差范围设定与WLS后处理两个影响精度的关键决定minDisparity和numDisparities决定了感知的深度范围。根据Z fB/d最大视差d_max对应最近距离最小视差d_min对应最远距离。在640x480分辨率、基线120mm、焦距6mm的典型配置下128像素的视差范围对应的最近深度约为5.6米——如果机器人需要感知2米内的障碍物这个配置完全不够必须加大numDisparities到256甚至512代价是计算量和内存占用同步翻倍。我一般先根据任务需求算一遍。公式是numDisparities ≈ fB/Z_min - fB/Z_max算完取最接近的16的倍数。举例f6mm、B120mm、Z_min0.5m、Z_max20m时需要的视差范围约720-36684像素这对单帧匹配来说已经非常吃力。所以近距感知通常需要增大基线或放宽Z_min需求远距感知则需要更高分辨率或更好的相机。这个取舍在项目立项阶段就应该定下来而不是等算法调不通了再换镜头。第一版SGBM输出的视差图通常有三大问题边缘锯齿、空洞无效像素、斑点噪声。空洞主要来自遮挡区域和左右一致性检查标记的误匹配。常见的处理顺序是先用WLS滤波做颜色引导的平滑再填充小面积空洞最后用中值滤波收尾。# WLS滤波需要OpenCV contrib模块 wls cv2.ximgproc.createDisparityWLSFilter(sgbm) right_matcher cv2.ximgproc.createRightMatcher(sgbm) disp_right right_matcher.compute(rect_r, rect_l).astype(np.float32) / 16.0 filtered_disp wls.filter(disp, rect_l, disparity_rightdisp_right) # 填充空洞小面积空洞用inpaint大面积空洞宁可保留NaN mask (filtered_disp 0).astype(np.uint8) * 255 filled_disp cv2.inpaint( filtered_disp.astype(np.float32), mask, 3, cv2.INPAINT_TELEA)WLS滤波的核心思想是视差图在颜色边缘处允许突变在颜色平滑区域内保持平滑。它利用左图颜色信息作为引导注意输入必须是校正后的三通道图或灰度图不能传原始图像。createDisparityWLSFilter需要传入左匹配器作为参数同时创建一个右匹配器因为WLS需要左右两幅视差图来做一致性加权。不想引入额外计算量的话可以跳过WLS直接把空洞填了速度会快一些但边缘精度会掉一个档次。inpaint填洞只适合小面积空洞大面积空洞填出来的深度值是猜的在机器人导航里宁可标记为未知也别乱填。更稳妥的做法是先膨胀mask只在边界周围做插值远距离空洞全部保留为NaN后续在点云阶段统一过滤。后面章节会讲到这些无效点怎么处理。4. 深度图生成与点云重建从视差到可测量三维坐标的最后一公里4.1 视差到深度的几何关系Z fB/d在企业里的真实含义在完成极线校正之后左右图像的光轴严格平行基线长度B就是相机光心之间的距离。这个虚拟的校正后双目系统让几何关系退回到最朴素的相似三角形三维点P在左相机投影为(x_L, y)右相机投影为(x_R, y)由于光轴平行y坐标相同视差d x_L - x_R。由相似三角形可得Z fB/d。关键在于这个简化公式只在校正后成立。如果跳过stereoRectify直接拿原始图像做匹配必须在公式里代入旋转矩阵R和平移向量T的完整投影关系那就退化成多视角几何里的基础矩阵分解问题了。这也是为什么把标定和校正单独放在整个系统最前面的原因。标题里写着多视角几何而工程上最常用的多视角几何结论恰恰就是这一条最简单、也最容易用错的一行公式。很多团队在初期图省事跳过stereoRectify只做单目畸变校正就上立体匹配结果近处勉强可用、远处深度漂移得离谱最后排查半天发现是极线没对齐。Q矩阵的本质是把上式从每个像素除以d变成矩阵乘法。P1和P2的差异体现在Q的第4行第3、4列其中包含基线Tx和主点偏移量。实际应用中reprojectImageTo3D要求输入的视差是浮点型且已经除以16否则输出的Z会整体偏大或偏小单位错乱几乎没法通过可视化排查出来。4.2 用reprojectImageTo3D生成第一版点云# disp是已经除以16并且滤除无效值的视差图 # Q来自stereoRectify注意类型必须是float64 xyz cv2.reprojectImageTo3D(disp, Q) X xyz[:, :, 0] Y xyz[:, :, 1] Z xyz[:, :, 2] # 过滤无效点Z必须为正且在一定范围内 mask np.isfinite(Z) (Z 0) (Z 10000) # 10米以内的点 X, Y, Z X[mask], Y[mask], Z[mask] # 保存为ply格式用Open3D验证 import open3d as o3d pcd o3d.geometry.PointCloud() pcd.points o3d.utility.Vector3dVector(np.stack([X, Y, Z], axis1)) o3d.io.write_point_cloud(output.ply, pcd)reprojectImageTo3D把视差映射到三维坐标后Z数组里会有两类异常值一类是本来就没有有效视差的像素它们对应的Z是巨大的异常值或无穷大另一类是Z为负数的点说明视差计算错乱三维点穿到了相机背后。这两类点必须生成点云时用mask滤掉否则ply文件里全是飞点可视化时画面像下雪。Q矩阵必需是float64类型这是OpenCV的一个隐藏要求。传成float32不会报错但输出的三维坐标会出现几十毫米级别的系统性偏移排查起来非常玄学。先检查类型再怀疑相机这是我踩过的一次大坑。4.3 点云裁剪、降采样与坐标系对齐生成点云只是第一步直接喂给下游导航模块通常不行。我一般做三个处理直通滤波裁剪感兴趣区域、体素降采样控制点密度、平面分割把地面或墙面去掉。处理顺序也有讲究先裁剪再降采样计算量小一个数量级先平面分割再降采样RANSAC在原始密度下拟合效果更好。# 直通滤波限制在相机前方0.5~10米左右各5米高度0~2米 points np.stack([X, Y, Z], axis1) roi (points[:, 2] 500) (points[:, 2] 10000) \ (np.abs(points[:, 0]) 5000) (points[:, 1] 0) (points[:, 1] 2000) points points[roi] # 转成Open3D点云 pcd o3d.geometry.PointCloud() pcd.points o3d.utility.Vector3dVector(points) # 体素降采样每个5mm的立方体保留一个点 downsampled pcd.voxel_down_sample(voxel_size5.0) # RANSAC平面分割移除地面或墙面 plane_model, inliers downsampled.segment_plane( distance_threshold50.0, # 单位mm ransac_n3, num_iterations1000)裁剪参数依任务而定机器人导航通常只需要前方45度视场内的点把远处无效点裁掉不仅能减少计算量还能避免SGBM在远处生成的噪点干扰后续聚类。体素降采样5mm到10mm就能大幅减少数据量对实时性要求高的场景可以放到20mm但地面点云的边缘会出现阶梯状锯齿。平面分割的distance_threshold要跟点云密度配合点越密threshold应越小50mm降采样后的点云用50mm阈值比较合理。坐标系对齐方面Q矩阵给出的点云位于校正后左相机坐标系这是一个虚拟坐标系与实际左相机光心坐标系之间存在一个旋转R1。如果下游模块需要的是左相机光心坐标系乘以R1的逆即可机器人导航通常需要转换到base_link坐标系这属于手眼标定范畴用多个位姿的棋盘格同时做相机对机器人的外参标定一分钟的事。5. 双目系统避坑指南标定、纹理、曝光和同步的5条踩坑记录5.1 标定重投影误差0.05像素视差图却还是花的现象单目标定和双目标定的重投影误差都报得很好看不到0.1像素但生成的视差图在远处全是噪声近处也好不到哪去。原因重投影误差只反映角点拟合的数学质量不代表外参的物理正确性。标定图像对如果大部分位姿都是正对相机的小角度变化外参求解矩阵接近奇异算出来的R和T对噪声极度敏感。0.05像素的误差在数学上被拟合掉了但外参的病态性让校正后的极线在图像边缘严重偏离。解决重拍标定板确保每个位姿都包含明显的俯仰、偏航和侧滚棋盘格在画面中的占比在1/4到1/2之间变化距离从0.3米到1.5米逐步拉远。拍完用2.3节的极线校验max_row_diff超过0.5像素就删掉那几组重新拍。标定板在每组照片之间不要移动得过于平滑位姿之间差异越大外参解越稳。5.2 白墙、地板这类无纹理区域视差图直接全黑现象室内场景里有纹理的物体桌子上的书本、货架上的箱子视差正常但大面积的白墙、纯色地板区域全是无效像素。原因SGBM的匹配代价基于块内灰度差异无纹理区域在左右图像里的灰度完全相同任何候选视差下的代价都差不多无法选出唯一最优值。这不是参数没调好而是这类代价函数对无纹理的真实物理限制。解决先确认应用能否避开这种场景。移动机器人如果必须在纯色墙面环境工作有两种做法一是给墙面人为添加视觉纹理贴标识贴纸或投影纹理二是改用基于Census变换的匹配代价它对局部灰度顺序更敏感而非绝对灰度值OpenCV里SGBM的mode可选STEREO_SGBM_MODE_HH内部会启用Census相关处理。注意HH模式的内存和耗时都不小CPU上很难保持实时通常要配合降分辨率使用。5.3 前景物体边缘有一圈光晕物体比实际大一圈现象视差图里前景物体的边缘有一圈错误视差值物体看起来向外膨胀了若干像素。这个现象在深度断裂处最明显。原因blockSize窗口跨越了前景和背景的深度边界。窗口内同时包含前景像素和背景像素代价聚合时把前景的低代价和背景的高代价平均了导致边界附近的匹配结果偏向某一边前景被侵蚀了一圈。解决把blockSize从11降到5或7膨胀幅度会明显缩小但代价是平滑区域会出现更多噪声点。更彻底的方案是加WLS滤波它以左图颜色边缘作为引导深度断裂处的边缘得以保留前景轮廓更干净。还有一个习惯值得养成——检查视差图时用无人机航拍图的视角看先看边缘锐度再看平滑区域这两个指标往往是矛盾体。5.4 同一场景不同光照下视差图质量差别很大现象白天室内视差图正常傍晚拉上窗帘后同一机位的视差图明显变花无纹理区域扩大远处噪声增加。原因很多双目相机的自动曝光和自动白平衡默认开启左右相机面对不同方向的亮度各自的曝光时间和增益会独立调节导致左右图像的同名点灰度出现系统性差异。SAD代价函数对灰度差异很敏感左边亮右边暗时同一物理点的匹配代价被抬高误匹配率上升。解决在相机SDK层面关闭AE和AWB固定在某个曝光值。如果关闭后夜间太暗就用固定较低的增益加补光灯而不是让相机自动拉增益。软件层面可以加一个直方图均衡化或CLAHE预处理把左右图像的灰度分布拉到接近但这是补偿不是根治。工业场景里把曝光固定下来是常识消费级摄像头做开发时这一步常常被忽视等到现场翻车才想起来回去翻SDK文档。5.5 实时pipeline偶发整帧黑屏或左右错位现象程序跑一段时间后视差图偶尔出现整帧全黑再过几帧又恢复或者左右图像明显不在同一时刻画面出现撕裂错位。原因两个USB摄像头各自独立采流即使型号相同USB带宽争抢会导致帧到达主机的时刻不一致。左右帧可能相差10毫秒到几十毫秒在静态场景里这个误差不明显一旦场景里有运动物体视差图就会在运动边缘出现大片误匹配严重时SGBM计算超时干脆输出无效。解决优先级最高的方案是买支持硬件同步的双目模组它们内置了同步触发线曝光开始时刻一致这是唯一能彻底解决帧同步问题的路子。如果只能用两个独立摄像头软件上开两个采集线程各读各的帧在送入SGBM之前比对左右帧的时间戳差超过5毫秒就丢弃这一帧重等用延迟换正确性。还有一个临时措施把相机帧率从30fps降到15fps给采集线程更多缓冲错帧概率会显著降低。6. 实时视频处理中的目标深度绑定从检测框到稳定测距的实战取舍6.1 多线程pipeline与端到端延迟控制从取帧、校正、SGBM到目标检测全串行执行在CPU上轻松超过200毫秒根本谈不上实时视频处理。常见做法是拆成三个线程流转采集线程各读各的帧并做时间戳同步工作线程一负责校正加SGBM工作线程二负责目标检测主线程做深度与检测结果的绑定。SGBM和检测互不依赖并行执行能把端到端延迟压缩到50毫秒以内。线程间用队列传递帧队列长度超过2就丢最老的帧保证系统永不打嗝。6.2 检测框深度提取用中位数而不是均值检测框和深度图的对齐有两种做法第一种是取检测框中心像素周围3x3区域的有效深度中位数——用中位数而不是均值是因为框中心可能有遮挡或空洞均值会被离群点带偏。第二种是取整个检测框内所有有效深度的直方图峰值作为障碍物距离目标部分被遮挡时更稳。跟踪模块可以给每个track挂一个卡尔曼滤波器深度测量进来时更新状态检测框短暂丢失时用预测值继续输出。对导航模块来说持续给出的深度比偶尔准确但时断时续的深度更有价值。6.3 深度精度验证的两种手段最后验证系统到底准不准我用两种方法尺子法是在场景中放一个已知长度的物体比如1米长的木板测量点云中两端点的三维距离与真实值比对标定板法是把棋盘格放在不同距离用角点检测得到精确像素坐标算出深度后与激光测距仪读数比对。记录不同距离下的误差曲线通常近处误差1%以内远处逐渐到3%到5%。如果误差曲线不是平滑递增而是有突变优先回去查标定不要动SGBM参数。我每次到新场地调试之前会先拍一组标定板图像检查相机是否有机械松动双目的精度一大半靠标定撑着机械固定不给力算法怎么调都是白费。希望帮到你。本文还有配套的精品资源点击获取
