简介这是一套面向计算机视觉初学者与嵌入式视觉开发者的双目视觉测距完整工程基于OpenCV、Visual Studio 2019与MATLAB联合实现覆盖从相机标定到视差图输出的核心流程。代码中采用BM局部匹配算法生成视差图并配套标定参数文件与校正前后图像便于理解双目测距的数学原理与工程落地方式。资源包共42个文件以30张jpg标定与校正图像、6个txt参数结果文件为主另含sln解决方案、cpp源码、vcxproj工程文件及项目说明md压缩包约1.16MB结构紧凑、开箱即用。目前已有661人学习下载适合课程设计、毕业设计或视觉测距入门练手。读者可据此复现相机标定、立体校正、BM匹配与深度计算全链路并借助标定结果与校正图像对照排查参数误差快速搭建可运行的双目测距原型。1. 双目视觉测距这套组合拳到底解决什么问题拿到一个双目测距的源码包很多人第一反应是「跑起来看看」。但真正卡住人的往往不是算法本身而是环境OpenCV 的版本和 VS2019 的编译器对不上、MATLAB 标定工具箱的路径没配好、sln 解决方案打开后一堆红波浪线。这套「OpenCV VS2019 MATLAB」的组合本质上是一条分工明确的流水线——MATLAB 负责离线标定和参数验证OpenCV 负责在线图像处理和测距计算VS2019 负责把 C 代码编译成能实际部署的工程。它适合谁适合已经懂一点 C 和图像处理、想从「跑通 demo」跨到「自己搭一套能用的测距系统」的工程师。双目测距的核心链路是固定的双目标定拿到内外参、立体校正把两个相机拉到同一平面、立体匹配算出视差图、视差转深度。每一步都有坑而这份源码加 sln 解决方案的价值就是给你一个能编译、能调试、能改参数的起点而不是让你从零去拼这些模块。我见过太多人在这条链路上翻车标定板拍了几十张重投影误差 0.5 像素以上还在硬跑视差图一片黑以为是算法问题其实是校正参数写反了。所以这篇笔记不打算复述教科书而是按「标定 → 校正 → 匹配 → 测距 → 排错」的顺序把每一步的参数怎么设、代码怎么写、失败时看哪里讲清楚。2. 用 MATLAB 做双目标定从拍板到导出可用的参数文件2.1 为什么标定这一步不能跳过以及标定板怎么拍双目测距的精度上限在标定完成的那一刻就基本定死了。标定要拿到的是两个相机的内参矩阵、畸变系数以及它们之间的旋转矩阵 R 和平移向量 T。没有这组参数你连「两个相机相距多少毫米」都不知道后面的视差转深度就是空中楼阁。常见做法是用棋盘格标定板MATLAB 的 Camera Calibrator 工具箱对这一步支持得很好。拍摄时注意几点标定板要覆盖画面的大部分区域不要只放在中间至少拍 15 到 20 组左右相机同步拍同一块板板子的角度要有变化倾斜、旋转都要有但不要模糊。我一般会拍 25 组左右留几组做验证。注意左右相机的图像文件名要能对应上比如 left01.jpg 和 right01.jpgMATLAB 导入时按序号配对命名乱了后面会很痛苦。2.2 MATLAB 标定操作步骤与参数导出打开 MATLAB在 APP 里找到 Stereo Camera Calibrator。导入左右图像序列设置棋盘格的实际方格尺寸单位毫米然后点 Calibrate。标定完成后重点看两个指标整体重投影误差Reprojection Errors和每张图的误差条。整体误差控制在 0.3 像素以内算合格超过 0.5 就要删掉误差大的那几张重新标。标定结果导出时MATLAB 会生成一个 stereoParams 对象。我们需要把它里面的参数写成 OpenCV 能读的格式。下面这段 MATLAB 代码把关键参数导出成 YAML 文件% 假设 stereoParams 已经标定完成 % 导出左右相机内参、畸变系数、旋转和平移 fid fopen(stereo_calib.yml, w); fprintf(fid, %%YAML:1.0\n); % 左相机内参 fprintf(fid, K_left: !!opencv-matrix\n); fprintf(fid, rows: 3\n cols: 3\n dt: d\n); fprintf(fid, data: [ %.6f, %.6f, %.6f, %.6f, %.6f, %.6f, %.6f, %.6f, %.6f ]\n, ... stereoParams.CameraParameters1.IntrinsicMatrix); % 左相机畸变 fprintf(fid, D_left: !!opencv-matrix\n); fprintf(fid, rows: 1\n cols: 5\n dt: d\n); fprintf(fid, data: [ %.6f, %.6f, %.6f, %.6f, %.6f ]\n, ... stereoParams.CameraParameters1.RadialDistortion(1:2), ... stereoParams.CameraParameters1.TangentialDistortion(1:2), 0); % 右相机内参和畸变同理此处省略重复结构 % 旋转矩阵 R 和平移向量 T fprintf(fid, R: !!opencv-matrix\n); fprintf(fid, rows: 3\n cols: 3\n dt: d\n); fprintf(fid, data: [ %.6f, %.6f, %.6f, %.6f, %.6f, %.6f, %.6f, %.6f, %.6f ]\n, ... stereoParams.RotationOfCamera2); fprintf(fid, T: !!opencv-matrix\n); fprintf(fid, rows: 3\n cols: 1\n dt: d\n); fprintf(fid, data: [ %.6f, %.6f, %.6f ]\n, ... stereoParams.TranslationOfCamera2); fclose(fid);这段代码的逻辑很直接把 MATLAB 标定对象的属性按 OpenCV FileStorage 的 YAML 格式写出来。参数说明上IntrinsicMatrix 在 MATLAB 里是转置存储的所以导出时加了转置符号这一点如果搞错后面校正出来的图像会完全错位。畸变系数 MATLAB 只给径向和切向OpenCV 的 5 参数模型需要补一个 0 占位。平移向量 T 的单位是毫米和标定板方格尺寸单位一致后面测距结果的单位也由它决定。2.3 标定结果的快速验证方法导出参数后别急着写 C先在 MATLAB 里做一次验证用 stereoParams 对一对测试图做 rectify看校正后的图像行是否对齐。如果左右图同一物体的边缘在同一水平线上说明标定基本可信。另一个办法是拿一个已知距离的物体用标定参数手算深度和实际距离对比误差在 2% 以内就可以进入下一步。3. 在 VS2019 里跑通 slnOpenCV 环境配置与第一个测距程序3.1 VS2019 配置 OpenCV 的四个关键位置sln 解决方案打开后报错九成是 OpenCV 路径没配。VS2019 里配置 OpenCV 要改四个地方缺一不可项目属性里的「VC 目录 → 包含目录」加opencv\build\include和opencv\build\include\opencv2「库目录」加opencv\build\x64\vc16\lib「链接器 → 输入 → 附加依赖项」加opencv_world4xx.libDebug 模式加opencv_world4xxd.lib最后把opencv\build\x64\vc16\bin加到系统 PATH 或者把 DLL 拷到 exe 同目录。注意VS2019 对应的是 vc16别拿 vc15 的库来用。Debug 和 Release 的 lib 不能混混了会在链接阶段报一堆 LNK2019。3.2 读取标定参数并做立体校正的代码环境配好后第一件事是把 MATLAB 导出的 YAML 读进来做立体校正。下面这段 C 代码是测距系统的入口#include opencv2/opencv.hpp #include opencv2/calib3d.hpp #include iostream using namespace cv; using namespace std; int main() { // 读取 MATLAB 导出的标定参数 FileStorage fs(stereo_calib.yml, FileStorage::READ); if (!fs.isOpened()) { cerr 无法打开标定文件 endl; return -1; } Mat K_left, D_left, K_right, D_right, R, T; fs[K_left] K_left; fs[D_left] D_left; fs[K_right] K_right; fs[D_right] D_right; fs[R] R; fs[T] T; fs.release(); // 读取左右图像 Mat imgL imread(left01.jpg); Mat imgR imread(right01.jpg); if (imgL.empty() || imgR.empty()) { cerr 图像读取失败 endl; return -1; } Size imgSize imgL.size(); // 立体校正计算校正映射表 Mat R1, R2, P1, P2, Q; Rect validROI1, validROI2; stereoRectify(K_left, D_left, K_right, D_right, imgSize, R, T, R1, R2, P1, P2, Q, CALIB_ZERO_DISPARITY, 0, imgSize, validROI1, validROI2); // 生成映射表并校正 Mat mapLx, mapLy, mapRx, mapRy; initUndistortRectifyMap(K_left, D_left, R1, P1, imgSize, CV_32FC1, mapLx, mapLy); initUndistortRectifyMap(K_right, D_right, R2, P2, imgSize, CV_32FC1, mapRx, mapRy); Mat rectifyL, rectifyR; remap(imgL, rectifyL, mapLx, mapLy, INTER_LINEAR); remap(imgR, rectifyR, mapRx, mapRy, INTER_LINEAR); imshow(Rectified Left, rectifyL); imshow(Rectified Right, rectifyR); waitKey(0); return 0; }逻辑说明stereoRectify 是核心它根据标定参数算出两个相机各自的校正旋转矩阵 R1、R2 和新的投影矩阵 P1、P2以及重投影矩阵 Q。Q 矩阵后面视差转深度要用。initUndistortRectifyMap 把校正和去畸变合并成一张映射表remap 一次性完成。参数 CALIB_ZERO_DISPARITY 表示让主点在左右图中对齐这对后续匹配很重要。validROI 是校正后有效区域如果发现图像边缘有大片黑边说明标定参数有问题。3.3 视差计算与深度转换的最小实现校正完成后用 StereoSGBM 算视差再用 Q 矩阵转成三维坐标// SGBM 立体匹配 int minDisparity 0; int numDisparities 16 * 6; // 必须是 16 的倍数 int blockSize 5; // 奇数3~11 之间 PtrStereoSGBM sgbm StereoSGBM::create( minDisparity, numDisparities, blockSize, 8 * blockSize * blockSize, // P1 32 * blockSize * blockSize, // P2 1, 0, 10, 100, 32, false); Mat disp, dispNorm; sgbm-compute(rectifyL, rectifyR, disp); // 视差图归一化显示 disp.convertTo(dispNorm, CV_8U, 255.0 / (numDisparities * 16.0)); imshow(Disparity, dispNorm); // 视差转深度disp 是 16 位定点数实际视差要除以 16 Mat dispFloat; disp.convertTo(dispFloat, CV_32F, 1.0 / 16.0); Mat points3D; reprojectImageTo3D(dispFloat, points3D, Q, true); // 取图像中心点的深度 int cx points3D.cols / 2; int cy points3D.rows / 2; Vec3f point points3D.atVec3f(cy, cx); cout 中心点三维坐标: point endl; cout 深度 Z: point[2] mm endl;参数说明numDisparities 决定能测多近的物体值越大能覆盖的视差范围越广但计算量也越大。blockSize 影响匹配的平滑程度太小噪声多太大细节丢失。P1 和 P2 是平滑惩罚项一般按 blockSize 的平方倍数给。reprojectImageTo3D 输出的三维坐标单位是毫米和标定时棋盘格尺寸一致。如果 Z 值是负数或者异常大先检查 Q 矩阵和视差图是否正常。4. 双目测距的避坑与排查那些让结果全错的细节4.1 校正后图像行不对齐现象remap 之后左右图同一物体的边缘不在同一水平线上视差图全是噪点。原因通常是标定参数导出时矩阵转置搞错了或者 R、T 的方向反了。MATLAB 的 RotationOfCamera2 是从相机 1 到相机 2 的旋转OpenCV 的 stereoRectify 期望的也是这个方向但如果你手动改过参数就容易出错。解决回到 MATLAB 重新导出用 2.3 节的验证方法确认校正结果别在 C 里硬调。4.2 视差图大面积黑色现象dispNorm 显示出来几乎全黑只有零星亮点。原因有三个可能numDisparities 设得太小物体视差超出了搜索范围左右图顺序放反了SGBM 的 minDisparity 没设对。解决先把 numDisparities 调到 16*10 试试确认左右图没有颠倒再检查标定时的平移向量 T 的第一个分量是不是负数正常情况下右相机在左边相机的右侧T[0] 应该是负的。4.3 深度值跳变严重现象同一个平面上的点深度值忽大忽小波动超过 10%。原因是视差图在弱纹理区域匹配失败SGBM 在那些区域给的是随机值。解决增大 blockSize 到 7 或 9提高 P2 让平滑约束更强或者对深度图做一次中值滤波。如果还是不行说明场景纹理太差考虑加投影纹理或者换匹配算法。4.4 VS2019 链接报 LNK2019 找不到符号现象编译通过链接时报一堆 LNK2019指向 opencv 的函数。原因是附加依赖项里的 lib 名字和实际版本对不上或者 Debug/Release 混用。解决去 opencv\build\x64\vc16\lib 目录下看实际的文件名Debug 用带 d 后缀的Release 用不带 d 的。另外确认「VC 目录 → 库目录」指向的是 lib 所在目录不是 bin。4.5 MATLAB 标定误差合格但实测不准现象MATLAB 里重投影误差 0.2 像素但实际测距误差超过 5%。原因是标定时的棋盘格尺寸单位填错了比如实际是 25mm 填成了 25cm导致平移向量 T 的单位整体放大 10 倍。解决检查标定板方格尺寸确认单位是毫米。另一个可能是标定板和相机距离太近标定覆盖的深度范围不够实际测量距离超出了标定时的有效范围。5. 把测距精度再压一压几个我常用的进阶技巧5.1 用亚像素角点提升标定质量MATLAB 标定默认用的是整像素角点如果你想让重投影误差再降一点可以在拍标定板时让板子稍微倾斜增加角点在不同尺度下的观测。另一个办法是在 OpenCV 里用 cornerSubPix 自己做一次亚像素细化再喂给标定算法。我试过同一组图亚像素细化后重投影误差能从 0.35 降到 0.22 左右实测深度误差改善约 1%。5.2 视差图后处理左右一致性检测SGBM 出来的视差图在遮挡区域是错的用左右一致性检测能滤掉大部分。思路是把左右图交换再算一次视差然后比较两个视差图差异超过阈值的点标记为无效。OpenCV 的 StereoSGBM 本身不直接提供这个功能需要自己写循环。下面是一个简化的实现// 左右一致性检测 Mat dispL, dispR; sgbm-compute(rectifyL, rectifyR, dispL); sgbm-compute(rectifyR, rectifyL, dispR); Mat dispLf, dispRf; dispL.convertTo(dispLf, CV_32F, 1.0 / 16.0); dispR.convertTo(dispRf, CV_32F, 1.0 / 16.0); Mat validMask Mat::zeros(dispLf.size(), CV_8U); int maxDiff 2; // 一致性阈值一般 1~3 for (int y 0; y dispLf.rows; y) { for (int x 0; x dispLf.cols; x) { float d dispLf.atfloat(y, x); if (d 0) continue; int xr cvRound(x - d); if (xr 0 || xr dispLf.cols) continue; float dr dispRf.atfloat(y, xr); if (fabs(d - dr) maxDiff) { validMask.atuchar(y, x) 255; } } }这段代码的逻辑是对左视差图每个有效点按视差值找到右图中对应的点比较两个视差是否一致。maxDiff 设 2 比较稳妥设 1 会滤掉太多点设 3 又滤不干净。validMask 可以用来屏蔽深度图中的无效区域后续做平面拟合或者测量时只统计有效点。5.3 深度图滤波与测量点选取reprojectImageTo3D 出来的三维点云噪声不小我一般会做两步先对深度图做一次中值滤波kernel 5x5再用 validMask 把无效点置零。测量时不要只取单点取目标区域内的中值深度更稳。如果测的是平面距离可以用 RANSAC 拟合平面再算点到平面的距离这样比单点深度可靠得多。5.4 一个我踩过的坑Q 矩阵的符号最后说一个血泪教训。Q 矩阵里有一个元素是 -1/TxTx 是平移向量的第一个分量。如果 T 的方向搞反了Q 矩阵的符号就会错reprojectImageTo3D 出来的 Z 值全是负的。我当初排查了半天以为是视差图的问题最后发现是 MATLAB 导出 T 的时候没注意方向。所以每次换标定参数先打印一下 Q 矩阵确认 (3,2) 位置的符号和 T[0] 的符号相反这是最快的自检方法。这套流程我前后搭过三次每次都会在某个环节卡一下但把标定、校正、匹配这三步的参数理顺之后测距精度稳定在 1% 以内是可以做到的。希望帮到你。本文还有配套的精品资源点击获取
