1. 为什么工业级内参标定值得单独拎出来讲做过视觉项目的人大概都有这种体会拿一个棋盘格晃两下跑一遍示例代码看到平均重投影误差零点几就觉得标定这事儿已经翻篇了。等到真正把相机装到产线或者机械臂末端才发现测出来的尺寸总是差那么一两个毫米抓取位置老是偏拼接出来的点云像被拧过的麻花。回头一查问题十有八九出在内参上。海康工业相机在国产机器视觉里出货量很大MV-CE、MV-CS、MV-CU 这些系列覆盖了从卷帘到全局快门、从 USB3.0 到 GigE 的常见规格。它们本身素质不差但出厂只给一个大概的镜头参数真正要拿来做测量、做手眼标定、做三维重建必须自己重新标一遍内参。内参标定说白了就是求出那套把三维世界点投影到二维像素的映射关系核心是相机矩阵fx、fy、cx、cy加上畸变系数k1、k2、p1、p2、k3。这几个数不准后面所有几何计算都是空中楼阁。这篇内容面向的是已经上手过 OpenCV、对 ROS 有点概念、手里正好有一台海康工业相机的朋友。我会把从环境搭建、图像采集、标定执行到结果验证的完整链路拆开讲重点放在那些文档里不会写、但实际会卡住你的细节上。整套流程在 Ubuntu 20.04 ROS Noetic 和 Ubuntu 22.04 ROS 2 Humble 上都验证过OpenCV 用 4.x 版本即可。标定本身不复杂难的是把每一个环节的误差来源控制住这也是我写这篇东西的初衷。2. 标定前的整体思路与方案选型2.1 内参标定到底在解什么问题先把物理图像理清楚。相机成像可以近似成一个针孔模型世界里的一个点经过镜头折射落在感光芯片的某个像素上。这个过程中有两组参数在起作用。一组是相机自身的也就是内参描述焦距在像素单位下是多少、光心落在图像哪个位置、镜头带来的径向和切向畸变有多严重。另一组是相机在世界中的位姿也就是外参标定内参时我们通常让相机不动、移动标定板把外参当作中间变量一并解出来再丢掉。数学上OpenCV 用的模型是这样的先把三维点归一化到 z1 平面施加径向畸变和切向畸变再用相机矩阵映射到像素坐标。标定的目标就是找一组参数让所有角点的重投影误差平方和最小。这里有个容易被忽略的点——畸变模型的选择会直接影响结果。默认的 5 参数模型k1、k2、p1、p2、k3对大多数工业镜头够用但如果是大广角或者鱼眼就得换成 fisheye 模型否则边缘区域的残差会大得离谱。2.2 为什么优先用 ROS 的 camera_calibration 而不是纯 OpenCV 脚本纯 OpenCV 写标定脚本当然可以findChessboardCorners加calibrateCamera二十行就能跑通。但在工业场景里我更推荐走 ROS 的camera_calibration包原因有几个。第一它能实时显示角点检测结果哪一帧没检测到、哪一帧检测歪了一眼就能看出来不用自己写可视化。第二它内部对采集帧做了筛选会剔除角点质量差的样本减少人工挑图的负担。第三标定完直接生成ost.yaml或者ost.txt里面就是标准的相机矩阵和畸变系数后续接 image_proc 做去畸变、接 hand-eye 标定都很顺。当然如果你完全不用 ROS纯 OpenCV 方案也完全可行只是采集和筛选环节要自己多花点心思。我下面两条路都会提到但主线走 ROS因为它在工业相机接入这块生态更成熟。2.3 标定板怎么选棋盘格还是圆点棋盘格和圆点阵列是两种主流标定板。棋盘格的角点检测精度高OpenCV 支持成熟缺点是角点位置依赖亚像素优化光照不均时容易飘。圆点板的圆心检测对模糊和噪声更鲁棒但需要先做椭圆拟合标定板倾斜角度大时圆心会有偏心误差。我的建议是常规工业镜头用棋盘格视场大、畸变重的场合考虑圆点板。棋盘格尺寸方面方格边长建议在图像里占到 30 到 50 像素太小了角点定位不准太大了视野里放不下几个格子约束不够。海康 MV-CE 系列 500 万像素、配 8mm 镜头的话我一般用 9x6 格、方格 25mm 的棋盘格打印在哑光相纸上再贴到铝板上平整度比直接打印在 A4 纸上好很多。注意标定板一定要平。纸打印的板子受潮或者受热会翘翘了之后角点不在一个平面上标定出来的内参会系统性偏移。铝基板或者陶瓷基板贵一点但省心。3. 环境搭建与海康相机接入3.1 Ubuntu 下 ROS 与 OpenCV 的安装取舍ROS 版本和 Ubuntu 版本是绑定的。Ubuntu 20.04 对应 NoeticUbuntu 22.04 对应 Humble。新手常纠结装哪个我的经验是如果项目里还有大量老代码依赖 ROS 1就上 20.04 Noetic如果是新起项目直接 22.04 Humble。Humble 对 Python 3.10 和 OpenCV 4.5 以上支持更好长期维护也更省心。安装 ROS 这件事社区里有个很省事的脚本一键把源、密钥、依赖都配好省去手动敲一堆命令的麻烦。不过我还是建议你至少手动装一次知道每一步在干什么出问题才好排查。OpenCV 方面ROS 桌面版会自带一个 OpenCV但版本可能偏旧。如果你要用到比较新的特性可以单独装一个 OpenCV 4.x注意装完之后用cv2.__version__确认 Python 绑定指向的是你想要的版本别出现系统里两个 OpenCV 打架的情况。# 确认 OpenCV 版本 python3 -c import cv2; print(cv2.__version__)如果报ModuleNotFoundError: No module named opencv说明 Python 环境里没装或者装到了别的解释器下。用 conda 的朋友尤其要注意anaconda prompt 里的环境和系统 Python 是两套装包时看清楚当前是哪个环境。3.2 海康相机 SDK 与 ROS 驱动的对接海康工业相机在 Linux 下要走 MVS SDK。去官网下 Linux 版的 MVS 安装包装完之后/opt/MVS下面会有库和示例。装完记得把 SDK 的库路径加到环境变量里否则编译驱动时会报找不到libMvCameraControl.so。export LD_LIBRARY_PATH/opt/MVS/lib/64:$LD_LIBRARY_PATHROS 这边社区有现成的海康相机驱动包能把相机图像以sensor_msgs/Image的形式发出来。配置的时候重点看几个参数曝光时间、增益、像素格式。标定阶段我建议固定曝光和增益关掉自动曝光因为自动曝光会让不同帧的亮度不一致角点检测的稳定性会下降。像素格式选Mono8或者BayerRG8都行标定只用灰度信息彩色反而增加转换开销。提示如果驱动跑起来发现图像帧率很低或者丢帧先查网卡。GigE 相机对网卡的巨帧Jumbo Frame支持有要求MTU 设成 9000 会明显改善。USB3.0 相机则要注意别插在 USB2.0 口上带宽不够会掉帧。3.3 验证图像链路是否通畅在正式标定前先确认图像能正常出来。用rqt_image_view或者image_view订阅相机话题看看画面是否清晰、有没有明显噪点、镜头有没有脏。这一步看着简单但很多人跳过之后在标定环节才发现图像有问题白白浪费时间。# 查看当前有哪些图像话题 rostopic list | grep image # 可视化 rosrun image_view image_view image:/camera/image_raw画面确认没问题后把标定板放到视野里前后左右移动一下看看角点在整幅图像里是否都能清晰成像。如果边缘区域明显模糊说明镜头本身素质或者对焦有问题这种状态下标定出来的畸变系数会不可信。4. 标定实操从采集到出参的完整流程4.1 启动标定节点与参数配置ROS 的camera_calibration包用起来很直接。以棋盘格 9x6、方格 25mm 为例启动命令是这样的rosrun camera_calibration cameracalibrator.py \ --size 9x6 \ --square 0.025 \ image:/camera/image_raw \ camera:/camera--size是内角点数量注意是内角点不是格子数。9x6 的棋盘格内角点是 8x5这个特别容易搞错填错了角点根本检测不出来。--square单位是米25mm 就填 0.025。启动之后界面会分成几块左边是实时图像和角点检测结果右边是 X、Y、Size、Skew 四个进度条。这四个条代表标定板在视野里的覆盖情况——X 是左右平移Y 是上下平移Size 是远近Skew 是倾斜。四个条都变绿了CALIBRATE 按钮才会亮这时候才能点标定。4.2 采集姿态的讲究怎么晃板子才有效这是整个流程里最考验经验的地方。很多人拿着板子随便晃几下进度条绿了就点标定结果误差很大。正确的做法是让标定板覆盖图像的不同区域和不同角度具体来说平移覆盖把板子分别放到图像的中心、四个角、四条边中点确保角点出现在画面的各个位置。光心 cx、cy 的精度直接依赖角点在画面里的分布只在中间晃光心就估不准。远近变化板子从占满画面到只占三分之一都要采到。焦距 fx、fy 的精度和板子在图像里的尺度变化有关。倾斜角度板子绕 X 轴、Y 轴、Z 轴都要有倾斜一般建议倾斜 20 到 45 度。倾斜能提供深度方向的约束对畸变系数尤其重要。但别太极端超过 60 度角点检测容易失败。数量一般采集 30 到 50 个有效姿态就够了。太少约束不足太多也没必要反而可能引入重复样本。我自己的习惯是分三轮第一轮在画面中心区域做各种倾斜第二轮把板子推到四个角第三轮做远近变化。每轮大概十几帧加起来四十帧左右进度条基本就满了。注意移动板子的时候要慢、要稳。运动模糊会让角点亚像素定位产生偏差这种偏差在单帧上看不出来累积到标定结果里就是零点几个像素的系统误差。4.3 执行标定与结果解读四个进度条都绿了之后点 CALIBRATE等几十秒界面会显示标定结果。重点看两个数平均重投影误差和每帧的误差分布。平均重投影误差在 0.1 到 0.3 像素之间算正常低于 0.1 说明标定质量很好高于 0.5 就要警惕了。但光看平均值不够还要看有没有个别帧误差特别大。如果某一帧误差是其他帧的好几倍说明那一帧的角点检测有问题应该把它剔除掉重新标。标定完成后点 SAVE会在/tmp下生成calibrationdata.tar.gz解压后里面有ost.yaml和ost.txt。ost.yaml就是我们要的相机参数文件内容大概长这样image_width: 2448 image_height: 2048 camera_name: camera camera_matrix: rows: 3 cols: 3 data: [fx, 0, cx, 0, fy, cy, 0, 0, 1] distortion_model: plumb_bob distortion_coefficients: rows: 1 cols: 5 data: [k1, k2, p1, p2, k3]这里的plumb_bob就是前面说的 5 参数模型。如果镜头畸变特别大可以考虑用rational_polynomial模型多几个系数但要注意过拟合风险。4.4 纯 OpenCV 方案的补充实现不用 ROS 的话核心代码就几行。采集一批棋盘格图像存到文件夹然后import cv2 import numpy as np import glob criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objp np.zeros((5*8, 3), np.float32) objp[:, :2] np.mgrid[0:8, 0:5].T.reshape(-1, 2) * 0.025 objpoints, imgpoints [], [] for fname in glob.glob(calib_images/*.jpg): img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, (8, 5), None) if ret: corners2 cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) objpoints.append(objp) imgpoints.append(corners2) ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None) print(重投影误差:, ret) print(相机矩阵:\n, mtx) print(畸变系数:\n, dist)这段代码里cornerSubPix是关键它把角点从整数像素优化到亚像素精度不做这一步误差会大很多。calibrateCamera返回的ret就是平均重投影误差判断标准和 ROS 方案一样。5. 标定结果的验证与常见坑排查5.1 怎么验证内参是真的准标定完不能直接信得验证。最直接的办法是去畸变后看直线还直不直。找一面有直线边缘的墙或者标定板边框用标定参数做去畸变如果原本弯曲的直线变直了说明畸变系数方向对了。img cv2.imread(test.jpg) h, w img.shape[:2] newcameramtx, roi cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 1, (w, h)) dst cv2.undistort(img, mtx, dist, None, newcameramtx) cv2.imwrite(undistorted.jpg, dst)更严格的验证是重投影拿一张没参与标定的棋盘格图用标定出的内参和外参把三维角点投影回图像看投影点和实际检测点的偏差。偏差在 0.3 像素以内基本可以放心用。还有一个实用方法测量已知尺寸。在去畸变后的图像里量一个已知长度的物体比如标定板方格边长看测出来是不是 25mm。如果差得离谱内参肯定有问题。5.2 常见问题速查表现象可能原因排查方向角点检测不到棋盘格尺寸填错、光照太暗或太亮确认内角点数调整曝光进度条一直不绿板子姿态覆盖不够增加倾斜和边缘位置采集重投影误差偏大运动模糊、板子不平、镜头脏检查采集质量清洁镜头去畸变后边缘拉伸严重畸变模型不匹配换 rational 或 fisheye 模型图像话题收不到驱动没起来、网卡配置问题查 LD_LIBRARY_PATH、MTUPython 找不到 cv2环境装错确认解释器和 pip 对应5.3 几个我踩过的坑坑一标定板打印尺寸和实际不符。打印的时候打印机有缩放标称 25mm 的格子实际可能是 24.7mm。这个误差会直接传导到焦距上导致测距系统性偏大或偏小。解决办法是打印后用卡尺量一下实际边长把真实值填进--square。坑二相机没固定好。标定过程中相机如果动了内参和外参就耦合在一起解不开了。一定要把相机拧紧在三脚架或者支架上标定期间别碰。坑三不同分辨率下内参不通用。如果你标定时用的是全分辨率实际跑的时候用了降采样内参必须按比例缩放。fx、fy、cx、cy 都乘以缩放系数畸变系数不变。这个换算很多人会忘。坑四温度漂移。工业现场温度变化大镜头和芯片的热胀冷缩会让焦距有微小变化。高精度场合建议在工作温度下标定或者定期复标。6. 标定之后内参在项目里怎么用内参标出来不是终点是起点。拿到ost.yaml之后接image_proc节点就能自动做去畸变输出image_rect话题给后续算法用。做手眼标定时内参是输入之一配合机械臂的位姿数据解出相机到末端的变换矩阵。做三维重建时内参和双目外参一起构成投影矩阵把视差转成深度。有一点要提醒内参和外参是两回事别混用。内参只跟相机和镜头有关换了镜头必须重标外参跟相机安装位置有关动了相机就得重标外参。很多人把这两个概念搞混导致排查问题时方向都错了。如果项目里同时有多个海康相机每个都要单独标因为每台相机的芯片和镜头装配都有差异内参不能通用。标完之后给每个相机建一个 yaml 文件用相机序列号命名避免搞混。最后分享一个提高效率的小技巧把标定流程脚本化。采集、标定、验证三步写成 shell 脚本下次换相机或者换镜头改几个参数就能重跑比手动点界面快得多。标定这事儿做多了就会发现真正花时间的不是算法是采集和验证的重复劳动能自动化的部分尽量自动化。
