1. 多相机标定到底在解决什么——坐标系割裂带来的现场噩梦做机器视觉项目最容易被低估的工作不是算法不是光源而是标定。尤其当一套系统里出现两台、四台、甚至八台相机的时候现场调试的复杂度堪称指数级上升。你辛辛苦苦把每个相机的图像都调清楚了结果发现一号相机给出的坐标和二号相机给出的坐标对不上工件明明是一个整体在两个视野里却像两个世界。这时候你才意识到多相机标定不是把每个相机分别标定一遍那么简单而是要解决一个更底层的问题怎么让所有相机在同一个坐标系下说话。我最早接手多相机项目时对统一坐标系的理解也很浅。总觉得每个相机各自做一个标定把像素坐标转成毫米坐标然后再拼起来不就完了结果真正落地的时候发现A相机测出来的工件原点在(10.5, 20.3)B相机测出来的同一个点在(10.9, 20.1)偏差不大但足以让后端的机器人抓偏。更麻烦的是两个相机视野交叠区域里的同一个特征点在两套坐标里根本对不上。这种坐标系割裂的问题靠肉眼调参是永远调不干净的。这篇文章写给正在做多相机项目、或者准备用VisionMaster做视觉方案的工程师。我会从坐标系的基本概念讲起然后完整走一遍VisionMaster里统一坐标系的实操流程最后把我踩过的坑和排查思路一并分享出来。内容偏保姆级但绝不注水。1.1 一套视觉系统里的四个坐标系先分清再动手搞多相机标定第一步不是打开软件而是先在纸上把坐标系画清楚。一套典型的机器视觉系统里至少存在四个坐标系图像坐标系、像素坐标系、相机坐标系、世界坐标系如果是机器人引导项目还要再加上机器人基坐标系和工具坐标系。我用大白话解释一下这几个坐标系的区别像素坐标系就是图像上以像素为单位的坐标原点通常在图像左上角单位是pixel。图像坐标系以光轴与图像平面的交点为原点单位是毫米x轴和y轴与像素坐标系的轴平行但是带上了物理尺寸。相机坐标系以相机光心为原点Z轴沿光轴方向单位是毫米。这个坐标系描述的是物体相对于相机的位置。世界坐标系你自己定义一个基准坐标系所有相机、所有测量结果都统一到这个坐标系下表达。在多相机场景里世界坐标系通常选在机台基准面、标定板平面或者机器人的基座上。如果你之前没有系统接触过这些概念可以用一个类比帮助理解像素坐标系是你在手机屏幕上看到的照片坐标图像坐标系是这张照片在CMOS传感器上对应的物理位置相机坐标系是相机自己的眼睛看到的物体位置而世界坐标系是车间地面上画的统一刻度线。多相机标定的任务本质上就是给每台相机配一套换算表让它们各自看到的东西都能换算到同一条地面刻度线上。1.2 为什么统一坐标系不能靠各算各的来解决有人会问既然每个相机都能做畸变校正和像素转毫米的映射那我每个相机单独输出物理坐标再通过已知的机械安装位置去换算是不是就能统一了理论上可以但实际工程里几乎行不通。原因有两点第一相机的安装位置不可能绝对精确。你量出来两个相机中心距是500mm实际安装误差可能就有2~3mm加上角度偏差换算出来的坐标误差会被逐渐放大第二镜头的畸变不是纯径向的不同相机之间的内参差异、安装俯仰角差异都会让机械尺寸换算这种方式产生不可控的系统误差。更稳妥的思路是直接在统一的基准下做标定让软件自己算出每个相机像素坐标到世界坐标的映射关系把误差摊到整个标定过程中去。VisionMaster在多相机场景里常用到的标定方案有几种一种是单相机分别标定后通过标定板建立全局基准另一种是用N点标定分别把每个相机的像素坐标映射到同一个世界坐标系下还有一种更复杂的场景会结合手眼标定把图像坐标转换到机器人坐标系里。具体用哪种取决于你的项目是纯测量、定位引导还是检测拼接。文章后面我会把前两种的实操流程完整展开。1.3 标定板选型棋盘格、圆点阵还是编码点在进入软件操作之前标定板的选型就决定了后续标定精度上限。VisionMaster支持棋盘格、圆点阵、编码点等多种标定板但不同场景差异很大。棋盘格角点提取稳定适合做内参标定和畸变校正。缺点是每个角点长得一模一样多目拼接时要靠人工指定对应关系不好做全自动匹配。圆点阵圆心提取精度高通常配合N点标定使用适合建立像素到物理坐标的映射。VisionMaster里面做多相机标定最常用的就是圆点标定板。编码点标定板每个特征点自带编码ID即使视野里只看到一部分也能自动识别出对应点的物理坐标。大幅面多相机拼接、需要自动匹配对应关系的场景强烈推荐。我第一次做双相机拼接时用的就是普通棋盘格结果两张图的角点无法自动对应手动点了半天还容易点错。后来换成编码点标定板效率直接翻倍。所以我的建议是如果在现场调试阶段追求省心直接上带编码点的玻璃基板标定板精度和效率都能兼顾。2. VisionMaster里坐标系相关模块的底层逻辑VisionMaster的模块化设计逻辑很清晰它把视觉算法拆成一个个独立的流程单元用户通过拖拽模块来搭建方案。跟坐标系直接相关的模块主要有这几个相机标定模块、畸变校正模块、N点标定模块、手眼标定模块、坐标变换模块。每个模块解决一个层面的问题搞清楚它们之间的关系才能不在流程搭建时抓瞎。2.1 相机标定模块先解决单个相机看世界的问题相机标定模块解决的是单个相机的内参和外参问题。内参包括焦距、主点、畸变系数外参包括相机相对于标定板或者说世界坐标系的旋转和平移。VisionMaster里做相机标定通常采用张正友标定法的思路需要拍摄多张不同姿态的标定板图像然后软件自动提取特征点计算内参和外参最后输出重投影误差。内参标定是统一坐标系的基石。如果内参求不准后面的畸变校正和坐标映射全都建立在一个歪斜的基础上。我见过不少项目为了赶进度跳过内参标定直接在N点标定里输入畸变图像上的点导致视野边缘的测量误差特别大。内参标定这一步省掉的每一分钟都会在后面调参时加倍还回来。在VisionMaster的操作层面相机标定模块需要你输入标定板的类型、格子尺寸或圆点间距、标定板行列数等信息然后采集10~15张不同角度、不同位置的标定板图像运行标定后查看重投影误差。误差一般要求小于0.1像素如果超过这个值大概率是标定板不平整、图像对焦不清晰或者标定板参数填错了。2.2 N点标定与像素—物理映射的数学本质N点标定是VisionMaster里把像素坐标映射到世界坐标最直接的办法。它的数学本质是求解一个单应性矩阵H使得像素坐标(x_pixel, y_pixel)和世界坐标(X_world, Y_world)满足齐次变换关系。这个概念如果你觉得抽象可以理解为N点标定就是你在图像上点几个点告诉软件这几个点在真实世界里的坐标是多少软件通过最小二乘法拟合出一个变换关系之后任何像素坐标都能通过这个变换关系算出对应的物理坐标。N越大拟合出来的变换模型越准确一般建议至少取9~16个点并且这些点要尽量覆盖整个视野范围。值得注意的一点是N点标定里既包含旋转、平移也隐含了缩放和部分畸变校正。如果你使用的镜头畸变很小N点标定基本够用但如果镜头视野很大、畸变明显建议先做相机内参标定和畸变校正再做N点标定否则靠近图像边缘的区域坐标精度会很拉胯。2.3 手眼标定把图像坐标转成机器人坐标的桥梁如果你的多相机系统最终对接的是机器人还需要跨过手眼标定这一关。手眼标定解决的是相机坐标系和机器人坐标系之间的变换关系分为眼在手上Eye-in-Hand和眼在手外Eye-to-Hand两种形式。VisionMaster的手眼标定模块流程大致是让机器人带着标定板运动到多个姿态同时记录每个姿态下的机器人位姿和图像中特征点的像素坐标软件据此求解相机与机器人之间的变换矩阵。手眼标定是机器人视觉里最容易让新手崩溃的环节因为它的误差链条很长机器人本身的定位精度、TCP标定精度、标定板平面度都会叠加进去。不过这篇文章的重点还是多相机之间的坐标系统一手眼标定属于桥接环节我会在后面提到它和全局坐标系配合时的注意事项但不会展开讲机器人运动学的东西。3. 保姆级操作流程从安装到全局坐标输出的完整链路下面开始讲实操。这一部分我会以一个双相机拼接检测项目为例子带你完整走一遍VisionMaster里统一坐标系的流程。项目背景是这样的有一个350mm宽的工件需要检测表面缺陷单相机视野不够采用两台500万像素相机左右排列每个相机视野约200mm宽中间有20mm重叠区域。要求缺陷坐标统一到同一个世界坐标系下输出。3.1 环境准备与标定板选型实操第一步先把软硬件环境准备好。软件方面安装海康机器人官网的VisionMaster最新版本注意安装时需要绑定加密狗或授权文件。硬件方面相机建议选择同型号同分辨率镜头焦距一致这样两个视野的放大倍率一致后续标定会省事很多。光源尽量用同类型同角度的光源保证图像亮度接近不然两张图的特征提取效果会产生差异。标定板我选用100mm×100mm的圆点标定板7×7圆点阵列圆点间距15mm精度等级0.01mm。之所以不用棋盘格是因为圆点标定板的圆心提取受畸变影响更小而且VisionMaster的N点标定模块对圆点标定板的支持最成熟。3.2 单相机内参标定的关键参数设置打开VisionMaster新建流程拖入两个图像采集模块分别绑定相机1和相机2。然后分别在两个采集模块后面接入相机标定模块。相机标定模块的参数设置有几个关键点标定板类型选择圆点标定板。圆点间距输入15mm。标定板行列数输入7×7。标定图像数量每个相机采集12~15张不同姿态的图像。姿态变化要包含左右倾斜、上下俯仰、前后平移但标定板必须在视野内完整可见。标定板平整度最好贴在玻璃板或陶瓷平面上不要用软质材料。写到这里必须提醒一句采图时不要移动相机而是移动标定板。移动相机相当于改变外参这是做手眼标定时的操作做内参标定时只需要标定板在相机前方不同位姿出现即可。采集完成后点击标定查看输出的重投影误差。如果误差在0.05~0.1像素之间说明结果可接受如果误差超过0.15像素逐张删掉质量差的图像重新标定。内参标定完成后每个相机都会生成对应的相机参数文件。这一步相当于给每个相机配好了视力矫正眼镜之后的畸变校正和坐标映射都会基于这个矫正结果。3.3 多相机统一坐标系的核心步骤——以双相机拼接为例内参标定完成后进入最关键的一步建立统一的世界坐标系。以我的双相机项目为例具体操作如下确定世界坐标系基准把编码点标定板平放在测试平面也就是工件所在的平面上保证标定板能同时进入两个相机视野。实际操作中我会让标定板中心放在两个相机视野交叠区的中线上这样两个相机都能看到足够多的特征点。相机1全局标定运行相机1的图像采集模块确保在图像中能看到标定板的完整有效区域。然后拖入N点标定模块把特征点提取方式选择为自动提取圆心。软件识别出标定板上所有圆点后需要输入一个关键参数每个圆点对应的世界坐标。由于标定板已经放在统一基准位置上我可以把标定板左上角第一个圆点定义为世界坐标(0, 0)然后根据圆点间距15mm依次算出每个点的世界坐标。比如第一行第二个点就是(15, 0)第二行第一个点是(0, 15)以此类推。VisionMaster支持自动生成规则阵列坐标输入起始点坐标、圆点间距和行列数软件自己会把所有点的世界坐标算出来。相机2全局标定切换到相机2的图像采集模块同样拖入N点标定模块。关键来了相机2必须使用与相机1同一个世界坐标系也就是使用同一套世界坐标定义规则。也就是说相机2图像里识别出的圆心点在填写世界坐标时也要以标定板左上角第一个圆点为(0, 0)来赋值。这里有一个容易踩的坑如果相机2的视野范围和相机1不完全一样看到标定板的区域可能不同但你仍然要保证填入的物理坐标和实际物理位置一致。也就是说同一个物理点在相机1里是(15, 0)在相机2里也必须填(15, 0)而不是从各自图像左上角去数。保存标定结果两个N点标定模块分别运行完成后查看各自的重投影误差。误差控制在0.1mm以内才算合格。然后把两个相机的标定结果分别保存为标定文件。经过这一步相机1和相机2已经分别建立了从各自像素坐标到同一个世界坐标系的映射关系。也就是说无论缺陷出现在相机1还是相机2的视野里输出坐标都是在同一个坐标系下表达的。这就实现了统一坐标系的核心目标。3.4 验证环节别急着上产线先在图上叠坐标网格标定做完不等于万事大吉必须做一次完整的验证。我的验证方法是这样的拿一个已知尺寸的标准工件放在相机1视野内用VisionMaster的查找圆或轮廓定位模块测出某个特征点的像素坐标再通过N点标定输出的坐标变换关系算出世界坐标。然后把这个工件平移到相机2视野内的对应位置再测同一个特征点算出世界坐标。两个坐标的差异如果在容忍范围内比如±0.1mm说明标定结果可靠。还有一个很直观的验证方法在VisionMaster的图像预览窗口里把N点标定模块生成的坐标网格叠加显示在图像上。如果网格均匀、没有明显扭曲说明映射关系基本正确如果网格在图像边缘处出现明显弯曲或者间距不均匀说明畸变校正或标定板采图有问题需要回头重新处理。4. 现场最容易翻车的几个坑与完整排查过程标定流程本身并不复杂真正让人崩溃的是现场的各种意外。我把自己踩过以及帮别人排查过的几个典型问题整理出来每个都附上完整的排查链路希望能帮你少走弯路。4.1 翻车案例二次定位误差0.8mm从哪一步开始查有一个项目是双相机引导机器人上料两个相机分别负责左右两个工位但要求输出的坐标统一到机器人基坐标系。现场调试时发现相机1定位的工件机器人抓过去非常准重复精度在±0.2mm以内但相机2定位的工件机器人抓过去整体偏移了大约0.8mm方向固定。这种一个准一个不准的情况基本可以把问题定位到相机2的标定环节。排查链路如下先确认两个相机各自的内参标定重投影误差。相机2的重投影误差为0.21像素高于相机1的0.08像素。这说明相机2的内参标定质量较差。回到相机标定模块查看标定板的特征点提取结果。发现相机2采集的标定图像里有3张出现轻微反光导致圆点边缘不清晰圆心提取偏了0.2像素左右。把这几张图像删除重新标定后重投影误差降到了0.09像素。重新做N点标定再次验证相机2的定位偏差降到了0.3mm。剩余0.3mm的偏差经过排查发现是手眼标定时机器人TCP标定不准确导致的重新标定TCP后系统整体精度稳定在±0.15mm以内。这个案例说明多相机系统中的误差是逐级叠加的。内参标定引入的误差会被N点标定继承N点标定的误差又会被手眼标定继承。每一级的误差即便不大叠加起来也可能让最终结果超标。4.2 标定板方向与光源反光导致的误标定标定板放置方向看起来是个小问题实际操作中却经常导致严重的坐标系错乱。有一次我在现场做四相机大幅面标定相机1和相机2标定完成后测量结果始终存在一个镜像关系怎么调都调不对。排查到最后发现是相机2朝向上放置标定板时我旋转了标定板180度但填写世界坐标时仍然按原来的方向从左上角开始赋值。由于标定板是对称的圆点阵列旋转180度之后软件自动提取的圆心顺序全乱套了导致世界坐标和像素坐标的对应关系错位。解决办法在N点标定模块里一定要用交互式指定的方式来建立对应关系。比如手动指定第一个点、第二个点并明确x轴正方向和y轴正方向这样无论标定板怎么放置对应关系都不会乱。编码点标定板因为没有对称性每个点自带编码天然避免了这个问题这也是我推荐编码点标定板的重要原因。光源反光的问题更隐蔽。有一次标定结果显示N点标定的重投影误差只有0.08像素看起来很好但实际测量精度却很差。仔细检查发现现场用的是环形光源标定板中心区域反光严重软件提取圆心时把反光形成的亮斑边缘当成了圆点边缘每个圆的中心偏移方向不一致虽然拟合残差小但系统误差很大。换成低角度条形光源后问题立刻消失。4.3 坐标偏移的排查链路从图像坐标到机器人坐标逐层筛选当最终项目出现坐标偏移时不要盲目怀疑某一个环节而要按链路逐层排查。我一般按照这样的顺序来第一步确认图像坐标是否准确。用VisionMaster的坐标查看工具直接读取目标点在原始图像中的像素坐标手动和自动各测一次判断特征提取本身有没有问题。第二步确认畸变校正是否正确。把畸变校正前后的图像叠加对比看校正后的图像边缘是否还有明显的弯曲。第三步验证N点标定映射。输入一个已知像素坐标查看输出的世界坐标是否合理。可以铺一张坐标纸手动放几个标准点逐一验证。第四步检查手眼标定变换矩阵。这个环节最容易出错因为机器人位姿读取、TCP精度、标定板姿态都会影响结果。我通常会用VisionMaster提供的标定结果评估功能查看每个示教点的重投影误差误差大的点直接删除重采。这一套链路走下来90%以上的坐标偏移问题都能定位到具体环节。4.4 温度与机械变形被忽略的坐标系漂移这是很多老工程师都会忽略的问题。多相机标定通常在设备调试阶段完成而设备量产阶段的环境温度、机械负载会和调试阶段不同。相机支架是铝型材的话温度每升高10度一根500mm长的铝型材会膨胀约0.12mm。听起来不多但如果是大幅面拼接项目多个支架的膨胀量累积起来足以让原本精度很高的标定结果产生可见偏差。我之前做过一个项目白天调试时精度很好到了晚上车间温度降下来整个坐标系就发生了偏移测量结果整体偏了0.3mm。后来给相机支架换成了低膨胀系数的钢材并加装了温度补偿功能才把问题解决。如果你在现场也遇到标定结果上午好使、下午不好使的情况先别急着重新标定量一下机械结构的温度变化。VisionMaster支持通过脚本或外部通讯读取环境温度在温度变化超过阈值时自动触发重新标定这是很多高标准产线的标准做法。5. 进阶玩法把标定做的更省心、更自动化5.1 用编码点标定板代替棋盘格能省一半调试时间前面我反复提到编码点标定板的优势这里再展开说说。编码点标定板上的每个特征点都带有独特的编码信息像人的身份证号一样软件通过解码就能知道这个点在整个标定板上的准确位置完全不依赖人为指定对应关系。这意味着即使标定板没有铺满整个视野软件也能自动匹配出一部分点的世界坐标。在多相机大幅面拼接场景里这个特性特别有用。你可以把编码点标定板平放在工作平面上然后把所有相机视野都对着标定板采集图像软件会自动识别每个相机看到了哪些编码点并自动建立全局坐标映射。整个过程不需要手动交互自动化程度很高。VisionMaster的高级版N点标定模块直接支持编码点标定板操作起来非常顺手。5.2 二次开发用VM SDK把标定结果固化到产线逻辑里如果你的项目需要批量部署不可能每次都在VisionMaster界面里手动做标定。这时候需要用到VM SDK二次开发。通过SDK你可以在C#或C程序里加载标定文件、调用标定结果、执行坐标变换甚至实现自动标定流程。具体来说VM SDK里提供了CalibrateExecute和CoordinateTransform这类接口程序启动时加载标定文件运行时通过接口传入像素坐标即可得到世界坐标。我通常的做法是将不同产品的标定文件以产品号命名程序切换产品时自动加载对应的标定文件省去现场工程师手动切换的麻烦。二次开发还有一个好处是可以把标定结果写入数据库。每次产线定期保养或机械调整后重新标定的数据都会被记录下来工程师可以随时查看坐标系是否发生漂移提前预警。5.3 选型建议和合理预期最后说点过来人的建议。如果你的项目对精度要求很高比如±0.1mm以内建议满足以下条件相机分辨率至少500万像素镜头焦距尽量与视野匹配避免用广角镜头。标定板需要选用玻璃基底的高精度标定板精度等级0.005mm以上。现场温度控制稳定或者有温度补偿机制。定期巡检标定状态比如每个月做一次精度验证用标准件实测比对。如果项目对精度要求不那么苛刻比如±0.5mm就够用那N点标定完全可以胜任标定板也不需要特别高精度常规陶瓷标定板即可。关键是不要把精度目标定得过高要实事求是地根据现场条件设定合理的标定方案。我在实际项目中养成了一个小习惯每次做完标定都会用PNG格式保存一张标定质量可视化图图上叠加显示特征点提取位置和重投影误差颜色分布。这张图比任何标定报告都有说服力也是排查问题时最快定位到环节的依据。这个方法你也可以试试尤其是多相机项目每个相机存一张对比着看哪里有问题一目了然。
