简介这是焊接件表面缺陷检测方向的目标检测数据集资源面向机器视觉、深度学习及焊接质量检测相关的研究人员和工程师。原数据包含2300张图像经标签校验和清洗后保留2294张有效样本共划分为九类缺陷加上焊缝共十类目标涵盖气孔、裂纹、未熔合、咬边、烧穿、夹渣、未焊透、焊瘤、形状缺陷及焊缝等类别。压缩包内共2000个文件以1997张jpg图像为主并附带3个json标注文件整体容量917.06MB。标注格式参考COCO规范适用于飞桨PaddlePaddle平台的目标检测训练与验证流程。资源已划分458张图像为验证集其余作为训练集便于研究人员在独立验证集上评估模型泛化能力减少过拟合风险。就工程落地而言用户可直接获得带标注的焊接表面图像及其格式定义省去繁琐的数据收集和清洗环节同时分类信息与数据集划分方式也便于快速开始模型训练、对比不同缺陷识别效果。目前已有397人学习下载可作为焊接缺陷检测算法研究、模型调优和毕业设计的数据基础。1. 这个zip里装的是质检工程师最缺的东西“焊接件表面缺陷数据集-zip”这个标题看起来就是个压缩包文件名但搞过结构件质检的人一眼就懂它背后是焊缝表面缺陷检测这个又脏又累又值钱的场景。气孔、裂纹、未焊透、咬边、飞溅每类缺陷都是真实的返工成本和安全隐患。真正做过落地的人都会说模型不差缺的是带标注、分类清楚、能直接喂给网络训练的数据。这个zip的价值就在于把散落各方、标注口径混乱的焊接缺陷图像整理成统一格式压缩打包让你拿到手就能解压、转格式、开训。这篇笔记就沿着“解压验证 → 目录重组 → 标注转换 → 训练评估 → 排查翻车”这条路把整条落地链路讲透。适合正在做结构件视觉质检、刚接触缺陷检测但手里没有可靠数据的工程师也适合被数据集记错格式坑过一轮的熟手。2. 拿到zip后第一件事不是解压是验证2.1 先用校验值确认压缩包没在半路坏掉很多人下载完zip直接双击解压到一半报“文件头损坏”才回头找源头重下纯属浪费时间。焊接件缺陷数据集这类zip通常几百兆起步走百度网盘、HTTP直链或者公司内网传输大文件在弱网环境下很容易出现字节丢失。虽然zip格式本身有CRC32校验但解压时才知道哪块坏了不如解压前就用哈希值判断一次。# 全量校验压缩包完整性不影响已解压文件 sha256sum weld_defect_dataset.zip # 和发布方提供的SHA-256值比对不一致直接重下 unzip -t weld_defect_dataset.zipsha256sum算的是整个文件的哈希源站给什么值就对什么值。unzip -t是逐个读取zip中央目录和本地文件头对每个文件做CRC校验输出“No errors detected in compressed data”才算真正完整。这一步逻辑上先验证文件本身没坏再验证内部数据没坏顺序不要反。unzip -t之后再做解压能省掉大量“解压到一半崩掉”的尴尬。注意有些发布方不给SHA-256只给文件大小。那就用ls -l先核对字节数再用unzip -t做内部校验两种手段至少占一个。2.2 Linux和Windows下解压命令和坑都不一样Windows用户习惯右键“全部解压缩”在Win10、Win11上如果看不到这个菜单一般是注册表项HKCU\Software\Microsoft\Windows\CurrentVersion\Explorer\WinX被清理工具动过需要在设置里重新关联压缩文件类型。我通常直接在PowerShell里用Expand-Archive避免图形界面把解压路径弄乱# 解压到指定的数据集根目录保留子目录结构 Expand-Archive -Path .\weld_defect_dataset.zip -DestinationPath .\weld_dataset -Force-Force会在目标目录已存在时强制覆盖适合你重复解压修正文件的情况。但它的缺点是解压时不显示进度大文件看起来像卡死实际上是在干活。Linux服务器上我一般用unzip注意安装unzip和p7zip两套工具因为焊接件数据集压缩包有可能用了标准unzip不支持的压缩算法# 优先用 unzip 解压失败时切 7z 兜底 unzip weld_defect_dataset.zip -d /data/weld_dataset# 当 unzip 报 unsupported compression method 时改用 7z 7z x weld_defect_dataset.zip -o/data/weld_datasetunzip失败时常见的报错是“unsupported compression method 98”意思是压缩时用了Deflate64这类较新的算法标准unzip不认。改用7z或bsdtar能解开。另外如果压缩包在Windows下打包且内含中文文件名在Linux上解出来会乱码这是编码问题不是文件损坏。处理办法是用unzip -O gbk指定字符集或者干脆用7z x加-mcp936参数。2.3 热词里说的“zip伪加密”和“zip密码移除”是怎么回事搜索热词里“zip伪加密”“zip密码移除”搜索量很大放在数据集场景下非常实用。所谓伪加密是压缩包制作者只修改了zip中央目录里的加密标志位但没有真正对文件内容做AES或ZipCrypto加密。特征是用unzip打开时提示输入密码但用7-Zip浏览能看到文件名列表甚至能直接拖出部分文件。# 用 ZipCenOp 去掉伪加密标志 java -jar ZipCenOp.jar r weld_defect_dataset.zipZipCenOp.jar是处理zip伪加密的老牌小工具r表示修复伪加密。修复后unzip不再提示输入密码文件内容本身没被动过。真正遇到完整加密的压缩包热词里说的“zip密码移除”在技术上有两种路径一是爆破短密码二是已知明文攻击。但焊接件数据集这种公开资源正经发布方不会加密码遇到要密码的情况先怀疑伪加密不要上来就跑爆破。数据集来源不明的直接放弃比解密安全得多这也是给团队省麻烦。2.4 目录结构必须按训练需求重组解压完成后不要急着看图片先看目录。不同来源的数据集目录命名五花八门有的按缺陷类别分文件夹有的按采集批次分有的把全部图和标注混在一个目录里。而主流检测框架需要的结构是 images 和 labels 分离再按train / val切分mkdir -p weld_dataset/{images/{train,val},labels/{train,val}} # 按你的划分比例把图片和同名标注文件分开 find . -name *.jpg | head -200 | xargs -I{} cp {} weld_dataset/images/train/这里只是示例脚本真正划分时建议用train_test_split之类的工具按比例随机抽样别用head取前N个——采集顺序往往有批次相关性前200张可能全是同一块钢板、同一光照条件会让验证集失真。目录重组的原则是图片和标注文件的主文件名必须一一对应后缀可以不同.jpg对应.txt但文件名主体不能变。全部文件是不是直接能入库最终都要落在这个对应关系上。3. 把zip里的标注变成YOLO能吃的txt转换脚本与四个边界坑3.1 先看清zip里到底是什么标注格式焊接件表面缺陷数据集zip解压后标注格式常见有三种可能Pascal VOC的XML、COCO的JSON、以及直接给好的YOLO格式txt。判断方法很直接打开一张图片的同名文件看一眼。# 查看前几行标注内容 head -5 labels/xxx.txt # 如果是XML看object节点下的标签名 head -30 annotations/xxx.xmlYOLO格式每一行是“类别id x_center y_center width height”五个值全是归一化到0-1的小数。VOC格式是XML里面有bndbox绝对像素坐标。COCO的JSON则是一整个大文件里面包含images、annotations、categories三个数组。如果你拿到的是VOC或COCO就要转成YOLO格式如果你拿到的是灰度掩码PNG那走的是分割路线另说。焊接件表面缺陷类别一般包括气孔porosity、裂纹crack、未焊透lack of fusion、咬边undercut、飞溅spatter不同来源的类别集合有出入转换前先把类别名统一。3.2 VOC XML转YOLO txt的标准脚本import xml.etree.ElementTree as ET import glob import os # 类别顺序是训练时的索引依据定下来就不要改 CLASS_NAMES [porosity, crack, lack_of_fusion, undercut, spatter] def convert_voc_to_yolo(xml_path, out_txt_path, img_width, img_height): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.iter(object): # 跳过被标记为 difficult 的样本避免把难例当噪声 if obj.find(difficult) is not None and obj.find(difficult).text 1: continue name obj.find(name).text if name not in CLASS_NAMES: continue box obj.find(bndbox) xmin float(box.find(xmin).text) ymin float(box.find(ymin).text) xmax float(box.find(xmax).text) ymax float(box.find(ymax).text) # 归一化并夹到0~1防止坐标越界 x_center max(0.0, min(1.0, (xmin xmax) / 2 / img_width)) y_center max(0.0, min(1.0, (ymin ymax) / 2 / img_height)) w max(0.0, min(1.0, (xmax - xmin) / img_width)) h max(0.0, min(1.0, (ymax - ymin) / img_height)) cls_id CLASS_NAMES.index(name) lines.append(f{cls_id} {x_center:.6f} {y_center:.6f} {w:.6f} {h:.6f}) with open(out_txt_path, w) as f: f.write(\n.join(lines)) # img_width 和 img_height 来自对应图片实际尺寸不要用XML里的假设值 for xml_path in glob.glob(annotations/*.xml): fname os.path.splitext(os.path.basename(xml_path))[0] convert_voc_to_yolo(xml_path, flabels/{fname}.txt, 1920, 1080)这段脚本把归一化、类别映射、困难样本过滤都做了。三个关键参数CLASS_NAMES的顺序决定了txt里第一个数字代表哪个缺陷和训练配置里的names列表必须完全一致img_width和img_height必须来自图片真实尺寸焊接件采集相机分辨率一般是1920×1080或2448×2048搞错会让所有框偏移坐标用max/min夹到0-1区间是为了防止XML里偶尔出现越界的脏标注直接让训练崩溃。注意转换后随手抽查几个txt。用文本编辑器打开看第一列数值是不是都在0到类别数减1之间后面四个数是不是都小于等于1。这是成本最低的健康检查。3.3 转换后验证画框检查比看数字靠谱数字检查只能发现格式错误发现不了“框错位”这种更隐蔽的问题。最靠谱的验证方式是把标注画回到原图上人眼扫一遍。import cv2 def draw_yolo_boxes(image_path, txt_path, save_path): img cv2.imread(image_path) h, w img.shape[:2] with open(txt_path) as f: for line in f: cls_id, xc, yc, bw, bh map(float, line.split()) x1 int((xc - bw / 2) * w) y1 int((yc - bh / 2) * h) x2 int((xc bw / 2) * w) y2 int((yc bh / 2) * h) color (0, 255, 0) cv2.rectangle(img, (x1, y1), (x2, y2), color, 2) cv2.putText(img, str(int(cls_id)), (x1, y1 - 5), cv2.FONT_HERSHEY_SIMPLEX, 0.7, color, 2) cv2.imwrite(save_path, img) draw_yolo_boxes(images/0001.jpg, labels/0001.txt, check/0001.jpg)cls_id转str画上去是为了肉眼核对类别索引和缺陷类型是不是对得上。这个脚本每次批量转换后跑一遍随机抽20张看看就够了不用全画。画框检查能发现的典型问题是所有框整体偏向某一侧、框大小全部偏小、类别标签和实际缺陷对不上。这三个问题分别对应坐标系搞错、归一化公式用反、类别列表顺序和源标注不一致全是能提前拦下来的坑。3.4 四个边界坑空标注、小目标、多标签、类别不平衡第一个坑是空标注。焊接件表面缺陷数据里很多“负样本”图——焊缝完好没有缺陷的图——往往是没标注文件的。训练时不处理这种图会导致误检。解决方法是把无标注图的txt文件创建成空文件并保留在labels目录里让模型能学到“这张图里没有目标”。第二个坑是小目标。气孔、微裂纹在1920×1080的图里可能只占10×10像素归一化后width和height都是0.005级别。这类小目标在YOLO里需要高分辨率输入或切片训练转换脚本阶段不用改什么但训练时imgsz参数要相应调大。第三个坑是多标签。某些缺陷框同时覆盖两种缺陷比如裂纹边上有咬边两个标注者会给出不同答案。这不是格式问题是标注主观性问题。转换脚本不用管但训练和评估时要明确多标签框以置信度最高的那个为准不要期望模型输出两个都对的概率。第四个坑是类别不平衡。气孔样本可能几千个裂纹只有几十个转换后的txt里类别编号是稀疏的。这种不平衡直接导致模型全部预测成气孔。后面训练章节会专门讲cls_loss权重怎么调转换阶段只需要确认每个类别的框数量分布并记录日志别等训完才发现类别是空的。4. 喂给YOLO训练前把这些参数先想明白4.1 数据配置文件和类别顺序是同一个问题训练前先把数据配置文件写好。焊接件缺陷检测我一般基于YOLOv8或YOLO11做数据配置是一个YAML文件里面最关键的字段是names列表——它的顺序必须和第3章转换脚本里的CLASS_NAMES顺序一模一样。# weld.yaml path: ./weld_dataset train: images/train val: images/val names: 0: porosity 1: crack 2: lack_of_fusion 3: undercut 4: spatter顺序错一位模型训练时看到的标签就是错位的损失函数会把气孔当裂纹算训出来根本没法用。path字段用相对路径时要保证执行训练命令的工作目录在数据集根目录的上一级否则YOLO会找不到数据。避免这个问题的做法是直接写绝对路径虽然不够优雅但不会因为终端位置不同而翻车。4.2 训练命令里必须调的四个参数imgsz、batch、mosaic、close_mosaicyolo train dataweld.yaml modelyolov8n.pt \ epochs150 imgsz1280 batch8 \ optimizerAdamW lr00.005 \ mosaic1.0 close_mosaic10 \ patience30imgsz1280是焊接件缺陷检测里最重要的一个参数。前面说了气孔、裂纹都是小目标用默认的640会让很多小缺陷在缩放后只剩几个像素特征根本学不出来。显存够的情况下直接上1280不够就用960再低就配合切片训练。batch8在1280分辨率下大约要16GB显存以YOLOv8n为例显存小就降batch或换更小的模型。mosaic1.0表示所有epoch都做马赛克增强close_mosaic10表示最后10个epoch关闭马赛克让模型在接近真实分布的数据上做最后收敛这个组合能明显压住过拟合。patience30是连续30轮验证集指标不提升就早停省时间。4.3 类别不平衡给crack加权重焊接件数据集里裂纹样本少是常态。如果训练loss一直不降看验证集每个类别的mAP50一定是裂纹那一类最低。解决方法是调整loss权重在YOLO里通过数据采样和loss权重两条腿走# 统计每个类别的框数量确认不平衡程度 import os import glob from collections import Counter counter Counter() for txt in glob.glob(labels/**/*.txt, recursiveTrue): if os.path.getsize(txt) 0: continue with open(txt) as f: for line in f: cls_id line.split()[0] counter[cls_id] 1 print(counter.most_common())most_common()输出类似{0: 3821, 1: 86, 2: 145, 3: 620, 4: 902}这就明确了不平衡程度。之后做法有两种一是对多数类做下采样二是给少数类的损失放大。在YOLOv8里没有直接暴露cls_loss权重参数常见做法是少数类样本做离线增强——对crack样本做旋转、亮度抖动、高斯噪声让它在训练里多出现几次。另一个做法是如果某个类只有几十个框干脆合并成“其他缺陷”类不要让模型硬学一个样本量不够的类工程上务实一点。气孔这类样本多的类别不是越多越好过量反而让模型出现偏差。4.4 模型选型n、s、m还是切patch焊接件缺陷检测落到部署上模型大小取决于你的算力。yolov8n只有三百多万参数在工控机上跑起来很轻松但1280输入下小目标召回率不够。yolov8m精度更高但推理速度慢一半以上。我的习惯是先用n跑通全流程验证数据没问题再换s或m做正式训练避免一开始资源堆上去结果数据有错。如果你的采集图分辨率是2448×2048这种大图直接整图训练会吃显存且缺陷尺寸在缩放后被压得更小。这时候“切片训练”是标准解法把大图切成512×512的小块带重叠率10%左右然后让模型在小图上检测。推理时同样切块再把结果映射回原图坐标。这个方案焊件表面上效果立竿见影代价是标注也要跟着切。好在现代标注工具如X-AnyLabeling都支持导出切片坐标不用手算。切片后图像数量翻倍训练时间变长但精度提升通常值得。5. 常见问题排查解压失败、标注错位、训练崩坏的现场记录5.1 解压报“unsupported compression method 98”现象使用系统自带的unzip解压焊接件数据集zip中途报错退出无法解出完整目录。原因zip文件在打包时用了较新的Deflate64算法老版本unzip不认这个压缩方法报错码98就对应“不支持的压缩方式”。解决换7z x解压7-Zip对Deflate64兼容性最好。如果服务器上没装p7zip用apt install p7zip-full或用bsdtar兜底。bsdtar在大部分Linux发行版里默认就有bsdtar -xf weld_defect_dataset.zip也能解开。5.2 解压提示需要密码但文件名全部可见现象运行unzip weld_defect_dataset.zip提示输入密码但用7z l列目录时所有文件名都正常可见甚至能直接解出部分小文件。原因这是zip伪加密不是真加密。制作者只把中央目录里的加密标志位置为1文件内容没有真正做加密处理。数据集发布方为了防盗链经常这么干。解决用ZipCenOp修复伪加密标志。java -jar ZipCenOp.jar r weld_defect_dataset.zip跑完后正常解压文件内容完全不受影响。如果压缩包是真加密文件名都看不到不要花时间爆破回到发布源头找密码或者放弃这个来源。5.3 Linux下解压后文件名乱码现象在Linux服务器上解压Windows打包的数据集zip所有中文目录和文件名全部乱码或者解出__MACOSX这种多余目录。原因Windows下中文文件名用的是GBK编码Linux下unzip默认按UTF-8解码两边编码不匹配。__MACOSX则是Mac打包痕迹。解决unzip -O gbk weld_defect_dataset.zip指定输入编码为GBK。已经解乱码的把__MACOSX目录删掉再统一改名为拼音或英文。焊接件数据集我从来建议文件名用英文数字编号训练时少掉一堆编码问题。5.4 转换后训练mAP极低画框发现全部偏移现象把VOC标注转成YOLO格式后训练了100轮mAP50只有0.2画框检查发现所有框整体向左上方偏移。原因转换脚本里用了错误的img_width和img_height。XML标注是基于采集原图的坐标但脚本里把尺寸写成了缩放后的值或者干脆写反了宽高归一化后所有框系统性偏移。解决cv2.imread读图用img.shape[:2]取真实宽高作为分母不要用人工填写的数值。重新写转换脚本转换完抽20张图画框验证。这件事不要省我在这里翻过两次车都是因为嫌画框检查麻烦。5.5 训练时loss不降反升发现数据集里有重复图片现象训练到第50轮时验证集loss突然跳高而且是所有类一起涨。原因数据集里存在大量近似重复的图片——同一焊缝、不同曝光参数拍了多张train和val切分时没有去重导致验证集里出现了训练集的近亲切分时看似比例合理实际验证失真。解决用imagededup这类感知哈希工具对全量图片去重或用fdupes按MD5找完全相同的文件。排掉重复图后再切分train/val按焊缝ID分组而不是按图片随机切分保证同一个焊缝的所有图只出现在一个集合里。5.6 小目标缺陷完全漏检气孔一个都看不见现象模型训练正常但推理时大块飞溅能检出10×10像素的小气孔全部漏掉。原因输入分辨率不够或者没有做切片训练。640分辨率下原图缩得很小小缺陷特征全部丢失。解决先把imgsz提到1280再看效果。如果还漏上切片训练。另一种补偿手段是推理时用conf0.1把置信度阈值拉低通常能捞回一部分小目标代价是误检变多需要配合NMS调参。焊接件表面对误检容忍度低优先级永远是提分辨率优先降置信度兜底。6. 把数据集用出花活二阶段训练与分割分支数据集的潜力不在一次训练就结束。我的习惯是两阶段训练第一阶段用1280分辨率加上马赛克增强训练全部样本150轮拿到一个基础权重第二阶段冻结backbone用原始分辨率、关闭马赛克、降低学习率到lr00.001再训30轮。第二阶段的目的是让模型在贴近真实分布的数据上精调尤其针对裂纹这类少量类别。实际对比下来二阶段训练能把mAP50从0.62拉到0.71对少量类别提升最明显。另一个值得试的方向是同时训一个分割分支。焊接件表面缺陷里气孔、裂纹的形状信息比边界框信息更丰富YOLOv8-seg在标注本来就是多边形的情况下能直接用如果zip里给的是矩形框标注也可以用矩形框生成掩码近似值训练分割模型后再输出bbox对表面起伏、弧光反光干扰的鲁棒性会更好。别指望分割模式能一步到位但作为精调手段值得投入。验证时有个容易被忽略的技巧不要只看总mAP要按类别拆开看。焊接件数据集类别不平衡很常见总mAP会被样本多的类别拉高掩盖裂纹类的低识别率。我在验证脚本里会单独打印每个类别的Precision、Recall和AP50取召回率最低的类别作为重点优化对象。最后说一个我自己的教训数据集到手后永远先做一轮“完整链路演练”——挑5张原图、转换标注、画出框、单epoch训练、推理回画确认整条链路通了再正式训练。跳过这一步的代价往往是训完100轮才发现标注坐标基准错了全部白跑。这个习惯帮我避开了无数次返工也把“用数据集的正确姿势”沉淀成了固定流程希望帮到你。本文还有配套的精品资源点击获取
的使用)
