人工智能计算机视觉预训练【免费下载链接】PaddleSegEasy-to-use image segmentation library with awesome pre-trained model zoo, supporting wide-range of practical tasks in Semantic Segmentation, Interactive Segmentation, Panoptic Segmentation, Image Matting, 3D Segmentation, etc.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSeg点击查看免费下载本指南以 PaddleSeg 官方模型开发规范docs/pr/pr/style_cn.md为骨架系统讲解向该语义分割库贡献新模型时必须遵守的工程规范新增文件的版权与导入格式、模型/Loss/数据集等可拓展组件的实现约定、动态图模型导出与推理测试流程以及新增模型的 PR 提交流程。读完本文你将掌握以 PSPNet、CrossEntropyLoss、Cityscapes 为参照写出符合官方标准、可被配置系统自动加载并顺利通过 Reviewer 审查的新组件。规范总览PaddleSeg 模型开发需要关注的四个方面PaddleSeg 的模型开发规范主要分为四大板块新增文件的开发规范每个新建源文件都需要自查的copyright版权信息、import导入顺序和编码checklist可拓展模块的开发规范PaddleSeg目前支持model模型、loss损失、backbone骨干网络、transform数据变换、dataset数据集五类组件的拓展需要分别遵循对应的实现约定导出和测试预测模型动态图模型必须能顺利导出为静态图预测模型并通过 Paddle Inference 推理测试才算真正完成开发新增模型的 PR checklist提交 Pull Request 前需要完成的配置文件、README、评估结果表格等配套工作。其中 backbone 与模型的规范相近transform 的规范较为简单因此规范文档以模型、损失、数据集三类组件为核心展开本文亦按此结构组织。1 新增文件的开发规范每个新增文件都需要进行自查和修正主要包含copyright部分、import部分和编码规范checklist。1.1copyright部分创建空文件例如pspnet.py后需要在文件顶部添加版权信息。PaddleSeg 中每个新增的文件都需要添加相应的版权声明注意其中年份按照当前自然年改写# Copyright (c) 2022 PaddlePaddle Authors. All Rights Reserved. # # Licensed under the Apache License, Version 2.0 (the License); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an AS IS BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License.该 Apache License 2.0 版权头在仓库所有源码文件中统一使用例如 paddleseg/models/pspnet.py、paddleseg/cvlibs/manager.py 均以此格式开头可直接复制后仅修改年份。1.2import部分该部分导入模型所需的 package所有 Python 文件需要按照以下顺序导入三种类型的 packagePython 源生自带 package标准库第三方 package即通过pip或conda install安装的 packagePaddleSeg 中的 package。三种类型之间用空行隔开同时应删除未使用的 package如果导入语句长度相差太大则按照递增顺序排列。示例import os import numpy as np import paddle.nn as nn import paddle.nn.functional as F from paddleseg.cvlibs import manager from paddleseg.models import layers from paddleseg.utils import utils这一导入顺序在仓库源码中随处可见例如 paddleseg/models/pspnet.py 即为标准库 → 第三方 → PaddleSeg 内部的典型三段落结构。1.3 编码自查checklist以下规范主要面向 Python 编码其中大部分规则会由pre-commit 钩子自动校验修正pre-commit 的安装与使用详见 docs/pr/pr/pr_cn.md 第 4 节更多细节可参考 Google Python 编程规范。逐项自查清单如下空行顶级定义如函数或类定义之间空两行方法定义、类定义与第一个方法之间空一行函数或方法内部在合适的逻辑中断处空一行行长度每行不超过 80 个字符保证分两屏后可完整看到所有代码。Python 会将圆括号、中括号和花括号中的行隐式连接起来可以借此在表达式外围增加一对额外的圆括号来换行不要使用反斜杠换行括号括号可以用于行连接但不要在各类判断中使用没有必要的括号分行每个语句独立一行不要使用分号命名模块名module_name包名package_name类名ClassName方法名method_name异常名ExceptionName函数名function_name全局常量名GLOBAL_CONSTANT_NAME全局变量名global_var_name实例名instance_var_name函数参数名function_parameter_name局部变量名local_var_name。2 可拓展模块的开发规范PaddleSeg 的组件化设计使得新增模型、损失、骨干网络、数据变换与数据集可以只通过**注册register加配置config**的方式接入训练系统。注册机制由 paddleseg/cvlibs/manager.py 中的ComponentManager类实现它维护一个components_dict支持以装饰器形式把类或函数登记到对应命名空间。仓库在文件末尾实例化了六个全局管理器manager.pyMODELS ComponentManager(models) BACKBONES ComponentManager(backbones) DATASETS ComponentManager(datasets) TRANSFORMS ComponentManager(transforms) LOSSES ComponentManager(losses) OPTIMIZERS ComponentManager(optimizers)正因如此新组件只需在类定义前加上manager.MODELS.add_component之类的装饰器即可在 yml 配置文件中通过type字段被实例化。2.1 模型实现部分以 PSPNet 开发为例开发PSPNet需要在paddleseg/models目录下创建pspnet.py文件名的字母均为小写。整个文件内容分为三部分copyright部分、import部分前两部分遵循上文新增文件的开发规范、模型实现部分。模型实现的结构按顺序分为三个部分主模型、分割头、辅助模块。若模型没有 backbone如轻量级分割模型则只有主模型和辅助模块两部分。2.1.1 主模型模型声明规范主模型是 import 部分之后、模型实现的第一部分要求将主模型放在文件顶部用 manager 完成主模型的添加即在主模型类定义之前加上manager.MODELS.add_component。注意只有主模型需要 manager 装饰器不可以通过函数来定义不同型号的主模型推荐通过模型 yml 配置文件中的模型输入参数来定义不同型号scale 等的主模型主模型的 class 需要继承nn.Layer添加英文注释添加 The xxx implementation based on PaddlePaddle.添加 The original article refers to 作者名和文章名 论文链接添加输入参数说明需要指明参数类型若可选则标注optional并在参数注释末尾添加 Default: xx如果可以进一步添加Returns、Raises说明返回值与可能抛出的错误。完整示例manager.MODELS.add_component class PSPNet(nn.Layer): The PSPNet implementation based on PaddlePaddle. The original article refers to Zhao, Hengshuang, et al. Pyramid scene parsing network (https://openaccess.thecvf.com/content_cvpr_2017/papers/Zhao_Pyramid_Scene_Parsing_CVPR_2017_paper.pdf). Args: num_classes (int): The unique number of target classes. backbone (Paddle.nn.Layer): Backbone network, currently support Resnet50/101. backbone_indices (tuple, optional): Two values in the tuple indicate the indices of output of backbone. pp_out_channels (int, optional): The output channels after Pyramid Pooling Module. Default: 1024. bin_sizes (tuple, optional): The out size of pooled feature maps. Default: (1,2,3,6). enable_auxiliary_loss (bool, optional): A bool value indicates whether adding auxiliary loss. Default: True. align_corners (bool, optional): An argument of F.interpolate. It should be set to False when the feature size is even, e.g. 1024x512, otherwise it is True, e.g. 769x769. Default: False. pretrained (str, optional): The path or url of pretrained model. Default: None. 仓库中 paddleseg/models/pspnet.py 的真实实现与上述模板完全一致可以直接对照阅读。需要说明的是manager 装饰器在底层通过_add_single_component把类的__name__作为 key 登记进components_dict重复注册同名组件会触发警告并覆盖见 manager.py因此类名必须全局唯一。__init__规范参数列表的建议顺序为num_classes, backbone, backbone_indices, ......, align_corners, in_channels, pretrained前面参数若出现则按此顺序其他中间参数顺序可自由调整各参数含义见上文 PSPNet 示例注释参数名需要有含义尽量避免无明显含义的名字如n、m、aa除非原论文实现非用不可参数全部显式写出不能包含变长参数如*args, **kwargssuper().__init__()保持空参数结尾调用self.init_weight()加载pretrained指定的模型参数in_channels用于指定输入图片的通道数如果主模型没有使用 backbone则需要在主模型的__init__中设置in_channels默认值为 3如果主模型使用了 backbone则不需要在主模型__init__中设置in_channels而是需要在 backbone 的__init__中设置in_channels默认值为 3。def __init__(self, num_classes, backbone, backbone_indices(2, 3), pp_out_channels1024, bin_sizes(1, 2, 3, 6), enable_auxiliary_lossTrue, align_cornersFalse, pretrainedNone): super().__init__() ... self.init_weight()在 PSPNet 的实际实现中__init__还会从backbone.feat_channels中按backbone_indices取出对应阶段的输出通道数传给分割头pspnet.py这体现了主模型只负责组装、不关心内部细节的组件化思想。forward规范逻辑尽量简洁以组件式的调用呈现结果需要resize到原图大小按列表形式返回列表第一个元素为主输出其余为辅助输出如果模型训练和预测时执行分支不同使用self.training变量作为 if 判断实现不同分支可参考 PPLiteSeg 等模型文件获取 Tensor 的 shape建议使用paddle.shape(x)而不是x.shape否则在导出预测模型动转静时可能出现失败组网代码统一使用 Paddle API不支持嵌入 numpy 操作即不支持 tensor → numpy → tensor 转换。def forward(self, x): feat_list self.backbone(x) logit_list self.head(feat_list) return [ F.interpolate( logit, paddle.shape(x)[2:], modebilinear, align_cornersself.align_corners) for logit in logit_list ]可以看到 PSPNet 的 forward 就是把 backbone 与 head 串起来再统一把 logit 双线性插值回原图尺寸返回列表。这一点在 paddleseg/models/pspnet.py 中有完整对应分割头内部则把feat_list[backbone_indices[1]]送入金字塔池化模块PPModule得到主 logit并视enable_auxiliary_loss决定是否通过AuxLayer产出辅助 logitpspnet.py辅助输出正是 yml 配置中loss.coef: [1, 0.4]所对应的第二个损失分支。init_weight规范带 backbone 的模型调用utils.load_entire_model加载整体权重即可不含 backbone 的模型可能涉及模型参数初始化可调用paddleseg.cvlibs中的param_init实现。# 带有 backbone 的对整个模型进行加载 def init_weight(self): if self.pretrained is not None: utils.load_entire_model(self, self.pretrained) # 不带 backbone 的自身模型参数初始化 def init_weight(self): Initialize the parameters of model parts. for sublayer in self.sublayers(): if isinstance(sublayer, nn.Conv2D): param_init.normal_init(sublayer.weight, std0.001) elif isinstance(sublayer, (nn.BatchNorm, nn.SyncBatchNorm)): param_init.constant_init(sublayer.weight, value1.0) param_init.constant_init(sublayer.bias, value0.0)从源码看utils.load_entire_model定义于 paddleseg/utils/utils.py内部转调load_pretrained_model完成权重加载param_init.normal_init、param_init.constant_init等初始化函数则集中在 paddleseg/cvlibs/param_init.py。2.1.2 骨干网络Backbone骨干网络的实现与主模型大体类似具体可参考 paddleseg/models/backbones/mobilenetv2.py骨干网络要求__init__函数输入参数必须有in_channels表示输入图片的通道数默认等于 3骨干网络通常有多个输出特征图如分别返回 1/4、1/8、1/16、1/32 倍下采样的特征图便于主模型中使用backbone_indices选择特定特征图骨干网络类必须有self.feat_channels属性表示所有输出特征图的通道数PSPNet 等主模型正是依赖该属性来推导各阶段通道数骨干网络通常有不同尺寸型号分别通过函数定义并使用manager.BACKBONES.add_component注册。以 MobileNetV2 为例mobilenetv2.py 的MobileNetV2类__init__接收scale、in_channels3、pretrained并通过self.feat_channels [int(c * scale) for c in out_channels]设置输出通道不同倍宽版本则以注册函数形式提供manager.BACKBONES.add_component def MobileNetV2_x0_25(**kwargs): model MobileNetV2(scale0.25, **kwargs) return model manager.BACKBONES.add_component def MobileNetV2_x0_5(**kwargs): model MobileNetV2(scale0.5, **kwargs) return model仓库中实际还提供了x0_75、x1_0、x1_5、x2_0等多个版本mobilenetv2.py说明用注册函数 scale 参数定义多型号是该库的标准做法。2.1.3 分割头Head目前 PaddleSeg 中的模型只有单分割头模型所以分割头模块直接以主模型名 Head命名注释规范与主模型保持一致class PSPNetHead(nn.Layer):若开发的是轻量级分割模型没有 backbone可看作只有分割头的模型为了简洁可以不写 Head把逻辑直接写在主模型部分中。PSPNetHead 的完整实现见 paddleseg/models/pspnet.py其中通过layers.PPModule实现金字塔池化、nn.Dropout(p0.1)防止过拟合、layers.AuxLayer实现辅助监督分支。2.1.4 辅助模块除主模型和分割头之外的代码段统称为辅助模块。PaddleSeg 已提供常见辅助模块如SyncBN、ConvBNReLU、FCN (AuxLayer)、PPModule、ASPP、AttentionBlock等详见 paddleseg/models/layers。使用原则必须优先使用 PaddleSeg 内置辅助模块若内置辅助模块不满足需求可以自定义模块自定义模块要保持良好的代码风格并对关键模块添加注释在 PR 中说明除主模块和分割头之外自定义模块的 class 名。开发完模型文件后在 paddleseg/models/init.py 中添加导入信息。若没有其他 loss 的添加至此就完成了一个模型的开发from .pspnet import *2.2 Loss 开发规范Loss 开发的规范以 paddleseg/models/losses/cross_entropy_loss.py 为例在 Loss 类上使用manager装饰器manager.LOSSES.add_component继承nn.Layer添加英文注释损失含义类主要做什么、损失表达式是什么、主要针对的优化点可选损失参数损失参数比较灵活一般可指定weight、ignore_index等必须支持ignore_index用于设置被忽略的 label 数值。manager.LOSSES.add_component class CrossEntropyLoss(nn.Layer): Implements the cross entropy loss function. Args: weight (tuple|list|ndarray|Tensor, optional): A manual rescaling weight given to each class. Its length must be equal to the number of classes. Default None. ignore_index (int64, optional): Specifies a target value that is ignored and does not contribute to the input gradient. Default 255. top_k_percent_pixels (float, optional): the value lies in [0.0, 1.0]. When its value 1.0, only compute the loss for the top k percent pixels (e.g., the top 20% pixels). This is useful for hard pixel mining. Default 1.0. data_format (str, optional): The tensor format to use, NCHW or NHWC. Default NCHW. 该文件的实际实现cross_entropy_loss.py除上述参数外还支持avg_non_ignore是否仅对非忽略像素求平均、semantic_weights逐像素权重并实现了top_k_percent_pixels 1.0时的难例挖掘hard pixel mining逻辑NPU 环境npu in paddle.get_device()下会走F.log_softmax F.nll_loss分支。文件内还附带了继承自CrossEntropyLoss的DistillCrossEntropyLoss用于知识蒸馏场景可作为在既有 Loss 上扩展的参考范例。2.3 Dataset 开发规范官方不推荐直接在paddleseg/datasets/目录下新增数据集 Class 来支持新数据集。建议参考 docs/data/marker/marker_cn.md将数据集整理成 PaddleSeg 推荐的格式基于 txt 文件来配置DataSet这样无需写代码即可接入新数据集。若确需新增数据集类以 paddleseg/datasets/cityscapes.py 为例文件中仅声明一个和数据集名字一致的类并在paddleseg/datasets中创建对应数据集名字的文件。2.3.1 数据集声明规范在类头部添加装饰器manager.DATASETS.add_component类继承Dataset基类文档部分描述数据集来源、数据集结构、参数含义等from paddleseg.datasets import Dataset manager.DATASETS.add_component class Cityscapes(Dataset): Cityscapes dataset https://www.cityscapes-dataset.com/. The folder structure is as follow: cityscapes | |--leftImg8bit | |--train | |--val | |--test | |--gtFine | |--train | |--val | |--test Make sure there are **labelTrainIds.png in gtFine directory. If not, please run the conver_cityscapes.py in tools. Args: transforms (list): Transforms for image. dataset_root (str): Cityscapes dataset directory. mode (str, optional): Which part of dataset to use. it is one of (train, val, test). Default: train. edge (bool, optional): Whether to compute edge while training. Default: False 从仓库实现看cityscapes.pyCityscapes还通过NUM_CLASSES 19、IGNORE_INDEX 255、IMG_CHANNELS 3等类常量提供元信息并在__init__中对mode、transforms、目录结构进行合法性校验。2.3.2__init__规范__init__中参数全部显式写出不能包括变长参数如*args, **kwargssuper().__init__()保持空参数参数顺序与上述示例一致transforms, dataset_root, mode, edge通过在__init__方法中建立self.file_list之后根据其中元素的路径读取对应图片cityscapes.py 中以os.path.join(self.dataset_root, leftImg8bit)与gtFine拼装路径、排序后生成 file_list。3 导出和测试预测模型开发模型不仅要关注模型精度的正确性还需要检查模型导出和预测部署的正确性。只有模型可以顺利部署才算真正开发完成一个模型。3.1 导出预测模型开发模型使用的是 PaddlePaddle 的动态图模式需要将动态图模型导出为静态图预测模型以实现更快的部署推理速度。这一过程使用动转静Dynamic-to-Static技术其具体原理可查阅 PaddlePaddle 官方动转静文档此处不展开。导出步骤请参考 docs/model_export_cn.md如果导出没有报错静态图预测模型会保存到指定目录如果报错则根据 log 修改组网代码如将x.shape改为paddle.shape(x)、移除 numpy 操作等再次导出。这与前文forward规范中使用paddle.shape(x)、不支持 tensor→numpy→tensor两条要求直接呼应——它们正是为了保证动转静导出能够顺利通过而制定的。3.2 测试预测模型导出成功后请参考 docs/deployment/inference/python_inference_cn.md在X86 CPU 或 NV GPU上使用Paddle Inference Python API加载导出的预测模型读取单张/多张图片进行测试查看分割结果图片是否正确。只有推理结果正确才证明模型从组网、训练到部署的整条链路是通的。4 新增模型的 PR checklist完成开发与测试后提交 Pull Request 前请逐项检查以下内容代码提交准备参考 docs/pr/pr/pr_cn.md 完成代码提交前的准备包含 fork、clone、拉取最新内容、切换分支、安装 pre-commit 钩子等流程英文版见 docs/pr/pr/pr.md配置目录在configs目录下创建以模型名命名的子目录如configs/pspnet其中包含模型 yml 配置文件和README.md。仓库中现成的示例即为 configs/pspnet内含pspnet_resnet50_os8_cityscapes_1024x512_80k.yml等多个配置与配套 READMEyml 命名规则模型 yml 配置文件的文件命名方式为模型名 backbone out_stride 数据集 训练分辨率 训练单卡 iters.yml不含的部分略去详细配置项说明参考 docs/design/use/use_cn.md。例如configs/pspnet/pspnet_resnet50_os8_cityscapes_1024x512_80k.yml即表示PSPNet ResNet50 out_stride 8 Cityscapes 1024x512 分辨率 80k iters_base_: ../_base_/cityscapes.yml batch_size: 2 iters: 80000 lr_scheduler: type: PolynomialDecay learning_rate: 0.01 power: 0.9 end_lr: 1.0e-5 loss: types: - type: CrossEntropyLoss coef: [1, 0.4] model: type: PSPNet backbone: type: ResNet50_vd output_stride: 8 pretrained: https://bj.bcebos.com/paddleseg/dygraph/resnet50_vd_ssld_v2.tar.gz enable_auxiliary_loss: True align_corners: False pretrained: null注意其中model.type: PSPNet与backbone.type: ResNet50_vd正是通过前文 manager 注册机制按名字实例化的loss.coef: [1, 0.4]对应 forward 返回列表中的主输出与辅助输出README 引用风格README.md中模型原文文献的 reference 风格采用Chicago即写出全部作者名。仓库示例 configs/pspnet/README.md 的引用如下Zhao, Hengshuang, Jianping Shi, Xiaojuan Qi, Xiaogang Wang, and Jiaya Jia. Pyramid scene parsing network. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 2881-2890. 2017.README 性能表格提供至少一个数据集上的训练和测试结果格式如下Resolution表示训练数据集预处理时 crop 的图像尺寸mIoU、mIoU(flip)、mIoU(msflip)是模型在验证集上的评估精度flip表示测试使用水平翻转ms表示 multi-scale即使用三种scale[0.75, 1.0, 1.25] 进行测试msflip表示同时使用这两种数据处理方式。模型评估的详细使用方法参考 docs/evaluation/evaluate_cn.md下载链接包括三个部分训练好的模型参数model、训练日志log、训练 VisualDL 可视化记录vdl。ModelBackboneResolutionTraining ItersmIoUmIoU (flip)mIoU (msflip)LinksPSPNetResNet50_OS81024x5128000078.83%79.03%79.66%model | log | vdl上述表格中的真实数值可在 configs/pspnet/README.md 中查到Cityscapes 上 PSPNet ResNet50_OS8 的 mIoU 为 78.83%flip 为 79.03%msflip 为 79.66%可作为填写模板的参照代码自查所有新增的代码文件参考本文档前面介绍的新增文件的开发规范和可拓展模块的开发规范进行自查和改正导出测试反馈参考导出和测试预测模型完成导出与推理测试并将结果在 PR 中反馈给 Reviewer。结语PaddleSeg 的模型开发规范本质上是组件注册 配置驱动这一架构思想的工程落地通过 manager 装饰器把模型、骨干、损失、数据集登记到统一命名空间通过 yml 配置按名字实例化通过__init__、forward、init_weight等方法的固定约定保证每个组件都具备可训练、可导出、可部署的完整能力。对贡献者而言严格遵循 docs/pr/pr/style_cn.md 与 docs/pr/pr/pr_cn.md 中的规范不仅能让新模型快速接入现有训练与评估体系也能显著降低 Reviewer 的审查成本让 PR 更快被合并。建议在实际开发中以 PSPNetpaddleseg/models/pspnet.py、CrossEntropyLosspaddleseg/models/losses/cross_entropy_loss.py、Cityscapespaddleseg/datasets/cityscapes.py为模板逐行对照再结合 configs/pspnet 中的配置示例完成整套 PR 配套工作。赞分享人工智能计算机视觉预训练【免费下载链接】PaddleSegEasy-to-use image segmentation library with awesome pre-trained model zoo, supporting wide-range of practical tasks in Semantic Segmentation, Interactive Segmentation, Panoptic Segmentation, Image Matting, 3D Segmentation, etc.项目地址https://gitcode.com/gh_mirrors/pa/PaddleSeg点击查看免费下载相关推荐PaddleSeg 模型开发规范全指南从新增文件自查到可拓展模块与 PR 提交PaddleSeg 模型开发规范全指南从新增文件自查到可拓展模块与 PR 提交 本篇技术指南以 PaddleSeg 官方《模型开发规范》为核心系统讲解在 P人工智能计算机视觉预训练描述描述 ! 简要说明此PR解决的问题或实现的功能 在此填写1 2段描述说明本次贡献的核心内容 相关Issue ! 链接到相关的issue如 123 Clo文档教程提示工程大模型人工智能RAGAI Agentbash-it开发指南从编写组件到提交PRComposure元数据与shellcheck规范详解bash it开发指南从编写组件到提交PRComposure元数据与shellcheck规范详解 bash it 是一个社区维护的 Bash 框架A coCLI上一篇告别混沌日志GSYGithubApp Flutter版的Talker日志系统实战指南下一篇DVA应用的性能预算监控与优化关键指标创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
