如何在自动化构建中用 requirements.txt 固定 spaCy 模型依赖【免费下载链接】spaCy Industrial-strength Natural Language Processing (NLP) in Python项目地址: https://gitcode.com/GitHub_Trending/sp/spaCy如果你的应用依赖 spaCy 的预训练管线并且构建流程跑在 CI 或自动化脚本里问题就变成如何让模型包像numpy、requests一样被requirements.txt声明、被pip install固定版本地安装而不是在构建机上交互式地执行下载命令。spaCy 的预训练管线本身就是标准 Python 包它们带版本号可以定义在requirements.txt中可以从下载 URL 或本地目录通过 pip 安装见 website/docs/usage/models.mdx。文档明确建议在自动化流程中不要用spacy download而是用 pip 加直接链接direct URL来安装模型。为什么不用 spacy downloadCLI 文档 中download命令的说明该命令是一个方便、交互式的封装会做兼容性检查并打印详细报错但它不适合用在自动化流程里。官方给出的替代路径是直接用 pip 安装模型的下载 URL或者把模型包上传到自建的内网 PyPI然后像普通依赖一样按包名引用。两条路径都能把模型变成可版本化的项目依赖本文以 requirements.txt 直接 URL 这条路径为主线。获取与当前 spaCy 兼容的模型 URLrequirements.txt 里要固定的是与你的 spaCy 版本兼容的那一个模型版本所以先要拿到正确的 wheel 链接。文档提供两种取法# 打印与当前安装的 spaCy 兼容的最新管线版本的下载 URL $ spacy info en_core_web_sm --url注意--url需要联网来查询兼容性信息见 CLI 文档info一节。另一个来源是模型发布页预训练管线分发托管在 spaCy 的模型仓库 Releases 上模型页面和命令行都可以拿到下载链接。拿到 URL 后在构建流程里用spacy info现查一次是可选做法更常见的做法是把查到的 URL 直接写死进requirements.txt这样构建环境连兼容性查询这一步都不需要。在 requirements.txt 中固定模型依赖模型文档的 production 一节 给出了 spaCy 3.7.x 下的en_core_web_sm示例以下为文档示例spacy3.0.0,4.0.0 en_core_web_sm https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.7.1/en_core_web_web_sm-3.7.1-py3-none-any.whl其中两个要点来自文档原文pip 的 requirements 格式同时支持通过 PyPI 下载的包名和直接 URL。如果你运行自己的内网 PyPI可以把模型包上传上去然后按包名引用所有管线包都带版本号并声明了自己的 spaCy 依赖这保证了交叉兼容性也让你可以为每个管线指定精确的版本要求。构建脚本中安装依赖就是标准的$ pip install -r requirements.txt验证模型已正确安装加载方式上文档推荐在较大代码库中使用原生import而不是spacy.load(包名)包不存在时 Python 会立刻抛出ImportError而spacy.load的失败会推迟到运行中途。每个管线包都暴露__version__属性可以在加载前自行做版本兼容检查import en_core_web_sm print(en_core_web_sm.__version__) # 与 requirements.txt 中固定的版本核对 nlp en_core_web_sm.load()另外spacy validate命令可以被用作构建流程或测试套件的一部分它会列出当前环境中所有已安装的管线包及版本检查它们与当前 spaCy 是否兼容如果发现不兼容的包命令返回1这正好适合作为 CI 里的失败信号见 CLI 文档validate一节。$ python -m spacy validate自训练管线的处理如果你的模型是自己训练的需要先把它变成可安装的包才能进入上面的固定流程。CLI 文档package一节$ python -m spacy package /input /output $ cd /output/en_pipeline-0.0.0 $ pip install dist/en_pipeline-0.0.0.tar.gz--build选项可以选择构建 sdist.tar.gz和/或 wheel二进制.whl文档说 wheel 安装更高效。打包后这个自训练包就同样可以按包名或 URL 写进 requirements.txt。限制与边界v3.0 起python -m spacy download en这类短名符号链接已废弃下载和加载都要用完整包名如en_core_web_sm。升级到 spaCy v3.x 需要重新下载新的管线包自训练的管线在升级 spaCy 后需要重新训练。spacy info --url查询兼容版本需要联网如果构建环境完全离线URL 必须提前写死在 requirements.txt 里或改用内网 PyPI / 本地文件安装pip 支持直接指向本地 wheel 或 tar.gz 路径。完成以上步骤后构建过程里模型的来源就是一个静态文件requirements.txt加一次pip install不再依赖交互式下载命令加载失败会在 import 阶段以ImportError提前暴露兼容性检查可以交给spacy validate的返回码。【免费下载链接】spaCy Industrial-strength Natural Language Processing (NLP) in Python项目地址: https://gitcode.com/GitHub_Trending/sp/spaCy创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
