Transformers 如何在离线或防火墙环境中离线运行【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers如果你的 GPU 实例处于云内网或被防火墙隔离脚本在下载模型权重或数据集时会挂起随后抛出连接错误。官方文档描述的现象是下载挂起后超时并报错ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on.出现这个错误时Transformers 的解决思路是把需要的模型文件提前下载到本地缓存然后在离线机器上关闭对 Hub 的 HTTP 访问直接从缓存加载。这条离线工作流记录在 安装文档的 Offline mode 一节中排错文档的 Firewalled environments 一节也指向同一处。前提条件已按 安装文档完成 Transformers 安装其测试环境为 Python 3.10 与 PyTorch 2.5例如uv pip install transformers[torch]。离线环境的核心要求原文表述使用 Transformers 于离线或防火墙环境必须提前下载并缓存所需的文件。模型文件的默认缓存目录由 shell 环境变量HF_HUB_CACHE决定默认是~/.cache/huggingface/hubWindows 为C:\Users\username\.cache\huggingface\hub。缓存目录可用以下环境变量按优先级覆盖HF_HUB_CACHE、HF_HOME、XDG_CACHE_HOME/huggingface仅当HF_HOME未设置时生效。第一步在有网络的机器上预下载模型snapshot_download会把你指定的 Hub 仓库文件下载进本地缓存是官方给出的预下载方式from huggingface_hub import snapshot_download snapshot_download(repo_idmeta-llama/Llama-2-7b-hf, repo_typemodel)其中repo_id换成你实际需要使用的模型仓库。文档同时提到huggingface_hub的下载指南中还提供了按 revision 下载、从 CLI 下载、按文件过滤等更多下载选项可按需要查阅。下载完成后让离线机器上对应缓存路径默认~/.cache/huggingface/hub中存在这些文件。第二步在离线机器上启用离线模式加载设置环境变量HF_HUB_OFFLINE1作用是加载模型时阻止对 Hub 的 HTTP 调用。文档给出的示例是用它运行语言模型训练脚本 examples/pytorch/language-modeling/run_clm.py...为文档省略的其余参数完整参数以该脚本为准HF_HUB_OFFLINE1 \ python examples/pytorch/language-modeling/run_clm.py --model_name_or_path meta-llama/Llama-2-7b-hf --dataset_name wikitext ...判断方式脚本应直接从缓存加载模型继续运行而不是再出现上文那个Connection error报错。可选分支用 local_files_only 只加载本地文件如果模型文件放在某个本地目录而不是依赖 HF 缓存结构也可以在PreTrainedModel.from_pretrained中设置local_files_onlyTrue只从本地加载文件。文档示例from transformers import LlamaForCausalLM model LlamaForCausalLM.from_pretrained(./path/to/local/directory, local_files_onlyTrue)其中./path/to/local/directory是文档中的占位路径替换为你存放模型文件的实际本地目录即可。限制与参考离线模式不能代替预下载没有提前缓存文件时离线加载依然会失败HF_HUB_OFFLINE1只负责阻止对 Hub 的 HTTP 调用。HF_HUB_OFFLINE等HF_*变量由huggingface_hub管理环境变量参考文档将离线工作流的入口指向 installation.md 的 Offline mode 一节。如果错误发生在其他环节导入报错、显存不足等可回到 排错文档 对照其他章节处理。【免费下载链接】transformers Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.项目地址: https://gitcode.com/GitHub_Trending/tra/transformers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
