如何在Jetson上完成BSP定制与端侧LLM部署NVIDIA Agent Skills完整指南【免费下载链接】skillsAgent Skills for NVIDIA products — install into Claude Code, Codex, and other coding agents to run Physical AI, robotics, simulation, CUDA, and RAG workflows end to end.项目地址: https://gitcode.com/gh_mirrors/skills36/skillsNVIDIA Agent Skills 仓库中的Jetson 系列技能帮助你在 AI 编码助手Claude Code、Codex 等中一键完成 NVIDIA Jetson 的两大核心任务从零定制 Jetson BSP 镜像摄像头、PCIe、USB、引脚复用等 I/O 定制以及在 Jetson 端侧部署、调优和压测大语言模型vLLM / SGLang / Ollama。本文带你用一套「问问题」的方式把原来要查十几个官方文档才能搞定的工作流变成和 AI 助手对话就能跑通的端到端流程。1️⃣ 为什么需要 Jetson 系列技能Jetson 是 NVIDIA 面向边缘计算的 SoC 平台AGX Orin、Orin NX、Orin Nano、Thor 等。做两件事时新手最容易卡住场景传统做法的痛点技能化的收益BSP 定制做自己的开发板镜像要理解 L4T、BCT、DTSI、ODMDATA、pinmux XLSM 等十几个概念按向导逐步问答自动解析引脚表并生成配置端侧 LLM 部署不同 JetPack 版本要用不同容器内存参数全凭猜自动审计内存、推荐运行时和启动参数、标准化压测该系列共分为BSP 定制组22 个技能和设备侧组15 个技能组件定义分别见 components.d/jetson-bsp.yml 和 components.d/jetson-device.yml。2️⃣ 快速安装一条命令接入你的 AI 助手无需手动克隆仓库使用官方skillsCLI 即可按需安装npx skills add nvidia/skillsCLI 会列出所有技能供你选择安装目标。只装单个技能可以用--skill参数直接指定例如安装 LLM 压测技能npx skills add nvidia/skills --skill jetson-llm-benchmark --yes安装后在 Claude Code 中执行/reload-skills即可生效。更多安装细节见 docs/advanced-install.mdx。3️⃣ 第一部分BSP 定制工作流 —— 打造你自己的 Jetson 镜像BSP 定制面向「我有自己的载板carrier board要基于官方 BSP 出镜像」的场景。整套流程由入口技能 jetson-quick-start 统一调度。3.1 从/jetson-quick-start进入向导式设置这是 BSP 定制的唯一入口。它会打印免责声明刷机会擦除设备存储务必先备份打开一张点选问卷只问 4 个路由关键问题modeAuto Setup全新环境自动下载/Guided Setup已有素材/Use Existing Workspace工作区已就绪active_platform选择芯片型号Orin 或 Thor 全列表bsp_release指定 BSP 发布版本如38.4、R36.4.4custom_carrier是否有自定义载板把答案打包成quick_start_prefill分发给下游技能。 设计亮点quick-start 本身不下载、不编译、不改任何文件只负责问对问题、路由正确真正的活由专门技能完成。3.2 下载 BSP 并初始化工作区问卷提交后Auto Setup 路径会依次执行顺序技能职责1jetson-set-target / jetson-init-target切换或创建目标平台 Profile2jetson-download-bsp从官方档案下载对应 BSP 并校验平台兼容性3jetson-init-image解压镜像、跑apply_binaries.sh落地 rootfs4jetson-init-source落地 BSP 源码树5jetson-link-docs绑定载板原理图、pinmux 表格等文档6jetson-generate-kb生成知识库供后续技能查询3.3 I/O 定制引脚、USB、PCIe、摄像头一次配齐绑定了载板文档后quick-start 会建议按「先 pinmux 和 UPHY再按控制器分支」的顺序定制。每个定制技能都会解析官方 pinmux XLSM 表格逐引脚问答并直接生成 BCT DTSI 配置jetson-customize-pinmux每引脚 SFIO / 方向 / 初始状态一次产出 pinmux、gpio、padvoltage 三份 DTSIjetson-customize-usbUSB2 / USB3 端口启用与禁用jetson-customize-pciePCIe 控制器接线jetson-customize-mgbe多千兆网 PHY 接线jetson-customize-cameraCSI / MIPI 摄像头传感器点亮jetson-customize-uphy通过 ODMDATA 配置 UPHY 通道分配。此外还有 jetson-customize-clocks时钟、jetson-customize-fan风扇、jetson-customize-nvpmodel性能模式、jetson-derive-carrier派生自定义载板等配套技能。3.4 编译、刷写与验证阶段技能说明编译jetson-build-source构建定制后的 BSP刷写jetson-flash-image将镜像刷入目标设备⚠️ 会擦除存储验证jetson-validate-image校验刷写结果晋级jetson-promote-image将验证通过的镜像晋级为正式版本4️⃣ 第二部分端侧 LLM 部署 —— 在 Jetson 上跑大模型设备侧技能面向已经开机的 Jetson形成一条「体检 → 省内存 → 选运行时 → 起服务 → 压测 → 加速」的闭环。4.1 设备快照与内存审计先量后治jetson-diagnostic只读健康快照一次性覆盖身份、内存、GPU、温度、功耗、存储、服务状态替代你记住tegrastats/jtop/nvpmodel各自的输出含义jetson-memory-audit测量 DRAM / NvMap 实际占用并验证「停掉 vLLM 后内存真的释放了吗」——它还专门处理了旧版 JetPack 上 CUDA 进程退出后内存「假性不释放」的经典坑自动给出drop_caches修复建议jetson-headless-mode关闭 GUI 等桌面服务把宝贵的 DRAM 让给模型。4.2 选择推理运行时技能帮你按芯片「对号入座」jetson-llm-serve 内置了按芯片代际的运行时选择规则Jetson 家族推荐运行时ThorT5000 / T4000上游 vLLM 0.20 或 NVIDIA SGLang 26.01适合 RAG、工具调用OrinJetPack 7.2 / L4T r39上游 vLLM 0.20vllm/vllm-openai:latest更老的 OrinNVIDIA-AI-IOT 预构建 vLLM 容器自带匹配的 CUDA/cuDNN/TensorRT 栈配合 jetson-inference-mem-tune读取内存审计的 JSON 快照自动推荐「用哪个运行时 传哪些内存参数」比如 vLLM 报 OOM 时它会直接给出--gpu-memory-utilization和--max-model-len的具体取值甚至建议换到更省内存的 llama.cpp GGUF 路线。4.3 启动 OpenAI 兼容服务技能给出的标准部署套路对 LLM 和 VLM 均适用切到 MAXN 满血功耗模式nvpmodel -m 0 jetson_clocks否则基准数据不可复现用 Docker 启动服务监听0.0.0.0:8000得到 OpenAI 兼容端点http://jetson-ip:8000/v1直接对接 Open WebUI 或你自己的应用用curl http://localhost:8000/v1/models验证模型在线。4.4 性能基准测试结构化 JSON 输出jetson-llm-benchmark 内置三套压测脚本分别对应 vLLMbench_vllm.sh、llama.cppbench_llama_cpp.sh、Ollamabench_ollama.sh自动处理预热和容器选择输出结构化 JSONTTFT、TPOT、吞吐量方便在改参数前后横向对比。4.5 进阶推测解码把吐字速度再提一档jetson-speculative-decoding 面向「首 token 很快、但逐字生成太慢」的场景用小的 draft 模型先猜 token目标模型一次前向验证。关键约束技能会替你把关只适用于Thor 或 AGX Orin——Orin Nano/NX 的显存装不下目标模型 draft 模型只适合单流或低并发≤2高并发下批量解码反而更快开启前先用jetson-llm-benchmark留一份基线改完对比 TPOT 是否真的下降。4.6 附赠视频推理与打包技能设备侧还有完整的多媒体线jetson-video-capability查解码能力、jetson-video-setup、jetson-video-pipeline、jetson-video-benchmark以及 jetson-package 指导你把运行环境打包成可分发的形态。5️⃣ 技能速查表分类核心技能BSP 入口jetson-quick-start、jetson-set-targetBSP 下载/初始化jetson-download-bsp、jetson-init-image、jetson-init-source、jetson-link-docsI/O 定制jetson-customize-pinmux、jetson-customize-camera、jetson-customize-pcie、jetson-customize-usb刷写验证jetson-flash-image、jetson-validate-image、jetson-promote-image设备体检jetson-diagnostic、jetson-memory-audit、jetson-headless-modeLLM 部署jetson-llm-serve、jetson-inference-mem-tune、jetson-llm-benchmark、jetson-speculative-decoding6️⃣ 常见问题FAQQ1BSP 定制会弄坏我的设备吗刷写操作会擦除目标设备存储。技能在入口处强制显示免责声明并要求你确认且会反复提醒你核对目标平台、BSP 版本和硬件状态后再执行刷写。Q2Orin Nano 8GB 能跑 7B 模型吗可以问 jetson-inference-mem-tune——它会基于真实内存审计结果推荐 llama.cpp GGUF 4-bit 这类低内存路线并给出具体启动参数。Q3停掉 vLLM 后free -h显示内存没回来这是旧版 JetPack7.2 之前上最常见的「内存假死」jetson-memory-audit 已内置根因解释和验证步骤。Q4技能会替我盲改配置文件吗不会。所有技能生成的计划、命令、diff 都需你确认后才落地官方文档与工程评审始终优先。7️⃣ 写在最后NVIDIA Agent Skills 的 Jetson 系列把「查文档、背参数、踩坑」变成了「提问、确认、执行」BSP 侧用 jetson-quick-start 一条向导串起 22 个定制技能设备侧用「审计 → 调优 → 服务 → 压测」闭环搞定端侧 LLM。建议先安装jetson-quick-start和jetson-llm-serve这两个入口技能跑通体验再按需补齐其余技能。技能目录持续更新中完整清单可参考仓库根目录的 skills.sh.json 与 skills/README.md。【免费下载链接】skillsAgent Skills for NVIDIA products — install into Claude Code, Codex, and other coding agents to run Physical AI, robotics, simulation, CUDA, and RAG workflows end to end.项目地址: https://gitcode.com/gh_mirrors/skills36/skills创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
