1. 为什么要在 AMD GPU 上折腾 MIGraphX如果你手里有一张 AMD 的显卡又想把训练好的模型跑成推理服务那 MIGraphX 基本是绕不开的一环。它是 AMD 官方的高性能深度学习推理引擎核心工作是把 TensorFlow、PyTorch 训练出来的模型统一转成自己的中间表示IR然后做图优化、代码生成最后在 AMD GPU 上执行。简单说它干的事和 TensorRT 在 NVIDIA 生态里的位置很像把模型“编译”成更适合硬件跑的形态。它适合谁做图像分类、目标检测、分割的部署同学做 BERT 类 NLP 推理的同学以及需要在 AMD 平台上做端到端推理服务的工程团队。MIGraphX 支持 FP32、FP16、INT8 多种精度提供 C 和 Python 两套 API还带性能分析工具模型可以序列化后反复加载。但很多人第一次上手会卡在几个地方IR 到底是什么结构、编译参数怎么设、推理结果怎么校验。这篇就围绕 MIGraphX 的 IR、编译流程和常用数据结构给出一套可以照着敲的环境配置骨架和验证动作。我会把重点放在“能跑起来、能验证对”上而不是泛泛讲概念。在开始之前先说一句模型文件、编译产物、API Key 这类东西建议统一管理。我习惯把模型仓库和访问凭证分开存放下面会结合 TaoToken 的接入方式给一个可复制的配置骨架方便你把推理服务和模型管理串起来。2. MIGraphX 的 IR 与编译流程拆解2.1 单级 IR 的设计取舍AI 编译器里的 IR 从层级上一般分两种多级 IR 和单级 IR。多级 IR 的代表是 MLIR每一级只负责本级优化听起来很优雅但实际用起来有几个坑不同 IR 之间要来回转换完全兼容很难且工作量大转换过程可能丢信息有些优化在上一层能做、下一层也能做系统开发者反而不好选。MIGraphX 选了单级 IR。它的 IR 是基于 SSA静态单赋值的线性 IR能表达计算图里的控制流和数据依赖。这个选择的好处是优化链路短、信息不丢失代价是 IR 本身要承载的东西更多。理解这一点后面看 program、module、instruction 这些结构就不会觉得突兀。2.2 编译阶段到底做了什么MIGraphX 采用静态图模式编译阶段大致做四件事机器无关优化删除公共子表达式、删除无用代码、常量传播、常量折叠、代数化简。这些和硬件无关先把图“瘦身”。内存复用优化用图着色的方法让没有计算依赖的节点共享内存显著降低显存占用。这一步对显存紧张的卡很关键。指令调度分析指令之间的依赖关系重排执行顺序提升计算性能。代码生成对访存密集型算子比如 Pointwise、Reduce做代码生成和自动算子融合再用 JIT 编译成可执行代码对计算密集型算子比如 Conv、Gemm则直接调用底层计算库。这里有个容易误解的点MIGraphX 不是把所有算子都自己生成代码而是“该生成的生成该调库的调库”。所以你看到的性能差异往往来自融合策略和调度而不是单纯的算子实现。2.3 常用数据结构速览理解 MIGraphX 的数据结构是读懂它 API 的前提。下面这张表把核心类型和用途对齐一下类型作用关键点shape描述数据形状含类型、各维大小、步长argument保存数据类似 Tensor可自动申请内存也可绑定外部指针literal表示常量是特殊的 argument值不可改target硬件平台编译时指定 CPU 或 GPUprogram表示一个神经网络模型提供 compile / evalmodule表示子图由指令组成program 有主 moduleinstruction表示指令相当于 ONNX 的节点或 caffe 的层shape 的构造有两种常见形式只给类型和各维大小步长自动算或者显式给步长。比如 NCHW 排布下步长通常是[C*H*W, H*W, W, 1]。lens()返回各维大小elements()返回元素总数bytes()返回字节数。argument 用来存输入输出数据。只给 shape 时系统自动申请内存给 shape 加数据指针时argument 不会接管这块内存的释放这点要自己管好生命周期。get_shape()拿形状data()拿数据指针推理结果就从这里读。literal 是常量比如卷积权重。它和 argument 的区别就是值不能改data()返回的指针不能用来写。program 是最常打交道的。compile(target, options)编译模型options.device_id可以指定用哪块卡eval(params, output_names)执行推理是同步方法get_inputs()/get_outputs()返回输入输出节点信息get_memory_usage()返回推理需要的显存字节数。module 表示子图add_parameter加输入add_literal加常量add_instruction加指令add_return加结束指令。instruction 就是指令由算子和操作数组成。3. 可复制的环境配置与编译骨架3.1 环境准备与依赖确认先确认你的 ROCm 和 MIGraphX 装好了。下面这套命令在 Ubuntu 环境下验证过你可以按自己的版本调整# 确认 ROCm 版本 rocminfo | head -20 # 确认 MIGraphX 是否可用 python3 -c import migraphx; print(migraphx.__version__) # 查看显卡是否被识别 rocm-smi如果import migraphx报错先检查 Python 路径和 ROCm 的site-packages是否在PYTHONPATH里。C 侧则确认migraphx的头文件和库路径已经加到编译选项里。3.2 用 Python 加载 ONNX 并编译MIGraphX 的 Python API 上手最快。下面这段把 ONNX 模型加载进来指定 GPU target编译并打印输入输出信息import numpy as np import migraphx # 1. 加载 ONNX 模型得到 program model migraphx.parse_onnx(resnet50.onnx) # 2. 打印输入输出确认模型结构符合预期 print(inputs:, model.get_inputs()) print(outputs:, model.get_outputs()) # 3. 指定 GPU target 并编译 # device_id 用来选择具体哪块显卡 target migraphx.get_target(gpu) model.compile(target, offload_copyTrue, device_id0) # 4. 查看编译后显存占用 print(memory usage:, model.get_memory_usage(), bytes)offload_copyTrue表示输入输出数据由 MIGraphX 管理拷贝适合大多数场景。如果你自己做内存管理可以关掉它但那样eval的 params 里要包含输出节点的内存。3.3 构造输入并执行推理编译完之后构造输入数据跑一次推理# 构造输入形状要和 get_inputs() 返回的一致 input_shape model.get_inputs()[input].lens() input_data np.random.rand(*input_shape).astype(np.float32) # 执行推理output_names 不传则输出所有输出节点 results model.eval({input: input_data}) # results 是 argument 列表data() 拿数据 for i, r in enumerate(results): arr np.array(r) print(foutput[{i}] shape:, arr.shape, dtype:, arr.dtype)这里有个细节eval是同步方法返回时结果已经算完。results的顺序和get_results_names_vector()对应如果你指定了output_names就按你指定的顺序来。3.4 结合 TaoToken 管理模型与凭证推理服务往往要和模型仓库、API 网关配合。我习惯把访问凭证和模型路径统一放到环境变量里避免硬编码。TaoToken 的接入方式可以这样配置# 写入环境变量供推理服务读取 export TAOTOKEN_API_BASEhttps://taotoken.net/api export TAOTOKEN_API_KEY你的_API_KeyAPI Key 在控制台创建地址是https://taotoken.net/console/api-keys。模型对话调试可以用https://taotoken.net/models长期跑编码或 Agent 任务可以看 Coding Planhttps://taotoken.net/coding-plan。接入文档在https://taotoken.net/docClaude Code 相关配置参考https://taotoken.net/claudecode。注意凭证只放在环境变量或密钥管理服务里不要写进代码仓库也不要打印到日志。4. 验证请求与成功结果4.1 校验推理结果是否合理跑通不等于跑对。验证分两步先看形状和类型再和参考实现对比数值。# 形状和类型校验 for name, shape in model.get_outputs().items(): print(name, shape.lens(), shape.type()) # 数值对比和 ONNX Runtime 或 PyTorch 的结果比 # 假设 ref_output 是参考实现的结果 diff np.abs(arr - ref_output).max() print(max diff:, diff)FP32 下max diff 通常在 1e-4 到 1e-3 量级FP16 会大一些1e-2 以内一般可接受。如果差得离谱先检查输入预处理是否一致再检查是否开了量化。4.2 用 C 侧做一次端到端验证如果你走 C 路线核心流程和 Python 一致只是类型更显式#include migraphx/program.hpp #include migraphx/onnx.hpp #include migraphx/gpu/target.hpp migraphx::program prog migraphx::parse_onnx(resnet50.onnx); auto inputs prog.get_inputs(); auto outputs prog.get_outputs(); migraphx::target t migraphx::gpu::target{}; migraphx::compile_options options; options.device_id 0; prog.compile(t, options); // 构造输入 argument执行 eval std::unordered_mapstd::string, migraphx::argument params; params[input] migraphx::argument(input_shape, input_ptr); auto results prog.eval(params);C 侧要特别注意argument绑定外部指针时的生命周期eval返回前那块内存不能释放。4.3 性能与显存观测验证功能之后顺手看一下性能。get_memory_usage()给的是推理需要的显存字节数可以和你卡的实际显存对比判断能不能多开几个实例。性能分析可以用 MIGraphX 自带的工具或者简单用时间戳包住eval循环import time # 预热 for _ in range(5): model.eval({input: input_data}) start time.time() for _ in range(100): model.eval({input: input_data}) print(avg latency:, (time.time() - start) / 100 * 1000, ms)预热很重要第一次eval会包含一些初始化开销不预热的数据会偏高。5. 本篇常见错误排查5.1 编译报 target 不支持现象compile时报 target 相关错误。先确认migraphx.get_target(gpu)能正常返回再确认 ROCm 驱动和显卡匹配。如果只有 CPU就用get_target(cpu)但性能会差很多。5.2 输入形状对不上现象eval时报 shape mismatch。用get_inputs()打印每个输入的名字和形状确保你传的 key 和形状完全一致。注意有些模型输入是动态 shape需要先parse_onnx时指定或编译前 reshape。5.3 推理结果全零或异常现象输出全是 0 或者 NaN。常见原因有三个输入数据没归一化、输入指针生命周期问题C 侧、offload_copy设置和内存管理方式不匹配。先关掉offload_copy手动管理内存试一次能定位是不是拷贝问题。5.4 显存不够现象编译或推理时 OOM。用get_memory_usage()看实际需求再对比rocm-smi里的空闲显存。如果差得不多可以尝试 FP16 编译显存占用通常能降一半。多实例部署时每个实例的显存要单独算。5.5 Python 导入失败现象ModuleNotFoundError: No module named migraphx。检查 ROCm 安装路径下的 Python 包是否在PYTHONPATH或者用系统 Python 而不是 conda 环境。版本不匹配也会导致导入失败确认 MIGraphX 版本和 ROCm 版本对应。6. 把推理服务接进你的工程链路MIGraphX 的 IR 和编译流程理解清楚之后剩下的就是工程化。我的建议是模型转换、编译、推理三段分开编译产物序列化后缓存避免每次启动都重新编译。凭证和模型路径走环境变量推理服务启动时校验一次输入输出形状把校验结果打到日志里。如果你要把推理服务和大模型 API 配合使用比如用 MIGraphX 跑视觉模型、用 TaoToken 跑语言模型那 API Key 的管理就统一走控制台https://taotoken.net/console/api-keys。模型对话调试用https://taotoken.net/models接入细节看https://taotoken.net/doc。长期跑编码或 Agent 任务Coding Plan 在https://taotoken.net/coding-plan。官网入口是https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end。最后留一个我踩过的坑MIGraphX 编译后的 program 不要跨进程共享序列化后重新加载更稳。推理结果的校验一定要和参考实现对齐别只看“跑通了”。
