在 Xinference 中部署 llama-3.2-vision-instruct多模态视觉推理全流程指南【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inferenceXinferenceXorbits Inference在 llm_family.json 中内置了 Meta Llama 3.2-Vision 指令微调模型族llama-3.2-vision-instruct支持视觉识别、图像推理、图片描述captioning与围绕图像内容的通用问答。本文以 llama-3.2-vision-instruct 模型文档 为骨架完整讲解该模型族的规格参数、启动命令、三种推理引擎vLLM / Transformers / SGLang的选型依据以及通过 OpenAI 兼容接口发起图文对话的完整实战方案。模型概览llama-3.2-vision-instruct是 Xinference 内置的官方模型家族featured: false版本 v2其核心元数据如下属性值Context Length131072128KModel Namellama-3.2-vision-instructLanguagesen, de, fr, it, pt, hi, es, thAbilitieschat, visionArchitecturesMllamaForConditionalGenerationModel Typemllama该模型族支持 8 种语言英、德、法、意、葡、印地、西、泰能力上同时具备对话chat与视觉vision两大标签。从 xinference/model/llm/llm_family.json 可以看出Xinference 为该模型族声明了MllamaForConditionalGeneration架构与mllama模型类型上游基于 Meta 的 Llama 3.2-Vision 指令微调权重天然适配多模态图文输入。内置规格Model Specs该模型族提供两个尺寸规格均采用pytorch格式、无量化noneModel Spec 1pytorch, 11 Billion属性值Model FormatpytorchModel Size11 BQuantizationsnoneEnginesvLLM, Transformers, SGLangModel IDHugging Facemeta-llama/Llama-3.2-11B-Vision-InstructModel IDModelScopeLLM-Research/Llama-3.2-11B-Vision-InstructModel Spec 2pytorch, 90 Billion属性值Model FormatpytorchModel Size90 BQuantizationsnoneEnginesvLLM, Transformers, SGLangModel IDHugging Facemeta-llama/Llama-3.2-90B-Vision-InstructModel IDModelScopeLLM-Research/Llama-3.2-90B-Vision-Instruct两个规格的模型来源同时注册了 Hugging Face 与 ModelScope 两个 Hub见model_src.huggingface与model_src.modelscope字段Xinference 在下载时会按配置的模型源自动选择对应的仓库。90B 规格参数量约为 11B 的 8 倍对显存与设备拓扑的要求显著更高建议结合实际 GPU 资源如单卡显存容量、是否支持多卡张量并行选择。启动模型与文档一致启动该模型族需要显式指定--model-engine引擎、--model-name模型名、--size-in-billions规格与--model-format格式。启动 11B 规格xinference launch --model-engine ${engine} --model-name llama-3.2-vision-instruct --size-in-billions 11 --model-format pytorch --quantization ${quantization}启动 90B 规格xinference launch --model-engine ${engine} --model-name llama-3.2-vision-instruct --size-in-billions 90 --model-format pytorch --quantization ${quantization}参数说明${engine}需从 vLLM、Transformers、SGLang 三者中取值${quantization}该模型族在 llm_family.json 中仅注册了none不量化因此这里应填none。文档中 remember to replace ${quantization} with your chosen quantization method 是通用模板提示对本模型族实际只有none一个选项。也可以通过 Python 客户端以编程方式启动等价形式from xinference.client import Client client Client(http://localhost:9997) model_uid client.launch_model( model_namellama-3.2-vision-instruct, model_enginevllm, # 或 transformers / sglang model_formatpytorch, size_in_billions11, # 或 90 quantizationnone, )引擎选型与源码级依据三种引擎都支持该模型族但在实现层面各有侧重下面结合仓库源码说明差异。vLLM高吞吐多模态推理Xinference 的 vLLM 引擎在 xinference/model/llm/vllm/core.py 中通过版本探测动态注册支持的模型架构当检测到 vLLM 版本不低于0.6.3时会将MllamaForConditionalGeneration同时加入通用模型列表与多模态模型列表if effective_version version.parse(0.6.3): _append_unique(VLLM_SUPPORTED_MODELS, MllamaForConditionalGeneration) _append_unique( VLLM_SUPPORTED_MULTI_MODEL_LIST, MllamaForConditionalGeneration, ... )这意味着使用 vLLM 引擎部署该模型需要 vLLM 0.6.3否则模型会被判定为不支持。在推理路径上vLLM 引擎对带有vision能力的模型族xinference/model/llm/vllm/core.py会走多模态预处理将请求中的 base64 媒体数据写入临时目录_handle_base64_media再通过process_vision_info解析图片与视频信息最终由 vLLM 的MllamaForConditionalGeneration完成图文联合生成。因此 vLLM 适合追求高吞吐、多并发在线服务的场景。Transformers兼容性最广的保底引擎Transformers 引擎同样能加载MllamaForConditionalGeneration。需要注意的是在 xinference/model/llm/transformers/core.py 中具备vision或audio能力的多模态模型默认不启用批处理调度batching除非模型位于XINFERENCE_BATCHING_ALLOWED_VISION_MODELS白名单内if vision in model_ability or audio in model_ability: from ....core.model import XINFERENCE_BATCHING_ALLOWED_VISION_MODELS if (self.model_family.model_name in XINFERENCE_BATCHING_ALLOWED_VISION_MODELS or getattr(self.model_family, model_family, None) in XINFERENCE_BATCHING_ALLOWED_VISION_MODELS): ... else: logger.warning(... only supports ... for batching. ...) return False也就是说Transformers 引擎下该模型按单请求串行处理适合开发调试、模型效果验证与低并发场景。SGLang面向多模态优化的推理框架SGLang 同样是官方注册的可用引擎之一见 llm_family.json 中model_specs的引擎声明。从 xinference/model/llm/sglang/core.py 的结构看SGLang 引擎负责将 Xinference 的多模态请求转换为 SGLang runtime 的调用格式适合在已熟悉 SGLang 生态、希望利用其多模态调度与结构化输出的环境中使用。具体取舍可结合 vllm_enhancement.rst 与 continuous_batching.rst 了解引擎能力差异。模型注册表细节模板与终止符在 xinference/model/llm/llm_family.json 中该模型族完整注册了对话模板与终止条件这些字段决定了请求如何被组装、生成何时停止chat_template标准的 Llama 3 格式对话模板使用|start_header_id|、|end_header_id|、|eot_id|等特殊 token。对于多模态消息模板会遍历message[content]列表遇到type image的内容插入|image|占位符遇到type text则插入对应文本从而将图像 token 与文本 token 正确拼接进 promptstop_token_ids128001|end_of_text|、128008|eot_id|、128009|eom_id|生成遇到这些 token id 时停止stop对应的字符串终止符|end_of_text|、|eot_id|、|eom_id|。此外该模型族的virtualenv声明表明在虚拟环境virtualenv模式下需要安装 Transformers 依赖使用隔离环境部署时参见 virtualenv.rst会自动拉取对应依赖包。发起图文对话OpenAI 兼容接口与原生客户端模型启动并返回model_uid后即可进行多模态推理。Xinference 的 RESTful API 完全兼容 OpenAI 协议图像通过content数组中的image_url传入。仓库中的 test_multimodal.py 给出了标准的多模态请求范式该测试为 Qwen-VL 编写但消息结构与llama-3.2-vision-instruct完全一致因为两者都通过vision能力走同一套消息协议messages [ { role: user, content: [ {type: text, text: Whats in this image?}, { type: image_url, image_url: { url: https://example.com/path/to/image.jpg, }, }, ], } ]方式一OpenAI 兼容客户端推荐import openai client openai.Client( api_keynot-empty, # Xinference 默认不校验 key占位即可 base_urlf{XINFERENCE_ENDPOINT}/v1 # 例如 http://localhost:9997/v1 ) completion client.chat.completions.create( modelmodel_uid, # launch_model 返回的 model_uid messagesmessages, ) print(completion.choices[0].message.content)方式二Xinference 原生客户端from xinference.client import Client client Client(XINFERENCE_ENDPOINT) model client.get_model(model_uid) response model.chat(messages) print(response[choices][0][message][content])两种方式都支持流式streamTrue输出image_url既可以是公网图片 URL也可以使用 base64 data URIvLLM 引擎会自动将 base64 媒体落盘为临时文件后再送入模型见上文_handle_base64_media的处理逻辑。使用注意事项量化选项该模型族目前只注册了pytorch格式与none量化暂无 GGUF/GPTQ 等量化规格需要显存优化时需自行考虑其他方式如部署到多卡环境vLLM 版本门槛vLLM 引擎需要 vLLM 0.6.3 才能识别MllamaForConditionalGeneration版本过低会直接报模型不支持Transformers 无批处理Transformers 引擎下多模态模型默认关闭 batch 调度吞吐受限于单请求串行处理生产高并发优先选择 vLLM多轮对话可将助手回复追加进messages后继续追问如框出图中某物体与单轮图像问答使用相同的消息结构上下文窗口128K 上下文长度在图文混排下会快速消耗 token 预算每张图会产生视觉 token长对话需自行控制图片数量与历史长度。通过本文的规格说明、启动命令与三种引擎的源码级差异分析你现在可以在 Xinference 中以一条命令拉起llama-3.2-vision-instruct11B 或 90B并通过 OpenAI 兼容接口完成图像识别、推理与多轮图文问答的完整落地。【免费下载链接】inferenceSwap GPT for any LLM by changing a single line of code. Xinference lets you run open-source, speech, and multimodal models on cloud, on-prem, or your laptop — all through one unified, production-ready inference API.项目地址: https://gitcode.com/GitHub_Trending/in/inference创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
