docker内TRT-LLM v1.3.0rc27 win11本机部署qwen3.8
1 下载模型:modelscope download --model cyankiwi/Qwen3.8-27B-AWQ-INT4 --local_dir H:\agent\trt-llm\models\qwen3.8-27b-awq为什么这个 AWQ 不是 14GB 而是 21GB?因为作者对 Qwen3.8 敏感的 Gated DeltaNet 状态更新层和因果卷积保留了 BF16 高精度…
2026/9/24 17:55:19