如何5分钟上手 NeoHorse-1-4B从下载到第一次对话的完整教程【免费下载链接】NeoHorse-1-4B项目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B想快速跑通一个能动手干活的 AI 模型吗NeoHorse-1-4B是一个约 40 亿参数的开源智能体Agentic大语言模型专为工具调用、编程和指令遵循场景优化由 TokenRhythm 基于 Qwen3.5-4B 微调而成。本教程带你从下载到发出第一条消息全程约 5 分钟不需要复杂环境配置。先了解 NeoHorse-1-4B 是什么在动手之前花 30 秒认识一下这个模型 属性说明模型类型4B 智能体原生因果语言模型纯文本输入/输出基础模型Qwen3.5-4B微调 重新打包仅含语言模型权重上下文长度原生支持 262,144 tokens权重精度Safetensors / BF16核心能力智能体任务、工具使用、编程、推理、指令遵循许可证Apache 2.0可商用它的亮点在于在十个基准测试的宏平均得分上达到64.87比基础模型 Qwen3.5-4B 高出5.93分尤其在智能体类任务如 WorkBuddy Bench 9.79和编程任务如 HumanEval 9.75上提升明显。第一步获取模型权重从 GitCode 克隆模型仓库git clone https://gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B 权重文件model-00001-of-00002.safetensors和model-00002-of-00002.safetensors通过 Git LFS 分发完整下载后合计约8 GB请确保已安装 Git LFSgit lfs install。下载完成后确认目录中包含这些关键文件文件作用config.json模型配置32 层、2560 隐藏维度、262144 上下文model.safetensors.index.json权重分片索引共两个分片tokenizer.json、vocab.json、merges.txt词表与分词器chat_template.jinja对话模板含工具调用格式定义⚠️ 注意该版本仅包含语言模型权重不支持图片/视频输入。如果你的任务是纯文本的智能体或编程场景正合适。第二步用 SGLang 启动推理服务推荐官方技术报告使用的就是 SGLang兼容性最有保障pip install sglang0.5.17 MODEL_PATH/path/to/NeoHorse-1-4B # 改成你的实际下载路径 python3 -m sglang.launch_server \ --model-path $MODEL_PATH \ --served-model-name neohorse-1-4b \ --host 0.0.0.0 \ --port 30000 \ --context-length 262144 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder几个参数值得注意--served-model-name后续请求时使用的模型名如neohorse-1-4b不是文件路径--reasoning-parser qwen3启用思考模式让模型先推理再回答--tool-call-parser qwen3_coder启用工具调用解析这是智能体能力的关键开关。 显存不足时可以调小--context-length如32768上下文长度按 GPU 显存灵活调整。没有 GPU 的读者可以先跳过本节等硬件到位后再部署——4B 模型在单张消费级显卡上即可流畅运行。第三步发送第一次对话服务启动后打开另一个终端发送一个 OpenAI 兼容请求试试 curl http://localhost:30000/v1/chat/completions \ -H Content-Type: application/json \ -d {model:neohorse-1-4b,messages:[{role:user,content:写一个返回前 n 个斐波那契数的 Python 函数}],max_tokens:512}如果返回了一段可运行的 Python 代码恭喜你的 NeoHorse-1-4B 已经跑起来了备选方案用 vLLM 部署如果你更熟悉 vLLM它同样支持同样暴露 OpenAI 兼容接口pip install -U vllm vllm serve $MODEL_PATH \ --served-model-name neohorse-1-4b \ --host 0.0.0.0 \ --port 8000 \ --max-model-len 262144 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder注意请求地址变为http://localhost:8000/v1/chat/completions其余用法完全一致。常见问题速查FAQQ1为什么提示找不到权重文件检查克隆目录里的*.safetensors文件大小。如果只有几 KB说明 LFS 未生效执行git lfs install git lfs pull重新拉取。Q2请求中 model 字段该填什么填服务启动时指定的名字neohorse-1-4b而不是本地路径。Q3能接入 OpenAI SDK / LangChain 等框架吗可以。服务暴露的是标准 OpenAI 兼容接口把 API base 指向http://localhost:30000/v1即可。Q4支持多轮对话吗支持按标准 chat 格式在messages里追加历史消息即可模型自带的对话模板chat_template.jinja会自动处理格式。Q5可以商用吗可以模型采用 Apache 2.0 许可证。总结整个流程回顾⬇️git clone拉取仓库约 8 GB注意 LFSpip install sglang0.5.17并启动服务 发一条 chat 请求拿到模型的回答NeoHorse-1-4B 作为通往递归自我改进RSI的初步原型最大的价值在于智能体任务 工具调用的均衡能力。如果你想深入了解其路由引导的智能体后训练方法可以参考仓库说明 README.md 中提到的技术报告。现在去发出你的第一条消息吧【免费下载链接】NeoHorse-1-4B项目地址: https://ai.gitcode.com/hf_mirrors/TokenRhythm/NeoHorse-1-4B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
