1. 为什么要在本地知识库里加一条统一 Key 通道ChatGLM3 做推理底座、M3E 做向量化、FastGPT 编排问答、One-API 聚合模型入口这套组合在本地知识库圈子里已经跑得很成熟。它的好处很直接模型权重在自己机器上知识库文档不出内网问答链路完全可控。但真正动手搭过的人会碰到一个很现实的问题——模型入口太散了。ChatGLM3 的 api_server 监听 8000M3E 的 embedding 服务可能挂在另一个端口FastGPT 要同时调用对话模型和向量模型One-API 又要在中间做一层聚合。每个服务都有自己的地址、自己的密钥格式FastGPT 的 config.json 里要填模型名、别名、上下文长度、是否用于知识库处理docker-compose.yml 里还要填 OPENAI_BASE_URL 和 CHAT_API_KEY。一旦某个模型要换、要加、要做灰度就得回头改一堆配置文件再重启容器。我试过把这套链路拆成两段来管本地推理服务ChatGLM3 M3E继续跑在内网负责真正的计算对外暴露的模型入口统一收敛到 One-API由它来管渠道、管令牌、管模型别名。这样 FastGPT 只需要认一个 Base URL 和一个 Key后面加模型、换模型、调权重都在 One-API 里完成不用动 FastGPT 的配置。而 One-API 这一层的上游渠道除了指向本地的 ChatGLM3 和 M3E还可以再接一条统一的 Key 通道用来兜底那些本地模型覆盖不到的能力比如更长的上下文、更强的工具调用、或者临时需要对比效果时切到别的模型。TaoToken 在这里扮演的就是这条统一通道的角色一个 Key、一个 Base URL兼容 OpenAI 接口格式One-API 把它当成一个普通渠道接进去就行。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end API 地址是 https://taotoken.net/api 注意这个 API 地址后面不加任何参数。这篇就按“本地推理 One-API 聚合 FastGPT 编排 TaoToken 统一通道”的顺序把配置骨架、接入位置、验证动作和常见报错一次讲清楚。适合已经装好 Docker、手里有 ChatGLM3-6B 权重、想把这套知识库真正跑起来的人。2. 前置准备ChatGLM3、M3E、One-API、FastGPT 各自的位置在写配置之前先把四个组件的职责和端口理清楚不然后面填地址很容易填错。ChatGLM3-6B 是对话推理底座跑在本地通过openai_api_demo/api_server.py暴露一个 OpenAI 兼容接口默认监听 8000 端口。它的作用是接收 messages 数组返回模型生成的回复。M3E 是向量化模型把文档切片转成稠密向量FastGPT 在知识库检索时用它算相似度。这两个可以跑在同一台机器上也可以分开。One-API 是模型聚合层用 Docker 部署默认容器内 3000 端口。因为 FastGPT 也占 3000所以 One-API 映射到宿主机时改成 3080。它的核心工作是配置“渠道”——每个渠道就是一个上游模型服务填 Base URL 和密钥然后生成“令牌”给下游用。FastGPT 是知识库问答编排层同样用 Docker 部署监听 3000。它通过OPENAI_BASE_URL和CHAT_API_KEY找到 One-API再通过config.json里的llmModels和vectorModels知道有哪些模型可用、各自参数是什么。TaoToken 统一 Key 通道接在 One-API 的渠道里作为一个上游渠道存在。它的 API 地址是 https://taotoken.net/api 在 One-API 里新建渠道时Base URL 填这个地址密钥填你在 TaoToken 控制台生成的 Key。这样 One-API 就多了一个可调用的模型来源FastGPT 那边完全不用改。一个容易踩的坑One-API 里填 Base URL 时本地 ChatGLM3 的地址要带/v1比如http://192.168.57.129:8000/v1TaoToken 的地址填https://taotoken.net/api即可One-API 会自己拼接路径。填错的话测试渠道时会报 404 或连接失败。3. 可复制配置One-API 渠道与 FastGPT config 骨架3.1 One-API 部署与渠道配置先装 Docker 和 docker-compose然后启动 One-APIdocker run --name one-api -d --restart always \ -p 3080:3000 \ -e TZAsia/Shanghai \ -v /home/data/one-api:/data \ justsong/one-api启动后浏览器打开http://你的IP:3080初始账号 root密码 123456。登录后进“渠道”页面新建三个渠道。第一个渠道指向本地 ChatGLM3渠道类型OpenAI 名称local-chatglm3 Base URLhttp://192.168.57.129:8000/v1 密钥随便填一个非空字符串比如 sk-local 模型chatglm3-6B第二个渠道指向本地 M3E渠道类型OpenAI 名称local-m3e Base URLhttp://192.168.57.129:8000/v1 密钥sk-local 模型m3e第三个渠道指向 TaoToken 统一通道渠道类型OpenAI 名称taotoken-channel Base URLhttps://taotoken.net/api 密钥你在 TaoToken 控制台生成的 API Key 模型按需填写比如 gpt-4o-mini、claude-3-5-sonnet 等三个渠道建好后点每个渠道的“测试”按钮返回绿色即通。然后进“令牌”页面新建一个令牌记下sk-开头的字符串FastGPT 要用。注意本地 ChatGLM3 渠道的密钥是自定义的不是真的鉴权填什么都行但不能为空。TaoToken 渠道的密钥必须用控制台生成的真实 Key否则测试会返回 401。3.2 FastGPT 的 docker-compose.yml 关键段FastGPT 部署目录下先拉取官方 compose 和 configmkdir fastgpt cd fastgpt curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json然后改docker-compose.yml里 fastgpt 服务的 environment 段重点是这两个fastgpt: container_name: fastgpt image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.7 ports: - 3000:3000 environment: - DEFAULT_ROOT_PSW1234 - OPENAI_BASE_URLhttp://192.168.57.129:3080/v1 - CHAT_API_KEYsk-你刚才在OneAPI生成的令牌 - DB_MAX_LINK30 - TOKEN_KEYany - ROOT_KEYroot_key - FILE_TOKEN_KEYfiletoken - MONGODB_URImongodb://myusername:mypasswordmongo:27017/fastgpt?authSourceadmin - PG_URLpostgresql://username:passwordpg:5432/postgres volumes: - ./config.json:/app/data/config.json - ./fastgpt/tmp:/app/tmpOPENAI_BASE_URL末尾必须带/v1指向 One-API 的 3080 端口。CHAT_API_KEY填 One-API 里生成的令牌不是渠道密钥。3.3 FastGPT 的 config.json 模型声明config.json里要声明 FastGPT 能用哪些模型。llmModels至少保留一个并且datasetProcess设为 true否则知识库处理会报错。vectorModels里声明 M3E。{ systemEnv: { vectorMaxProcess: 15, qaMaxProcess: 15, pgHNSWEfSearch: 100 }, llmModels: [ { model: chatglm3-6B, name: chatglm3-6B, maxContext: 16000, maxResponse: 4000, quoteMaxToken: 13000, maxTemperature: 1.2, charsPointsPrice: 0, censor: false, vision: false, datasetProcess: true, usedInClassify: true, usedInExtractFields: true, usedInToolCall: true, usedInQueryExtension: true, toolChoice: false, functionCall: false, defaultConfig: {} } ], vectorModels: [ { model: m3e, name: m3e, charsPointsPrice: 0, defaultToken: 700, maxToken: 3000, weight: 100, defaultConfig: {} } ], reRankModels: [], audioSpeechModels: [], whisperModel: {} }model字段必须和 One-API 渠道里填的模型名完全一致大小写敏感。name是 FastGPT 界面上显示的别名可以不一样但建议保持一致减少混淆。改完执行docker-compose pull docker-compose up -d如果 One-API 第一次启动连不上 MySQL等 10 秒后重启一次sleep 10 docker restart one-api4. 验证请求从知识库上传到问答链路跑通配置改完、容器起来之后不要急着建应用先按顺序验证三层链路。第一层验证 One-API 到本地 ChatGLM3。在 One-API 渠道页面点 local-chatglm3 的测试或者在宿主机上直接 curlcurl http://192.168.57.129:3080/v1/chat/completions \ -H Authorization: Bearer sk-你的OneAPI令牌 \ -H Content-Type: application/json \ -d { model: chatglm3-6B, messages: [{role: user, content: 你是谁}], temperature: 0.8, stream: false }返回里有choices[0].message.content就说明本地推理通了。第二层验证 One-API 到 TaoToken 通道。把上面的 model 换成 TaoToken 渠道里配置的模型名Base URL 不变还是走 One-API 的 3080。如果返回正常说明统一 Key 通道接进来了。这一步的意义在于当本地 ChatGLM3 处理不了某些长上下文或复杂工具调用时FastGPT 里可以切到这条通道的模型而不用改任何基础设施。第三层验证 FastGPT 知识库。浏览器打开http://你的IP:3000root / 1234 登录。新建一个知识库上传一个 PDF 或 Markdown 文档选择 M3E 作为向量模型等待切片和向量化完成。然后在“应用”里新建一个对话应用关联这个知识库模型选 chatglm3-6B。问一个只有文档里才有的问题比如文档里写了“本项目的部署端口是 3080”你就问“部署端口是多少”。如果 FastGPT 返回 3080 并附带引用来源说明“向量搜索 大模型”这条链路完整跑通了。提示知识库上传后如果一直卡在“处理中”先看 FastGPT 容器日志docker logs -f fastgpt大概率是 M3E 渠道没通或者datasetProcess没设为 true。5. 本篇常见错排查报错一FastGPT 提示“找不到渠道”或“no channel available”。这是 One-API 最常见的问题。原因是 One-API 第一次启动时默认 Key 初始化有问题渠道没加载上。解决方法是docker restart one-api等它重新连上 MySQL 后再试。如果还不行检查渠道的模型名和 FastGPT config.json 里的 model 是否完全一致。报错二知识库处理报错“datasetProcess is false”。config.json 里llmModels至少有一个模型的datasetProcess要为 true否则 FastGPT 不知道用哪个模型做知识库的 QA 处理。检查你填的 chatglm3-6B 那一项确认这个字段是 true。报错三One-API 测试 TaoToken 渠道返回 401。密钥填错了。TaoToken 渠道的密钥必须是控制台生成的 API Key不能填本地模型那种随便写的字符串。另外确认 Base URL 是https://taotoken.net/api不要多加/v1One-API 会自己处理路径拼接。报错四FastGPT 调用模型超时。先确认OPENAI_BASE_URL末尾有没有/v1。再确认 One-API 的 3080 端口从 FastGPT 容器内能不能访问。如果 FastGPT 和 One-API 不在同一台机器把192.168.57.129换成 One-API 所在机器的实际 IP不要用 localhost。报错五M3E 向量维度不匹配。FastGPT 默认按 1536 维度处理M3E-base 是 768 维。如果 config.json 里vectorModels的defaultConfig里写了 dimensions确认它和 M3E 实际输出维度一致。不写的话 FastGPT 会用模型默认维度一般没问题。报错六docker-compose 版本过低导致自动化命令失败。FastGPT 的 compose 文件要求 docker-compose 2.17 以上。用docker-compose -v检查低于这个版本先升级。6. 后续怎么用这条统一通道这套链路跑通之后日常维护其实很轻。本地 ChatGLM3 和 M3E 负责绝大多数知识库问答成本为零、数据不出内网。One-API 里的 TaoToken 渠道作为一个补充入口在几种场景下特别有用需要对比不同模型对同一份知识库的问答效果时在 FastGPT 应用里直接切换模型即可本地模型上下文不够、需要处理超长文档时切到统一通道里上下文更长的模型做工具调用或结构化输出实验时本地 ChatGLM3 的 functionCall 支持有限可以临时切过去验证思路。要新增模型只在 One-API 里加渠道、在 FastGPT 的 config.json 里加一条llmModels声明重启 FastGPT 容器就生效不用动 docker-compose 的网络和端口配置。要换 Key在 TaoToken 控制台重新生成回 One-API 渠道里改一下密钥下游无感知。如果你还没生成 TaoToken 的 Key进控制台 https://taotoken.net/console 建一个然后在 One-API 里按第 3 节的渠道配置接进去。接入文档在 https://taotoken.net/doc 里面有各语言调用示例和参数说明。想先看看模型对话效果可以直接用 https://taotoken.net/models 试几个问题确认通道通了再往 One-API 里配。长期跑编码类或 Agent 类任务的话Coding Plan 那条线 https://taotoken.net/coding-plan 更适合按量用不用自己维护推理服务。最后留一个实操建议把 One-API 的渠道测试和 FastGPT 的知识库问答做成两个独立的检查点。每次改完配置先测 One-API 渠道再测 FastGPT 问答不要跳步。这样出问题时能立刻定位是聚合层还是编排层省掉大量翻日志的时间。
