1. 为什么要在本地复现 Gemini 3.1 Pro 的评测闭环Gemini 3.1 Pro 是谷歌在 2026 年初推出的预览版推理模型核心卖点是抽象推理能力的大幅跃升——ARC-AGI-2 验证分数从前代 31.1% 拉到 77.1%同时保持输入 4 美元/百万 token、输出 18 美元/百万 token 的定价。对开发者来说它适合三类场景需要多步逻辑拆解的任务复杂代码重构、合同条款推理、长上下文文档处理原生 100 万 token 窗口、以及多模态输入输出文本、图像、音频、视频、PDF。但真正落地时问题往往不在模型本身而在怎么把它接进自己的工程环境。我见过太多人卡在三个地方一是配置骨架散落在各篇文档里拼不出一份能跑的 config.toml二是 Key 管理混乱多个模型各配一套凭证切换成本高三是评测动作没有清单跑完一次不知道结果算好还是坏。这篇就围绕这三点给出一套可以在自有环境里复现的完整路径从配置骨架、统一 Key 接入到 AGI 能力验证动作清单最后是常见报错排查。需要说明的是本文聚焦的是接入与评测工程不涉及任何网络访问层面的操作所有步骤都在你已有的开发环境内完成。2. TaoToken 前置统一 Key 与接入准备在写配置之前先把凭证层理顺。TaoToken 的作用是把多个模型的调用收敛到一套 Key 和一套 OpenAI 兼容接口上这样你的 config.toml 里不需要为每个模型维护不同的鉴权逻辑。接入入口有两个按需选官网地址https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentAPI 基址https://taotoken.net/api这个地址不加 UTM 参数直接用于代码里的 base_url拿到 Key 的路径是先注册账号然后进控制台创建 API Key。控制台地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content Key 管理页在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。创建后建议立刻复制保存页面刷新后不再完整显示。如果你后续要做长期编码或 Agent 类任务可以了解 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 遇到参数不确定时优先查这里。注意Key 只放在环境变量或本地配置文件里不要硬编码进提交到仓库的代码。下面所有示例都用TAOTOKEN_API_KEY这个环境变量名。3. 可复制配置config.toml 与 settings.json 骨架这一节给两份能直接用的配置。config.toml 面向 Python 类项目比如用 openai SDK 或 httpx 直连settings.json 面向需要 JSON 配置的编辑器插件或 Agent 框架。3.1 config.toml 骨架# config.toml [provider] name taotoken base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY timeout_seconds 120 max_retries 3 [models.gemini_pro] model_id gemini-3.1-pro-preview thinking_level high # low / medium / high max_output_tokens 65536 temperature 0.3 [models.gemini_pro.context] window_tokens 1000000 stable_zone 128000 # 128K 内性能稳定 degrade_zone 512000 # 128K-512K 缓慢下降 risk_zone 1000000 # 512K-1M 显著下降 [evaluation] arc_agi_2_samples 50 humanity_last_exam_samples 30 gpqa_diamond_samples 40 output_dir ./eval_results几个参数值得单独说。thinking_level对应模型的三层思考模式low 是毫秒级响应适合高并发medium 平衡速度与深度1-3 秒high 是数分钟深度思考处理专业复杂任务。评测抽象推理时用 high跑批量回归时用 medium 更划算。stable_zone这几个值不是随便填的。实测下来128K 以内 MRCR v2 测试能保持 84.9%128K 到 512K 掉到 56.7%512K 到 1M 只剩 26.3%。所以如果你的任务依赖长上下文检索尽量把关键信息压在 128K 以内。3.2 settings.json 骨架{ provider: { baseUrl: https://taotoken.net/api, apiKeyEnv: TAOTOKEN_API_KEY, compatibility: openai }, model: { id: gemini-3.1-pro-preview, thinkingLevel: high, maxOutputTokens: 65536, temperature: 0.3 }, evaluation: { suites: [arc-agi-2, humanity-last-exam, gpqa-diamond], concurrency: 4, saveRawResponse: true } }compatibility设为openai是关键这样大部分现成的 OpenAI SDK 代码不用改就能指向 TaoToken 的 base_url。saveRawResponse建议开着评测时原始响应比解析后的结果更有排查价值。4. 验证请求从一次调用到 AGI 能力动作清单配置写完先跑一次最小请求确认链路通再上评测清单。4.1 最小验证请求import os from openai import OpenAI client OpenAI( base_urlhttps://taotoken.net/api, api_keyos.environ[TAOTOKEN_API_KEY], ) resp client.chat.completions.create( modelgemini-3.1-pro-preview, messages[ {role: user, content: 用一句话解释什么是抽象推理。} ], max_tokens256, temperature0.3, ) print(resp.choices[0].message.content)跑通后你会看到一段正常的中文回复。如果报 401检查环境变量名是否拼错如果报 404检查 base_url 是否漏了/api。4.2 AGI 能力验证动作清单下面这份清单是我按 ARC-AGI-2 的考核逻辑整理的目的是验证模型在完全陌生的逻辑模式上的表现而不是复现官方分数。每项都给出可执行动作和观察点。动作输入构造观察点参考基线陌生网格变换自造 3 组 5x5 色块变换规则只给 2 组示例第 3 组能否推出规则人类约 60%多步逻辑链5 步推理题每步依赖前一步结论是否中途丢失前提前代约 31%专业领域权衡医疗/法律二选一场景含冲突信息是否给出权衡而非硬选医疗 67%、法律 74%长文检索在 100K token 文档中埋 3 个事实能否全部召回128K 内 84.9%代码工程SWE-Bench 风格的小型修复任务补丁是否可运行80.6%执行时建议固定thinking_levelhigh每项跑 10 次取通过率而不是单次结果。单次通过可能是运气10 次通过率才能反映稳定性。4.3 批量评测脚本骨架import json from pathlib import Path def run_suite(client, suite_name, samples, modelgemini-3.1-pro-preview): results [] for i, sample in enumerate(samples): resp client.chat.completions.create( modelmodel, messages[{role: user, content: sample[prompt]}], max_tokens4096, temperature0.0, ) answer resp.choices[0].message.content passed sample[check](answer) results.append({id: i, passed: passed, raw: answer}) out Path(f./eval_results/{suite_name}.json) out.parent.mkdir(parentsTrue, exist_okTrue) out.write_text(json.dumps(results, ensure_asciiFalse, indent2)) rate sum(r[passed] for r in results) / len(results) print(f{suite_name}: {rate:.1%} ({len(results)} samples)) return ratetemperature0.0是为了让评测可复现。如果你要测模型的多样性表现再单独开一组高 temperature 的对照。5. 本篇常见错排查报错一401 Unauthorized。最常见的原因是环境变量没生效。在终端里echo $TAOTOKEN_API_KEY确认有值Python 里os.environ.get(TAOTOKEN_API_KEY)确认能读到。如果是 IDE 里跑注意 IDE 可能没继承 shell 的环境变量需要在运行配置里手动加。报错二404 Not Found。检查 base_url 是不是写成了https://taotoken.net漏了/api。SDK 会自动在 base_url 后面拼/chat/completions所以 base_url 必须精确到/api。报错三max_tokens 超限。Gemini 3.1 Pro 最大输出是 65536如果你从旧配置里抄了 8192 或更小的值长文生成会被截断。反过来如果你设了超过 65536 的值会直接报参数错误。报错四长上下文结果变差。不是模型坏了是有效区间的问题。把关键信息挪到 128K 以内再试。如果任务本身就必须用满 1M考虑分段检索再汇总而不是一次性塞进去。报错五thinking_level 不生效。这个参数在不同 SDK 里的传法不一样。用 OpenAI 兼容接口时它可能不在标准参数里需要走 extra_body 或 provider 特定字段。查接入文档确认当前推荐的传参方式。报错六评测结果波动大。先确认 temperature 是否为 0再确认样本量是否够建议每项至少 30 个。10 个样本的通过率波动 ±20% 很正常别急着下结论。6. 把评测跑成习惯而不是一次性动作配置骨架和评测清单搭好之后真正的价值在于持续跑。模型版本会迭代你的任务分布也会变今天 77% 的通过率不代表下个月还成立。建议把评测脚本挂到 CI 里每次模型 ID 或 thinking_level 变更时自动跑一轮结果存进eval_results目录做版本对比。如果你在接入过程中遇到参数或鉴权问题优先查接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 需要新建或轮换 Key 时走 API Keys 页https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 想先手动对话感受一下模型风格可以用模型对话入口https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。长期做编码或 Agent 任务的话Coding Plan 会更省心https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 。
