让大模型像硬件工程师一样改 bug：AutoChip 用 EDA 工具反馈迭代修复 Verilog 的 TaoToken 配置骨架

1. 为什么 Verilog 生成需要 EDA 反馈闭环做数字前端的人对下面这个循环不会陌生写完一版 RTL跑 iverilog 或 VCS 编译挂 testbench 仿真看波形读失配报告回去改代码再跑一轮。一个状态机写错一个复位条件可能就要来回折腾十几轮。Verilog 是并行电路描述语言一个 always 块里多一个异步复位、一个计数器位宽差一位功能就全错能编译只是起点时序和逻辑都对才是终点。问题在于现在很多人用大模型生成 Verilog 的方式是零样本给一段自然语言描述模型直接吐一份代码通过多少算多少没有编译、没有仿真、没有改错机会。这和真实硬件开发流程差得太远。AutoChip 这个开源框架要解决的就是这件事——把 EDA 工具编译器 仿真器产生的报错信息自动喂回给大模型让它像硬件工程师一样看着报错一轮轮修自己的代码。它的工作方式是一棵贪心树搜索每轮让模型生成 k 个候选模块先用 Icarus Verilog 编译能编译的挂 testbench 仿真按通过采样点比例打分没模块 -2 分编译失败 -1 分有警告 -0.5 分全对 1 分。出现满分立即结束否则把得分最高的候选连同编译报错、仿真失配统计回传让它再生成 k 个改进版最多深入 d 层。全程不需要人插手。这篇要落地的是它的工程骨架怎么用 TaoToken 统一 Key/API 通道把 settings.json / config.toml 配好跑通一次完整的生成 → 编译 → 仿真 → 反馈 → 修复闭环并确认 EDA 报错确实回传到了模型手里。适合已经在用 LLM 写 Verilog、但还停留在一次生成阶段的数字设计工程师和 AI 工程同学。2. TaoToken 前置统一 Key 与 API 通道AutoChip 本身支持 OpenAI GPT 系列和 Anthropic Claude 系列接新模型只需调用一个 Python API。它默认走各家官方 SDK但工程上更省事的做法是把所有模型请求收敛到一个统一通道这样切换模型、混合模型策略小模型打底、大模型收尾时不用改一堆 base_url 和 key。TaoToken 在这里扮演的就是这个统一通道一个 Key、一个 API 地址同时覆盖对话模型和编码类模型。对 AutoChip 这种需要频繁切换模型做对照实验的场景很合适——你可以在 config.toml 里把主力模型和收尾模型分别指向同一个 API 端点只改模型名。先拿到 Key。访问控制台创建 API Keyhttps://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentautochip_console创建后复制那串 sk- 开头的 Key后面配置里会用到。API 基础地址统一用https://taotoken.net/api注意这个地址不带任何查询参数直接作为 base_url 填进配置。模型对话能力可以先在网页端验证一下确认 Key 有效、模型可调用https://taotoken.net/model-chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentautochip_model_chat如果你打算长期跑 AutoChip 这种多轮迭代 混合模型的编码任务建议直接看 Coding Plan它更适合高频、长链条的 Agent 式调用https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentautochip_coding_plan接入文档在这里配置字段有疑问时对照查https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentautochip_doc注意不要把 Key 硬编码进 AutoChip 的源码或提交到 git。用环境变量或本地 config 文件并在 .gitignore 里排除。3. 可复制配置settings.json 与 config.toml 骨架AutoChip 用 Python 写成通过一个 JSON 配置文件设定模型、候选数、迭代深度和输出目录。下面给一套可直接改用的骨架把 API 通道指向 TaoToken。3.1 环境变量与 settings.json先设环境变量避免 Key 出现在配置文件里export TAOTOKEN_API_KEYsk-你的key export TAOTOKEN_BASE_URLhttps://taotoken.net/apisettings.json 负责全局通道和默认模型{ api: { base_url: https://taotoken.net/api, api_key_env: TAOTOKEN_API_KEY, timeout_seconds: 120, max_retries: 3 }, models: { primary: gpt-4o-mini, finisher: gpt-4o, fallback: claude-3-haiku }, logging: { level: INFO, log_dir: ./logs } }这里 primary 是打底的小模型finisher 是最后一轮收尾的强模型对应论文里的混合策略。base_url 统一指向 TaoToken切换模型只改模型名。3.2 config.toml搜索参数与混合模型config.toml 管搜索行为是 AutoChip 迭代逻辑的核心[search] candidates_per_round 5 # 每轮候选数 k max_depth 10 # 最大迭代深度 d score_threshold 1.0 # 满分即停 feedback_mode concise # concise 精简模式 / full 全上下文 [eda] compiler iverilog compile_flags [-g2012, -o, sim.out] simulator vvp testbench_dir ./benchmarks/verilog_eval_human [hybrid] enabled true handoff_depth 10 # 到达该深度时换 finisher 模型 finisher_model gpt-4o [output] work_dir ./runs save_per_candidate true # 每个候选代码/编译/仿真/费用独立落盘feedback_mode 选 concise 是有依据的论文对照实验显示精简模式每轮只带最近一次的模块和报错和全上下文模式成功率没有实质差别但在长链条搜索里省下的 token 非常可观。第 0 轮输入只有系统提示词和设计提示词之后每轮替换掉上一轮的回复与消息输入长度基本恒定不会随深度膨胀。3.3 把请求接到统一通道AutoChip 调用模型的地方把 base_url 和 key 从 settings.json 读进来即可。核心片段import os, json from openai import OpenAI cfg json.load(open(settings.json)) client OpenAI( base_urlcfg[api][base_url], api_keyos.environ[cfg[api][api_key_env]], ) def call_model(model_name, messages): resp client.chat.completions.create( modelmodel_name, messagesmessages, timeoutcfg[api][timeout_seconds], ) return resp.choices[0].message.content这样 primary 和 finisher 走的是同一个 client只是 model 参数不同。混合模型策略在框架层判断当前深度是否达到 handoff_depth达到就传 finisher_model。4. 验证请求跑通一次反馈迭代配置好之后别急着跑全量基准先用一道小题验证闭环是否真的通了。目标是确认三件事模型能生成模块、EDA 报错能回传、修复后能通过仿真。4.1 准备一道带 testbench 的题AutoChip 要求每道题有现成的、能自动比对的 testbench。拿一个简单的移位使能状态机练手模块骨架module fsm_shift ( input wire clk, input wire reset, input wire start, output reg shift_ena ); // TODO: 实现状态机 endmoduletestbench 同时例化参考模型和待测设计逐采样点比对输出汇总每个信号的失配数和首次出错时刻。判定成功只有一个标准所有采样点全部正确。4.2 发起一次带反馈的生成用下面的命令跑单题、单轮反馈观察日志python autochip.py \ --config config.toml \ --settings settings.json \ --task benchmarks/fsm_shift \ --candidates 5 \ --depth 1 \ --verbose第一轮模型生成 5 个候选框架逐个编译、仿真、打分。如果全都没满分得分最高的候选连同报错进入第二轮。4.3 确认 EDA 报错回传这是整个闭环最关键的一环。打开 runs 目录下对应候选的日志你应该能看到类似这样的反馈内容被组装进下一轮提示词[compile] iverilog -g2012 -o sim.out fsm_shift.v fsm_shift.v:8: error: shift_ena is not a valid l-value [sim] mismatch report signal shift_ena: 6220 / 6283 samples mismatched first mismatch at time 15仿真失败时testbench 会输出每个输出信号有多少采样点与参考设计不一致、第一次失配发生在什么时刻、总共失配多少个点。这些统计原样作为反馈发给模型。如果日志里能看到这段文本被拼进下一轮 messages说明报错回传通了。4.4 观察修复是否收敛第二轮模型拿到shift_ena 不是合法左值 6220/6283 失配的反馈后通常会先修声明问题把输出显式声明为 reg删掉重复的内部声明再动计数器逻辑。跑完看最终得分[round 0] best score 0.01 (6220/6283 mismatched) [round 1] best score 1.00 (all samples passed) [result] success, depth used 1, cost $0.0004出现 score 1.00 且 success说明从生成到修复的闭环完整跑通了。每个候选的代码、编译结果、仿真输出和费用各自落盘成独立目录哪一轮花了多少钱、改对了什么全部可追溯。5. 本篇常见错排查配置和跑通过程中下面几个坑出现频率最高。报错一401 Unauthorized / invalid api keyKey 没设进环境变量或 settings.json 里 api_key_env 名字和实际环境变量不一致。检查echo $TAOTOKEN_API_KEY是否有值确认 base_url 是https://taotoken.net/api而不是带路径的地址。报错二iverilog: command not foundEDA 工具没装。Ubuntu 下sudo apt install iverilogmacOS 用brew install icarus-verilog。装完iverilog -V确认版本config.toml 里的 compiler 字段要和实际命令名一致。报错三模型回复里没有 module模型偶尔不按格式输出回复里夹带解释文字。AutoChip 的解析器会识别 module 和 endmodule 关键字把模块捞出来但如果模型完全没给模块该候选记 -2 分。可以在系统提示词里强化对任何规格都给出完整模块输出用代码标记包裹。报错四反馈轮次不收敛深度跑满还没满分先看是不是题目本身超出模型能力。论文观察显示卡诺图、状态机设计、元胞自动机这几类抽象题所有模型成功率都明显下滑反馈的作用是普遍而平缓的不是某类难题的特效药。如果小模型打底一直不收敛把 handoff_depth 调小让强模型早点接手。报错五token 消耗异常高feedback_mode 设成了 full。改成 concise每轮只带最近一次的模块和报错长链条搜索里省下的 token 非常可观成功率不受影响。报错六混合模型没生效检查 config.toml 里 hybrid.enabled 是否为 truehandoff_depth 是否小于等于 max_depth。如果 handoff_depth 大于 max_depth永远触发不了收尾模型。提示排障时优先看 runs 目录下每轮的 messages 落盘文件确认反馈文本真的进了提示词而不是只看最终得分。6. 继续接入与模型验证闭环跑通之后接下来通常是两件事把更多模型接进同一套通道做对照或者把 AutoChip 挂到长期运行的编码任务上。想验证某个模型在 Verilog 修复上的表现直接在模型对话里试一道题看它对编译报错和失配统计的理解https://taotoken.net/model-chat?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentautochip_verify要管理多个 Key、给不同实验分配不同额度去控制台https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentautochip_keys如果你打算让 AutoChip 这类框架长期跑批量基准、做多轮迭代和混合模型调度Coding Plan 比按次调用更合适https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentautochip_plan配置字段和接入细节对照文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_contentautochip_doc最后给一个实测下来比较稳的起步参数candidates_per_round 取 5max_depth 取 5 到 10feedback_mode 用 concise混合策略让小模型打底、强模型在最后一轮收尾。简单题小模型前几轮就解决了强模型根本不会被调用钱花在刀刃上。等这套骨架稳定了再往上加候选数或换更强的收尾模型收益曲线会告诉你该停在哪。