说实话芯片这个圈子从来不缺偏执狂但过去十几年大家的心气儿大多消磨在了“造出来也不知道卖给谁”的尴尬里。直到大模型把算力需求顶成了明牌风向才彻底变了——我身边不少原本在系统、编译器、架构各干各的工程师突然开始坐下来认真聊一个话题如果今天我们要新造一个AI芯片到底应该怎么想。这里说的“新造”不是指在巨头已经跑通的路径上做一颗“低配版”而是真要从市场、架构、软件、量产、落地这套完整逻辑里走一遍看看机会到底在哪、坑到底有多深。我不是劝人下场恰恰相反这几年见过太多拿着热钱往里冲的团队因为想得太少、踩坑太多产品还没见光就散了。所以这篇东西就是把我认为最值得想清楚的事情一条一条摆出来。从为什么要造到架构怎么选再到软件生态、流片量产这些致命环节全部过一遍。不管你是想创业、在创业还是纯粹想搞清楚这波AI硬件热潮里到底什么在真正起作用这篇应该都能给你一些靠谱的判断依据。1. 先想清楚为什么要造AI芯片的市场机会到底在哪1.1 需求倒推训练和推理是两个完全不同的市场很多人一开口就是“大模型需要算力所以AI芯片有市场”这句话听起来没问题但落到产品定义上几乎等于没说。训练和推理完全是两种生意需求逻辑、技术路径、客户结构都不一样。训练芯片的客户是少数几家大厂他们要的是极致性能愿意为一块卡掏几十万但同时对生态的要求极其苛刻你得兼容他们的分布式框架、能跑通他们的通信库、还得在集群规模上千卡时不掉链子。这个市场基本是寡头游戏新玩家进去就是烧钱送人头连门都摸不到。推理市场则完全不同。大模型要落地推理成本必须降下来这是最硬的需求。客户是千行百业场景碎片化到了极致有的是7x24小时在线服务有的是端侧离线推理有的是视频理解有的是代码生成。这些场景对延迟、吞吐、功耗、成本的要求千差万别没有任何一颗通用芯片能通吃。恰恰是这种“不通用”给了新造芯片的人机会。我个人的判断是推理市场才是新玩家唯一现实的切入点。道理很简单你在别人的地盘上用别人的规则打架赢不了但你在一个足够细分、足够垂直的场景里把性能功耗比做到极致把单token成本打下来就能建立自己的根据地。1.2 机会窗口算力成本的结构性变化再往深看一层。为什么偏偏是现在因为AI计算的成本结构正在发生历史性的变化。过去几年训练一个大模型的成本高得离谱一个集群起步就是几千张卡这种量级只有巨头玩得起。但推理是另一回事它拼的是持续运营成本。你每次调用模型跑一次回答背后都是实打实的电费、折旧、带宽。行业里有个趋势越来越明显token单价正在从“美分时代”往“分毫时代”走谁能把推理成本砍得更狠谁就能抢到最多的调用量。这种成本压力倒逼出来的结果就是推理加速器的大爆发。各家都在找一种办法既然通用GPU在推理场景下功耗太浪费、价格太贵、利用率又不高我能不能专门做一颗芯片只跑Transformer里面的算子把不需要的通用能力全部砍掉这就是新造AI芯片最朴素、也最坚实的逻辑起点。1.3 成熟工艺的红利不再只有先进制程一条路还有一个很多人忽略的行业变化先进制程越来越贵但成熟工艺的性价比反而在上升。过去造芯片大家默认要追最新制程一颗7nm芯片的流片费用可能够买几套房5nm、3nm更是天文数字。但AI推理芯片这个东西对制程的敏感度没有训练芯片那么高。为什么因为推理芯片的瓶颈往往不在晶体管密度而在内存带宽、数据搬运、算子映射效率。你完全可以用相对成熟的制程配合优秀的架构设计把特定场景的性能做到接近先进制程的水平但成本低一个数量级。这对于初创团队来说是个巨大的喘息空间也是新造AI芯片在当下这个时间点真正可行的另一个重要原因。2. 新造AI芯片的核心取舍架构决定上限带宽决定生存2.1 谁都知道要做ASIC但做哪种ASIC是个学问聊到架构多数团队的第一反应是“我们做ASIC专精、高效”。这个方向没错但ASIC这个词太宽泛了宽泛到几乎等于没说。关键要回答的是你到底针对哪一类计算形态做专用化目前主流的AI计算芯片路线大概分这么几类一类是走GPGPU路线能跑通用计算但通用性换来的是面积和功耗的浪费一类是NPU路线针对CNN、Transformer这类深度学习算子做深度优化在中低精度计算上效率极高还有一类是更激进的可重构架构指令集和执行单元可以在运行时动态配置。各有各的优劣没有绝对的答案。我自己比较倾向的思路是别一上来就拍脑袋选最复杂的架构。先把自己的目标场景算子画像拉出来比如你要跑的是大模型解码阶段的推理那核心就是矩阵乘、Softmax、LayerNorm、GELU、KV Cache访问这一串东西。把这些算子在硬件上分解看看瓶颈在哪、并行度在哪、数据复用模式是什么架构的雏形自然就出来了。说白了好架构不是设计出来的是从算子画像里逼出来的。2.2 存储墙比算力墙更致命算得再快拿不到数据也是白搭这个道理我见过太多团队栽跟头。很多人设计AI芯片一上来就堆MAC阵列几百TOPS的算力目标写进PPT感觉气势恢宏。但等到真正跑模型的时候傻了算力单元饿得嗷嗷叫内存带宽撑不住利用率连30%都上不去。打个比方算力就像水龙头内存带宽就像管道。你把水龙头做得再大管道就那么细流出来的水量还是一样。AI推理场景尤其如此特别是现在的大模型结构权重参数动不动就是几十上百GB每一轮生成都要把所有参数过一遍。这时候拼的不是算力峰值而是每瓦功耗下能搬运多少数据、能在片上缓存多少复用信息。我认识的一些团队做设计的时候把SRAM容量列为核心指标把HBM带宽当作生命线在抠反而对峰值TOPS没那么敏感。事实证明这种做法在真实推理负载里效果更好。所以如果你要新造AI芯片第一条设计铁律就是带宽和缓存优先级永远高于纯算力堆砌。2.3 精度策略FP16、BF16、FP8和INT8没你想的那么简单精度选择是另一个容易出问题的环节。很多团队为了数据好看了直接上INT8量化结果模型精度掉得惨不忍睹。现在的主流做法其实是有层次的训练侧已经普遍转向BF16动态范围大不容易溢出推理侧则是FP8和INT8混合使用根据不同层的敏感度选不同精度还要配合per-tensor、per-channel的量化策略。我自己更关注的是硬件要能灵活支持多种精度。原因很简单模型迭代速度太快了今天你的加速器只支持INT8明天人家出一个新模型需要FP8的中间精度才不掉点你的芯片就过时了。所以硬件设计要在数据通路上做好预留让精度切换不影响流水线效率。这个点看着是细节实际是用户体验的胜负手。精度这事儿没有银弹唯一靠谱的方法是拿目标模型实测。新造芯片的流程里起步阶段就该在仿真环境里跑一遍目标模型的量化敏感性分析确定哪些层可以用低精度哪些层必须保留高精度。这个分析结果直接决定你硬件上要放多少高精度算力单元也直接影响Die面积和功耗。2.4 制程与封装新玩家不需要追求最先进但要在最优点上关于制程选择这几年行业风向其实已经变了。过去大家盲目追新制程认为只要工艺先进就一定强。但做推理芯片的核心不是晶体管密度而是每瓦性能和总成本。在先进制程面前中小团队要面临三个致命问题流片费用太高、设计复杂度太大、产能优先级太靠后。更现实的方案往往是在成熟制程上做优化。比如用12nm、16nm甚至28nm配合2.5D封装、HBM或者更激进的多Die方案也能做出非常有竞争力的产品。当然这里有个边界如果你想做的是通用训练芯片那没得选只能往先进制程走但如果你聚焦推理成熟制程完全够用。关键是找到“性能、功耗、成本、良率”的交集点这需要非常务实的判断。封装这块还涉及一个真金白银的问题HBM太贵了而且现在产能紧张到要抢。很多新团队在规划产品时直接默认上HBM结果发现供应链完全搞不定。我建议的思路是先用LPDDR或GDDR把产品跑通把软件生态建立起来等有量了再迭代到HBM版本这条路线要稳健得多。如果你一上来就被HBM套牢大概率死在生产交付环节。3. 软件生态芯片之后的隐形战场决定着你是工具还是废铁3.1 硬件决定上限软件决定能不能兑现上限这是芯片行业最扎心的规律但偏偏最容易被新团队低估。我问过一些创始人你们流片回来之后打算怎么让客户把模型跑起来很多人愣了——他们以为芯片就是硬件硬件好了自然有人用。这是天大的误会。一颗AI芯片如果没有配套的编译器、算子库、运行时和上层框架适配本质上就是一块昂贵的砖头。你要让客户用你的芯片跑PyTorch、跑vLLM、跑SGLang你得提供一整套从框架层到驱动层的完整软件栈。而且你会发现硬件bug可以通过改版规避软件栈的问题却会伴随整个产品生命周期持续消耗你的研发资源。现实点说软件团队的人数应该不少于硬件团队。芯片公司在硬件流片之前软件栈必须先动工芯片还没回来的时候编译器要能在模拟器上跑通模型芯片一回来一周之内要能跑出一个端到端的推理Demo。做不到这个节奏就说明你的软件准备度不合格。3.2 兼容策略要快还是要自主这是个残酷的选择在新造AI芯片的软件路径上有一个绕不开的十字路口到底是做兼容层接住已有生态的存量还是做自己的一套接口建立新生态做兼容层的诱惑很大。你可以适配主流框架里已有的算子客户迁移成本低看起来是“含着金汤匙出生”。但代价是你始终在追随别人的设计节奏要跟着人家更新换代还不能有自己的差异化表达。更关键的是这本质上是在别人的地基上盖房子随时可能被上游策略变动掀翻。做自主软件栈呢难度又肉眼可见地大。你得自己设计编程模型自己写编译器自己筛算子还要让这些工具链好用、稳定、高效这个投入动辄是几百人年的规模。我的经验判断是成熟的策略不会是二选一而是“双向打通”。底层做自主能力上层做兼容适配。把自主的编译器和算子库作为基本盘同时把兼容层作为切入市场的桥头堡。先让客户跑起来再逐步引导他们用你的原生能力获得更大收益。这个思路看起来不够“性感”但确实是能活下来的路径。3.3 跑通一个真实模型目标不是跑起来而是跑得快、跑得稳软件栈的验证标尺是什么不是你的编译器能编译通一个例子也不是你的算子库覆盖了多少个算子而是你能否把一个真实的大模型跑出可接受的性能和稳定性。我自己判断一个AI芯片团队的软件成熟度就看三件事。第一他们能不能在无人工干预的情况下把一个7B级别的开源模型完整跑通、输出正确结果第二能不能稳定运行72小时以上不出错、不崩溃、性能不掉第三面对模型结构里的一些非常规操作比如自定义算子、动态shape他们的工具链还能不能兜住。这中间编译器优化的比拼是最硬核的。同样的Transformer结构有的团队能榨出硬件90%的利用率有的只能做到三四成。而这个差距的根源往往不在硬件而在图优化、算子融合、内存分配策略这些软件层面的功夫。所以在芯片还没开始卖的时候软件团队最该做的事情就一件拼命压榨模拟器和FPGA原型上的性能把每一个算子的效率磨到极致。4. 从流片到量产新造AI芯片绕不开的坑4.1 留足验证预算改一个bug的成本是流片前的一百倍做过芯片的人都知道一句话流片就是最贵的试错。一颗先进工艺芯片流一次片少则千万、多则上亿还有几个月的时间成本。很多新团队为了赶进度把验证周期一压再压结果一颗bug造出来就直接报废整个公司都被拖垮。验证工作的核心是构建完整的多层次验证环境包括模块级仿真、子系统级仿真、FPGA原型验证以及硬件仿真加速器。这些手段各有各的适用场景。但最关键的还是投入比例我强烈建议把验证人员的配置放到研发总人数的一半以上验证预算至少要占总研发预算的四成。这个比例在成熟大厂里都是标配反而是在初创团队里经常被砍掉砍掉的位置又偏偏是最不能省的位置。另外一个容易被忽视点是IP选型。新造芯片不可能什么都自己做总线、接口、编解码这些成熟IP该买的买、该授权的授权。选IP的时候别只看价格稳定性、技术支持、已知问题报告都是决定成败的因素。你用了一个已经停产或者路标不明的IP未来产品迭代就会受制于人。4.2 良率和测试不是所有芯片都能出厂冗余设计是生命线等芯片流片回来你面对的并不是“产品就绪”而是新一轮的残酷筛选。制造环节的工艺波动会导致每颗芯片的性能不完全一致有的频率高、有的频率低有的甚至直接是坏片。这就是良率的现实你投了100颗wafer最后能出厂的可能只有六七十颗。应对工艺波动除了依赖代工厂的工艺能力你自己的设计也得给足余量。业界最常用的做法是芯片内建冗余计算单元也就是在算力阵列里多放几个备用单元生产测试时发现有坏单元就直接用冗余替换。这套方案在AI加速器里已经非常成熟能大幅度提升可出厂芯片的比例直接决定了你是否能按期交货。量产之后还有严峻的测试环节从CP测试到FT测试每一道都逃不掉。测试时间越长成本越高所以测试策略得在“覆盖率”和“时间”之间反复权衡。这个环节早期就要和生产厂一起制定方案而不是等量产了才开始想。跑完芯片回到系统里还要做板级测试、整机测试、压力测试、老化测试一套下来才能交付给客户。这些环节要求整个团队非常务实因为任何一环出问题都会变成客户现场的故障消耗你的交付信任。4.3 系统工程散热、驱动、集群调度缺一不可新造芯片的团队里最常见的盲区是系统工程。很多工程师盯着芯片本身看激动于性能指标和能效数据却忽略了这颗芯片要放进什么机器、机器要放在什么机架、机架要接入什么网络、整个系统在客户现场要怎么部署运维。举个实际的例子推理大模型是吃内存带宽的芯片周围常常要围一圈HBM而这些HBM发热量巨大。如果你不考虑散热设计芯片跑到高负载就会触发降频性能直接打六折。更麻烦的是大模型推理已经不是单卡能扛的事了新造芯片要做推理集群就得有人解决服务器硬件、高速互联、集群管理、分布式调度这一整套问题。驱动软件这块也容易漏。Linux内核模块、PCIe枚举、设备管理、错误处理、热插拔支持这些看似是“脏活累活”实际上决定了客户是不是愿意把你这颗芯片当成正经产品来对待。没有稳定驱动你连公平展示芯片性能的机会都没有。系统工程还有个隐藏成本认证。一台服务器要过各类合规认证每一轮测试周期都是以月计算。你要是没提前启动认证流程后面耽误的全是交付窗口。4.4 常见问题排查与避坑实录一个老工程师的速查表我把自己这些年看项目、做项目遇到的典型问题梳理了一张速查表凡是准备新造AI芯片的团队建议按表自查。这些问题几乎每个都会遇到差别只是早晚和严重程度。提前知道就能提前做预案。问题现象常见原因排查思路流片回来芯片不启动时钟/复位逻辑问题电源时序不对先查电源再查时钟用设计仿真波形倒推硬件状态芯片能跑但是频率只有目标值一半关键路径时序收敛不足或库单元时延估计不准看时序报告检查constraint是否合理考虑降级版本先卖板级测试出现偶发死机信号完整性或电源纹波问题用示波器抓电源波形检查去耦电容布局做高频压测复现跑模型性能远低于预期算子和编译器匹配差内存访问模式不优打开profiler定位算子耗时分布逐算子做调优替换推理结果偶尔不对低精度溢出或ISA编码bug先切换到最高精度验证正确性再用二分法定位精度敏感层兼容层调用协议不兼容上下文语义差异资源管理策略不同做协议栈语义对齐跑跟踪日志建立回归测试基线满载运行几分钟后降频严重散热方案热量堆积芯片死活积极闩锁用热成像找热点优化散热器接触面调整功耗管理策略客户反馈驱动安装失败内核版本或编译依赖不匹配覆盖主流系统版本做CI矩阵预编译多版本驱动包这套排查表不算是标准答案但覆盖了新造芯片落地时会反复纠缠的典型环节。每一个黑体问题背后都有团队因为轻视它而延缓拿单的前例。芯片这东西没有侥幸该抠的细节一个都逃不掉。
