看到“ai-engineering-from-scratch”这个标题我的第一反应是终于有人把这门手艺说得足够直白了。过去两年AI圈被各种“调包侠”“炼丹师”的说法搅得乌烟瘴气好像只要会跑通一个开源仓库、会改两行prompt就算是AI工程师。但这个标题把话挑明了——真正的AI工程不是站在别人框架上叠功能而是从零开始把数据、模型、训练、推理、评估、部署这条链路亲手搭一遍。尤其搭配上“build a reasoning model from scratch”和《build a large language model from scratch》这类热词指向已经非常清楚这是一篇关于如何亲手构建大语言模型和推理模型的实战路线图。这篇文章我打算完全按照我自己带队做项目时的思路来写。不会只讲概念也不会只贴代码而是把从零搭建AI系统时那些真正决定成败的环节、参数背后的逻辑、还有踩坑之后的排查方法从头到尾捋一遍。无论你是刚入门想建立全局观的新手还是已经在调模型但总觉得缺了点什么的中级工程师这篇都值得你花十分钟认真读完。1. 这个标题到底在说什么AI工程与“从零”的真正含义1.1 从零不是重复造轮子而是拆掉黑盒很多人一听“从零构建”就皱眉现在开源生态这么成熟HuggingFace上一堆现成模型为什么要自己造轮子这个疑问特别正常但“from scratch”真正的价值从来不在“造轮子”本身而在于拆掉黑盒。我见过太多人用BERT、用LLaMA、用GPT系列用得飞起但一旦模型效果不好排查思路就只剩下“换更大的模型”或者“堆更多数据”。这背后的根源就是对模型内部机制缺乏体感。你亲手实现过一个Attention层你才会真正理解为什么序列长度会导致显存暴涨你亲手写过完整的数据pipeline你才会明白数据泄漏是怎么悄悄毁掉评估结果的你亲手调过学习率调度器你才知道warmup和decay对收敛曲线的直接冲击。从零构建的意义是让你获得一种“看到报错就能定位到具体模块”的能力。这种能力没法通过读论文获得只能通过亲手写完一整套系统获得。《build a large language model from scratch》这本书之所以火因为它讲的不只是公式而是把一个语言模型从分词、嵌入、Transformer块、训练循环到推理采样完整实现了出来。把这条链路走通你对AI系统才算真正“有手感”。1.2 适合谁以及这条路的预期收益我在带团队和做技术咨询时经常被问到我该不该从零写一个模型我的回答取决于对方的阶段。如果你已经能熟练调用开源模型、能跑通微调脚本但遇到性能问题只会盲试参数那从零构建一次就非常有必要。如果你完全没写过代码纯零基础那我不建议你直接冲模型实现先把Python、PyTorch和数据基础打扎实再说。从零构建AI系统的预期收益我觉得可以分成三层第一层获得对Transformer、训练循环、采样策略等核心机制的深入理解不再被各种“黑盒”困扰。第二层构建起一套可复现、可调试的完整工程链路这个能力远比单点技能值钱。第三层为后续做RLHF、推理增强、多模态等进阶方向打下比别人扎实得多的底座。有个朋友问过我一个特别好的问题从零写一个模型和读一遍源码再复现有什么区别区别在于“盲写”和“看着答案写”的认知深度完全不同。你自己写会在卡住的地方被迫思考为什么这里要这样设计看源码时你只会点头“原来如此”。所以我建议真正想搞懂的人先别急着翻开源实现哪怕写得丑一点、慢一点也先自己写一版。2. 整体路线设计从数据到推理的全链路拆解2.1 宏观路线与阶段里程碑从零构建AI系统最忌讳的就是一上来就奔着“复现GPT-4”去。那个目标超出了绝大多数个人和中小团队的资源上限。合理做法是把整个工程拆成几个可独立验收的阶段。我自己在带项目时通常按下面这条路线走第一阶段是数据工程。包括数据采集、清洗、去重、分词、采样策略和质量评估。这个阶段很多人忽视但它决定了后续所有环节的上限。第二阶段是模型实现从Token嵌入、位置编码、多头注意力、前馈网络、层归一化到残差连接手写一个完整的Transformer解码器。第三阶段是训练框架包括数据加载器、损失函数、优化器、学习率调度、梯度累积、混合精度和断点续训。第四阶段是推理与评估写采样逻辑实现温度控制、top-k/top-p、KV cache加速再搭配一份可靠的评估集。第五阶段是进阶增强比如把SFT、RLHF、思维链推理等能力逐步叠加上去。每一个阶段都应该有一个明确的“完成标志”。比如数据工程阶段完成标志是“拿到一份干净、分布合理、tokenizer压缩率在预期范围内的文本语料”模型实现阶段完成标志是“loss能够稳定下降能生成可读的文本”。没有明确的里程碑这个项目很容易陷入“一直在准备”的泥潭。2.2 为什么先从小模型起步参数计算的考量“from scratch”最容易犯的错误是一上来就想用大模型验证想法。我给你算一笔账一个13B参数的模型光参数用FP16存储就需要26GB显存再加梯度、优化器状态和激活值单卡A100 80GB根本跑不动必须上多卡并行。这一下就把难度从“算法工程”抬升到了“分布式系统工程”。我强烈建议从10M到200M参数的小模型起步。这个量级的模型单张消费级显卡就能跑迭代速度快调试成本低。更关键的是小模型上暴露的问题和大模型面临的问题是同一类问题。数据泄漏、训练不稳定、过拟合、采样退化这些坑在小模型上全都会出现而且因为迭代快你能更快地定位原因。说到参数规模的计算我给大家一个参考公式。一个标准Transformer解码器参数量大约等于参数量 ≈ seq_len虽然参与计算但取决于结构。常见估算Embedding层参数vocab_size × hidden_size每个Transformer块的参数约 12 × hidden_size²总参数 ≈ vocab_size × hidden_size num_layers × 12 × hidden_size²举个例子vocab_size取32000hidden_size取768层数取12激活函数GELU那参数量大约是32000×768 12×12×768² 2457.6万 12×707.8万 ≈ 10985万也就是约1.1亿参数。这个规模在单张24GB显卡上可以用FP16非常舒服地训练。先把这个量级跑通再去理解模型规模扩展的规律路径会顺畅得多。2.3 工程基建实验跟踪、数据版本与算力规划从零构建AI系统技术上最容易被忽略但实际影响最大的其实是工程基建。我见过不止一次训练跑了一半发现数据版本换错了前三天全白费或者实验改了个学习率但忘了记录下来后面根本没法对比。这些问题比模型本身不收敛还要致命。所以项目启动第一天我就要求团队把下面几件事做好实验跟踪至少用一个工具记录每个实验的超参数、数据版本、loss曲线和评估指标。没有这套记录你做的所有实验都无法形成有效积累。数据版本管理要对每份训练数据做指纹记录任何清洗操作都留下记录保证“这次训练用的是哪份数据”随时可查。算力规划提前估算训练时长训练一个1亿参数模型在单卡A100上大概需要多久取决于数据量和batch size提前规划好机器资源不然排期全乱。我自己的习惯是每个实验启动前先写一份实验记录包括目标假设、数据集版本、模型结构改动、超参数、预期结果。训练结束后立即记录实际结果和初步分析。这套流程听着麻烦但它能让你在三个月后回头看时瞬间定位到“当时是改了哪个参数导致效果提升”这是复现能力的基石。3. 从零手写核心环节的实操要点3.1 数据准备Tokenizer与质量平衡很多人从零构建模型时第一关就卡在Tokenizer上。这确实是个容易被低估的环节。Tokenizer决定了模型能“看到”什么样的文本单元直接影响训练效率和最终效果。当前主流选择是BPEByte Pair Encoding或其变体。BPE的核心思想是从字符级别开始反复合并出现频率最高的相邻符号对直到达到预设的词汇表大小。这样既能处理常见词也能拆解生僻词。实现BPE并不复杂核心就是统计相邻pair的频率、合并、更新词表这三步循环。但实际工程中要注意的点不少一是词表大小的选择。太小会导致序列过长、训练效率低太大则Embedding矩阵参数量暴增。我常用的策略是先看语料规模100GB以下的语料词表取32000到64000之间通常比较合理。二是需要预留特殊token的位置像表示未知词、句子开头、句子分隔这些都要单独占用token。三是训练BPE时要对数据进行充分的归一化处理比如统一空格、处理Unicode变体避免同一个词因为编码差异被拆成两个token。数据质量这块我有个特别强烈的体会对数据做“多次轻量过滤”比“一次重度过滤”效果好得多。先做粗过滤去掉明显乱码和垃圾内容再做精过滤用规则去掉重复率过高的段落、重复的标点、无意义的表格代码最后做质量打分排序。在语料规模不足的时候与其盲目加数据不如把现有数据按质量分层优先让模型在高质量数据上多学几个epoch效果提升往往比增加低质量数据更明显。3.2 模型结构与训练循环Attention、梯度更新、收敛判断模型结构方面我自己在从零实现时会按这个顺序来写先实现Token Embedding结构再写位置编码然后写多头注意力接着是前馈网络和层归一化最后把所有模块堆成Transformer块。多头注意力是核心中的核心。我从工程角度帮你拆解一下它做的事情是让序列中每个位置都能关注到所有其他位置的信息。实现时Q查询、K键、V值由输入分别乘以三个权重矩阵得到然后计算注意力分数经过缩放和Softmax再加权求和。这里有个关键点在Decoder中加入因果掩码确保当前位置只能看到它之前的位置而不能看到未来信息。这个掩码我建议在训练前就单独验证一遍确认它的形状和位置完全正确不然后面所有训练都是错的。训练循环本身最核心的要素是loss和优化器。我常用的标准配置是AdamW优化器加上余弦学习率调度配warmup。为什么用AdamW因为它把权重衰减和梯度更新解耦对Transformer这类模型效果很稳。warmup的目的是在训练早期让参数更新幅度平缓避免一开始就冲出最优区域。关于收敛判断我的建议是别只看训练loss。训练loss下降不能说明模型真的学会了还要看验证集loss是否同步下降以及有没有出现过拟合信号。3.3 推理与采样温度、top-p、KV cache训练出来的模型最终要服务于推理。推理阶段的实现水平直接决定了生成质量和使用体验。模型推理最朴素的做法是“自回归式逐个token生成”把已生成的内容作为输入预测下一个token把它拼到输入后面再预测下一个如此循环。这个过程中有几个参数非常关键温度控制概率分布的平滑程度。温度越低越倾向于选概率最高的token输出更稳定温度越高越随机输出更多样。top-p采样是只在累计概率达到阈值的token集合里采样它可以动态裁剪掉那些低概率的尾部噪声。top-k是固定只从概率最高的k个token里选。这几者的搭配需要根据场景调整说实话没有绝对最优解。KV cache这个技术我建议从零实现时必须亲手写一遍。它解决的问题是在生成第N1个token时前N个token的Key和Value其实在上一轮已经算过了没必要重新算。把它缓存下来推理速度能快好几倍。实现细节上要特别注意cache的维度和拼接逻辑稍微错一点就会出现维度不匹配的报错。3.4 迈向“推理能力”思维链与过程监督最近“build a reasoning model from scratch”这个方向特别热。坦白讲从基础语言模型迈向具备推理能力的模型确实是从零AI工程里最让人兴奋的一段路。我的理解是推理能力不是模型先天就有的而是可以通过训练引导出来的。目前主流的一条路线是先用思维链数据做监督微调让模型学会“先想后答”的输出模式。所谓思维链就是在答案之前先生成中间推理步骤。这个训练数据的格式大概长这样用户提问模型先输出一步步的思考和推理最后给出结论。这类数据怎么来常见做法是用已有的强模型生成思维链数据然后做清洗和过滤。另一个思路是人工标注一批高质量的小样本但成本比较高。我实测下来思维链数据的质量尤其是“中间步骤的正确性”比数量重要得多。如果中间步骤存在大量错误模型会学到“把错误思路包装得很流利”的坏习惯。再进一步就是过程监督和结果监督的区分。结果监督只判断最终答案对错实现简单但反馈信号稀疏过程监督则对每一步推理单独打分能提供更细粒度的训练信号。在做推理模型时我建议从过程监督入手因为它在小模型上的效果提升比结果监督明显得多。实现方案也不复杂把推理过程按行拆开加入“对每一步打分”的任务然后让模型去预测这个分数。4. 实操现场一个最小LLM的构建实录4.1 环境与依赖选型说再多理论不如直接看一遍实操流程。这一节我带你走一遍“从零构建最小LLM”的真实过程。为了让你能复现我特意把范围控制在单卡可跑的量级。环境和依赖我建议直接用Python 3.10以上版本框架用PyTorch主要是生态成熟、资料多。不一定需要CUDA推理和少量调试在CPU上也能跑。但如果要做完整训练还是一张NVIDIA显卡更现实显存12GB以上基本够用。依赖就这么几个PyTorch、NumPy、Datasets和数据加载工具、HuggingFace的Tokenizer工具。别贪多从零构建的核心目的是理解原理依赖越少越好这样你能清楚知道每一行代码在干什么。4.2 三阶段实现步骤我自己实际操作时会严格按三个阶段走最小骨架、跑通训练、生成验证。第一阶段实现最小骨架。先写好数据加载器从原始文本文件读取语料按块切分成定长序列。接着定义模型类按标准Transformer解码器结构写成可配置的类能灵活调整层数、隐层维度、多头数等参数。我不建议第一步就把结构固定死因为后面调试时你随时可能想改。第二阶段是跑通训练循环。重点不是追求好效果而是确证“链路通了loss在稳定下降”。这里我会用一组非常小的参数比如层数2、隐层256、batch size 8快速跑几十步确认没有维度报错、loss没有跑飞再逐步加大规模。第三阶段是生成验证。写一个简单的生成函数输入一句话的前几个字让模型续写人工评估生成文本的质量。这里我有个很实用的检查技巧用一个训练集里出现频率特别高的句子片段做前缀。如果模型能相对完整地把后半句续出来说明它记忆住了训练数据但还没验证泛化。再用一句训练集里没有的话看它能不能给出语法通顺的回应。两者结合才能判断模型是真学会还是死记硬背。从我的经验看这一整套流程在单张A100上1亿参数模型跑完整训练可能只需要几个小时如果资源紧张用3000万参数模型在一张消费级显卡上也能在一天内完成从头训练。完全可以把整个流程反复跑好几遍来找感觉。4.3 评估与微调实验训练完之后评估是必须做的一步。我推荐把评估拆成两层自动指标和大模型判别。自动指标层面困惑度是最常用的本质上是模型对验证集文本的“惊讶程度”数值越低代表模型预测得越准。但困惑度下降和实际生成质量提升并不总是同步的所以还需要人工看生成效果。我的做法是固定一组prompt模板每次实验都用同一组逐条看生成质量。微调阶段最关键的取舍是数据配比。通用语料和垂直领域数据的比例、多语言数据的比例都会强烈影响模型表现。我踩过的一个坑是微调时垂直数据占比过高模型在垂直任务上表现不错但通用能力迅速退化。后来改用“混合微调”保留一部分通用数据在训练集里才能兼顾两头。这一条建议值得所有做过微调的人记下来任何时候微调都别放弃通用能力。5. 从零工程最常见的坑与排查方法5.1 训练不收敛怎么办训练不收敛是从零项目里最让人崩溃的问题。我第二次跑出NaN时整个人是崩溃的。但排查次数多了之后我总结出了一套顺序排查法效率非常高。第一步检查学习率。这是最常见的元凶学习率太大loss会直接爆掉甚至变NaN学习率太小loss下降缓慢得像蜗牛。我的建议是先按模型规模的推荐值起步观察前几十步的loss变化如果出现“一会儿巨降一会儿爆升”立刻调低学习率。第二步检查数据。输入数据的数值范围、是否存在大量空序列、标签是否正确这些都要排查。尤其是标签错位这类问题不会报错只会让loss一直在一个很高但不降的位置徘徊。第三步检查模型结构。如果loss降到一定程度就停住不动可以试着把数据先换成一份非常小的、容易过拟合的数据集看模型有没有能力把这份数据集“背”下来。如果连这个都做不到说明模型结构里很可能有bug比如某个维度的数据吃得不正确。这种方法我验证过很多次非常高效。附一个排查速查表Loss变为NaN优先查学习率、梯度裁剪、输入数据是否含NaNLoss不降优先查数据标签、模型结构、损失函数是否正确Loss降到某值后停滞查学习率是否过低、数据多样性是否不足训练集loss低但验证集loss高过拟合信号查正则化、数据规模、early stopping5.2 显存与管理、吞吐优化显存问题几乎是所有跑过训练的人都会碰到的心头痛。显存占用的大头不只是模型参数还有优化器状态、梯度、激活值这几块。一个模型参数用FP16存储需要2字节但AdamW优化器会保存一份FP32的参数副本、一份和动量相关的状态这部分往往比模型本身还占显存。更别说前向计算时每层激活值的缓存了。我有一个很实用的估算训练阶段显存占用大约是“参数量的20倍左右”。也就是说1亿参数模型训练大约需要2GB以上显存具体取决于batch size和序列长度。如果显存不够梯度累积、混合精度、激活检查点这三个手段按顺序上。5.3 过拟合与数据泄漏识别过拟合和数据泄漏是评估环节最隐蔽的两个陷阱。过拟合的判断标准很好用训练loss持续下降验证loss开始上升二者开始分叉就是过拟合的信号。处理手段无非就是加数据、加正则化、用早停、降模型容量。但如果处理过拟合时发现效果不佳就要怀疑是不是模型容量太大或者数据规模确实太少。数据泄漏则更阴险它会让你的评估分数虚高但实际部署时模型表现远不如预期。最常见的泄漏是训练集和验证集来自同一个数据源清洗不彻底导致重复内容出现在两边。我自己的排查习惯是在划分数据前先做一次全局相似度去重把特别相似的样本标记出来确保训练和验证集没有高相似内容。另一个常见泄漏点是在特征工程阶段用了包含未来信息的字段去做预测。这在大模型文本任务里相对少见但在多模态和结构化数据任务里高发。总而言之数据泄漏不解决评估结果毫无意义。6. 个人体会与扩展建议文章写到这里核心内容都讲完了。最后分享一些我这几年从零构建AI系统时最深的体感以及后续可以怎么继续扩展。我最大的体会是从零构建的真正价值不在于最终产出的模型参数有多大多强而在于这个过程中你被迫建立起来的全局观和排查能力。我遇到过不少能熟练用开源模型的朋友一旦脱离了现成框架就手足无措相反那些完整从零搭过一遍训练链路的人面对新模型、新框架时上手速度快得多因为他们心里有一个清晰的“标准答案模板”新东西只是在这个模板上做替换。如果你也想走这条路我的建议是别追求一次完美。第一版写出来的代码一定是又丑又慢的。但只要链路通了你就有了一台可以反复打磨的“工作台”。后续你可以往这几个方向扩展把SFT和RLHF流程加进去给你的模型装上对齐能力尝试在推理阶段加入思维链和过程监督把它从“会说话”往“会思考”推一步还可以把RAG接上让模型具备检索外部知识的能力。最后再分享一个小技巧每做完一个阶段就停下来写一段操作总结记录你当时的选择、理由和踩过的坑。AI工程这条路真正的护城河不是某个模型权重而是你的判断力和经验沉淀。这些亲手踩过坑之后写下来的笔记比任何论文都值钱。
