1. 从零搭建AI工程能力为什么我劝你别一上来就调包这两年“AI工程”这个词被说得太多了多到有点变味。打开任何一个技术社区满屏都是“三行代码调用大模型”“十分钟搭建RAG”“零基础转行AI工程师”。我不否认这些内容有它的价值但如果你真的想在这个方向上站稳脚跟光会调API是远远不够的。ai-engineering-from-scratch这个标题之所以值得认真聊是因为它指向的是一条更笨、更慢、但走得更远的路——从底层开始把AI工程当成一门工程学科来对待而不是当成一个SDK的熟练度考试。我自己在这个方向上摸索了挺长时间踩过的坑不算少。最开始我也是那种“能跑通就行”的心态拿个开源框架拼拼凑凑demo看着挺唬人一到真实场景就各种崩。后来才慢慢意识到问题不在于框架不好用而在于我根本不知道框架背后发生了什么。你不知道token是怎么被切分的就调不好上下文窗口你不理解attention的计算复杂度就优化不了推理延迟你没手写过反向传播就永远只能靠猜来调超参。这就是为什么我特别认同“from scratch”这个思路——它不是让你拒绝工具而是让你在拿起工具之前先知道工具是怎么造出来的。这篇文章我想聊的不是某个具体的项目代码而是围绕ai-engineering-from-scratch这个方向把整个学习路径和工程实践拆开来讲。适合谁看如果你已经会写Python对AI有基本概念但总觉得自己的知识是“悬浮”的遇到问题只能靠搜索和试错那这篇内容应该能帮到你。如果你是完全零基础也没关系我会尽量把每个环节的“为什么”讲清楚让你知道每一步在解决什么问题。整篇内容会覆盖从数学基础、核心算法手写、训练流程搭建到推理优化和工程化落地的完整链路中间会穿插大量我自己的实操经验和避坑心得。2. 整体学习路径设计与核心思路拆解2.1 为什么“从零实现”比“直接调包”更高效很多人有个误解觉得从零实现就是浪费时间明明有现成的轮子为什么要自己再造一遍。这个想法在业务开发里没问题但在AI工程领域情况不太一样。原因很简单AI系统的调试和优化极度依赖你对底层机制的理解。举个我自己的例子之前做一个文本分类任务用现成的微调脚本跑出来效果一直不理想f1值卡在0.7上不去。我换了各种预训练模型、调了学习率、加了数据增强折腾了一周都没什么改善。后来我静下心来自己用numpy手写了一遍前向传播和反向传播把梯度流打印出来看才发现问题出在某一层的梯度消失上——因为激活函数选得不对加上初始化方式有问题导致深层参数几乎没怎么更新。这个问题如果我不懂底层可能再调一个月也找不到原因。从零实现的价值不在于你以后要自己造框架而在于你获得了“透视能力”。你知道每个张量在计算图里是怎么流动的知道每个参数在什么时候被更新知道loss曲线异常的时候该往哪个方向排查。这种能力是调包调不出来的。而且从零实现一遍之后你再用现成框架会发现你对框架的API设计有了完全不同的理解你知道它为什么这么设计哪些地方做了取舍哪些地方埋了坑。2.2 分阶段递进从数学到工程的三层结构ai-engineering-from-scratch这个方向我建议分成三个阶段来推进每个阶段的目标和产出都不一样。第一阶段是数学与算法基础。这个阶段的核心不是刷题而是建立直觉。线性代数你要理解矩阵乘法在神经网络里到底代表什么微积分你要知道梯度为什么指向loss下降最快的方向概率论你要明白为什么交叉熵损失函数长那个样子。这个阶段我建议用numpy手写一遍最基础的前向和反向传播不用搞太复杂一个两层的全连接网络就够了。关键是你要亲手推导一遍梯度公式然后用代码验证你的推导是对的。第二阶段是核心组件手写。这个阶段你要实现的是AI系统里的关键模块attention机制、卷积操作、归一化层、优化器、学习率调度器。每个模块都自己写一遍不用追求性能追求的是理解。比如attention你要搞清楚Q、K、V分别代表什么为什么要除以根号d_kmask是怎么加的多头是怎么拆分的。这些细节在你调包的时候都是黑盒但自己写一遍就全明白了。第三阶段是工程化落地。这个阶段你要把前面手写的组件组装成一个完整的训练和推理系统考虑数据加载、分布式训练、混合精度、模型导出、服务部署这些工程问题。这个阶段的目标是让你的系统能真正跑起来能处理真实数据能在合理的时间内完成训练能对外提供服务。这三个阶段不是严格串行的你可以交叉进行但整体上要有一个从底层到上层的递进逻辑。我见过太多人直接跳到第三阶段结果遇到问题只能靠猜效率反而更低。2.3 工具选型为什么是Python NumPy PyTorch工具选型这件事我的原则是学习阶段用最朴素的工具工程阶段用最成熟的工具。学习阶段我强烈建议用Python NumPy。NumPy的API足够底层你能清楚地看到每个操作的维度变化和数值计算过程。而且NumPy的广播机制、索引方式、内存布局这些知识在你后面用任何框架的时候都用得上。不要一上来就用PyTorch的高级API那样你会跳过很多关键细节。工程阶段PyTorch是目前最平衡的选择。它的动态图机制对调试非常友好你可以像写普通Python代码一样打断点、打印中间结果。而且PyTorch的生态足够丰富从训练到部署都有对应的工具链。TensorFlow虽然在生产部署上有优势但学习曲线更陡调试体验也不如PyTorch直观。JAX在性能上很亮眼但生态还在完善中遇到问题可参考的资料相对少一些。提示不要在学习阶段纠结框架选择NumPy手写一遍之后你用什么框架都能快速上手。框架只是工具底层原理才是核心。3. 核心细节解析与实操要点3.1 手写反向传播从计算图到梯度更新反向传播是AI工程里最核心的算法没有之一。我建议每个人都至少手写一遍不是抄别人的代码而是从零推导加实现。先讲原理。反向传播的本质是链式法则在计算图上的应用。一个神经网络可以表示成一张有向无环图每个节点是一个操作每条边是一个张量。前向传播就是沿着图的方向计算每个节点的输出反向传播就是从loss节点出发反向计算每个节点对loss的贡献也就是梯度。具体实现的时候我建议用“操作类”的方式来组织代码。每个操作比如矩阵乘法、加法、ReLU都是一个类包含forward和backward两个方法。forward负责计算输出backward负责根据上游梯度计算下游梯度。这样做的好处是结构清晰而且和你后面要用的PyTorch的autograd机制在思路上是一致的。import numpy as np class MatMul: def __init__(self, A, B): self.A A self.B B def forward(self): self.out np.dot(self.A, self.B) return self.out def backward(self, grad_out): self.grad_A np.dot(grad_out, self.B.T) self.grad_B np.dot(self.A.T, grad_out) return self.grad_A, self.grad_B上面这段代码看起来很简单但有几个细节值得注意。第一grad_out的维度要和out一致这是链式法则的要求。第二矩阵乘法的梯度公式是grad_A grad_out B.T和grad_B A.T grad_out这个推导过程我建议你自己在纸上推一遍不要直接记结论。第三实际实现的时候要考虑batch维度上面的代码简化了真实场景下A和B可能是三维甚至四维张量。我踩过的一个坑是在实现ReLU的backward时忘记把负半轴的梯度置零。结果训练的时候loss一直不下降排查了很久才发现是梯度传错了。ReLU的backward应该是grad_out * (input 0)这个input 0产生的是一个布尔掩码要和grad_out逐元素相乘。注意手写反向传播的时候一定要用数值梯度校验你的解析梯度。具体做法是对每个参数施加一个很小的扰动计算loss的变化然后和你的解析梯度对比。如果相对误差在1e-6以内说明你的实现是对的。这个步骤不能省我见过太多人因为梯度推导错误白白浪费好几天时间。3.2 Attention机制从公式到代码的完整拆解Attention是Transformer的核心也是现在几乎所有大模型的基础。很多人能背出Attention(Q,K,V) softmax(QK^T/√d_k)V这个公式但真正理解每个步骤的含义需要自己实现一遍。先说Q、K、V的物理含义。Q是Query代表“我在找什么”K是Key代表“我有什么”V是Value代表“我实际的内容是什么”。Attention的过程就是用Q和每个K做点积得到相似度分数softmax归一化之后作为权重对V做加权求和。直观理解就是对于当前位置的query看看序列里哪些位置和它最相关然后把这些位置的信息聚合过来。为什么要除以√d_k因为当d_k很大的时候Q和K的点积结果会很大softmax之后会变得非常尖锐梯度会很小训练不稳定。除以√d_k相当于把点积结果缩放到一个合理的范围保持梯度的稳定性。这个细节在调包的时候是隐藏的但你自己实现的时候必须考虑。def attention(Q, K, V, maskNone): d_k Q.shape[-1] scores np.dot(Q, K.T) / np.sqrt(d_k) if mask is not None: scores np.where(mask 0, -1e9, scores) weights softmax(scores, axis-1) return np.dot(weights, V)多头注意力是在这个基础上把Q、K、V拆成多个头每个头独立做attention最后拼接起来。这样做的好处是不同的头可以关注不同的模式有的头关注语法关系有的头关注语义相似度。实现的时候要注意维度的变换我建议用reshape和transpose来操作不要用循环那样效率太低。我实操中的一个经验是在实现attention的时候一定要把中间结果的维度打印出来。因为attention涉及大量的维度变换很容易搞错。比如Q的维度是(batch, seq_len, d_model)拆成多头之后应该是(batch, num_heads, seq_len, d_k)其中d_k d_model / num_heads。这个变换如果搞错了代码可能不报错但结果完全不对。3.3 训练循环从数据加载到参数更新训练循环是AI工程的骨架看起来简单但细节非常多。一个完整的训练循环包括数据加载、前向传播、loss计算、反向传播、参数更新、日志记录、模型保存。每个环节都有坑。数据加载这块我建议自己写一个简单的DataLoader理解batch、shuffle、prefetch这些概念。PyTorch的DataLoader很好用但如果你不知道它内部是怎么工作的遇到数据加载瓶颈的时候就不知道怎么优化。比如num_workers设多少合适pin_memory什么时候开这些都需要你理解底层机制。loss计算要注意数值稳定性。比如交叉熵损失如果直接算-log(softmax(x))当x很大的时候会溢出。正确的做法是用log-sum-exp技巧先减去最大值再算。这个细节在框架里是自动处理的但你自己实现的时候必须考虑。参数更新这块我建议先实现最朴素的SGD然后再实现Momentum、Adam这些优化器。SGD的更新公式是param param - lr * grad很简单但学习率的选择很关键。太大容易震荡太小收敛慢。我一般会先用一个较小的学习率跑几百步观察loss曲线然后再调整。class SGD: def __init__(self, params, lr0.01): self.params params self.lr lr def step(self): for param, grad in self.params: param - self.lr * gradAdam的实现在SGD基础上增加了动量项和自适应学习率代码会复杂一些但核心思想是一样的。我建议你手写一遍Adam然后和PyTorch的Adam对比结果确保你的实现是对的。提示训练循环里一定要加梯度裁剪。尤其是训练RNN或者深层Transformer的时候梯度爆炸是常见问题。裁剪的方式有两种按值裁剪和按范数裁剪。我一般用按范数裁剪把梯度的L2范数限制在一个阈值内比如1.0。4. 实操过程与核心环节实现4.1 环境搭建与依赖管理动手之前先把环境搞干净。我强烈建议用虚拟环境不要直接在系统Python里装包。venv或者conda都行我个人习惯用conda因为管理不同版本的CUDA比较方便。conda create -n ai-scratch python3.10 conda activate ai-scratch pip install numpy matplotlib jupyter学习阶段不需要装PyTorch等你手写部分做完了再装。这样能强迫你用NumPy实现所有东西不会被框架的便利性诱惑。我见过太多人嘴上说着“从零实现”结果一遇到矩阵运算就import torch这样是学不到东西的。Jupyter Notebook是我推荐的学习工具因为它可以分块执行方便你逐步调试和观察中间结果。但工程代码我建议用.py文件配合logging模块记录日志这样更接近真实的生产环境。4.2 手写一个完整的两层神经网络下面我用一个完整的例子把前面讲的各个模块串起来。任务很简单用两层全连接网络做手写数字分类。数据集用sklearn自带的digits不用下载方便快速验证。import numpy as np from sklearn.datasets import load_digits from sklearn.model_selection import train_test_split # 数据准备 digits load_digits() X digits.data / 16.0 # 归一化到0-1 y digits.target X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) # 网络定义 class TwoLayerNet: def __init__(self, input_size, hidden_size, output_size): self.W1 np.random.randn(input_size, hidden_size) * np.sqrt(2.0 / input_size) self.b1 np.zeros(hidden_size) self.W2 np.random.randn(hidden_size, output_size) * np.sqrt(2.0 / hidden_size) self.b2 np.zeros(output_size) def forward(self, X): self.X X self.z1 np.dot(X, self.W1) self.b1 self.a1 np.maximum(0, self.z1) # ReLU self.z2 np.dot(self.a1, self.W2) self.b2 # softmax exp_z np.exp(self.z2 - np.max(self.z2, axis1, keepdimsTrue)) self.probs exp_z / np.sum(exp_z, axis1, keepdimsTrue) return self.probs def backward(self, y_true): batch_size self.X.shape[0] # 交叉熵损失的梯度 dz2 self.probs.copy() dz2[np.arange(batch_size), y_true] - 1 dz2 / batch_size self.grad_W2 np.dot(self.a1.T, dz2) self.grad_b2 np.sum(dz2, axis0) da1 np.dot(dz2, self.W2.T) dz1 da1 * (self.z1 0) # ReLU的导数 self.grad_W1 np.dot(self.X.T, dz1) self.grad_b1 np.sum(dz1, axis0) def update(self, lr): self.W1 - lr * self.grad_W1 self.b1 - lr * self.grad_b1 self.W2 - lr * self.grad_W2 self.b2 - lr * self.grad_b2这段代码有几个关键点。第一初始化权重的时候用了He初始化np.sqrt(2.0 / input_size)这个系数是为了保持前向传播时每层的方差一致避免梯度消失或爆炸。第二softmax计算的时候减去了最大值这是为了防止指数溢出。第三交叉熵损失的梯度推导结果是probs - one_hot(y_true)这个结论很简洁但推导过程需要你熟悉softmax和交叉熵的求导。训练循环我写一个简单的版本model TwoLayerNet(64, 128, 10) lr 0.1 batch_size 32 epochs 50 for epoch in range(epochs): # shuffle indices np.random.permutation(len(X_train)) X_shuffled X_train[indices] y_shuffled y_train[indices] epoch_loss 0 for i in range(0, len(X_train), batch_size): X_batch X_shuffled[i:ibatch_size] y_batch y_shuffled[i:ibatch_size] probs model.forward(X_batch) loss -np.mean(np.log(probs[np.arange(len(y_batch)), y_batch] 1e-8)) epoch_loss loss model.backward(y_batch) model.update(lr) if epoch % 10 0: # 验证 probs model.forward(X_test) preds np.argmax(probs, axis1) acc np.mean(preds y_test) print(fEpoch {epoch}, Loss: {epoch_loss:.4f}, Test Acc: {acc:.4f})跑下来你应该能看到准确率逐步上升到0.95以上。如果达不到检查一下学习率是不是太大或者太小初始化是不是有问题数据归一化做了没有。4.3 从手写实现过渡到PyTorch手写版本跑通之后你可以用PyTorch重写一遍对比两者的差异。你会发现PyTorch帮你处理了自动求导、参数管理、设备迁移这些繁琐的事情但核心逻辑是一样的。import torch import torch.nn as nn class TwoLayerNet(nn.Module): def __init__(self, input_size, hidden_size, output_size): super().__init__() self.fc1 nn.Linear(input_size, hidden_size) self.fc2 nn.Linear(hidden_size, output_size) def forward(self, x): x torch.relu(self.fc1(x)) return self.fc2(x)用PyTorch的时候我建议你养成几个好习惯。第一把数据转成torch.Tensor之后检查一下dtype和device确保和模型一致。第二训练之前调用model.train()验证之前调用model.eval()这会影响Dropout和BatchNorm的行为。第三用torch.no_grad()包裹验证过程减少显存占用。我自己的经验是手写一遍之后再切到PyTorch你对框架的理解会深很多。你知道loss.backward()背后发生了什么知道optimizer.step()是怎么更新参数的知道model.zero_grad()为什么必要。这些理解在你后面调试复杂模型的时候非常关键。5. 常见问题与排查技巧实录5.1 梯度相关问题的排查思路梯度问题是AI工程里最常见的坑没有之一。我整理了一个排查清单遇到loss不下降或者训练不稳定的时候按这个顺序检查。问题现象可能原因排查方法loss完全不下降学习率太小、梯度消失、数据标签错误打印梯度范数检查数据标签loss震荡严重学习率太大、batch size太小降低学习率增大batch sizeloss突然变成NaN梯度爆炸、除零、log(0)加梯度裁剪检查loss计算训练loss下降但验证loss上升过拟合加正则化增加数据早停梯度消失的排查方法是打印每一层参数的梯度范数如果发现前面几层的梯度接近0说明梯度消失了。解决方法包括换用ReLU激活函数、加BatchNorm、用残差连接、换用更好的初始化方式。梯度爆炸的排查方法是打印梯度范数如果发现梯度范数非常大比如超过100说明梯度爆炸了。解决方法是加梯度裁剪把梯度的范数限制在一个阈值内。# 梯度裁剪 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)注意梯度裁剪要在loss.backward()之后、optimizer.step()之前调用。顺序搞错了不起作用。5.2 数值稳定性问题的处理经验数值稳定性问题在AI工程里非常隐蔽因为代码不会报错但结果就是不对。我踩过的几个典型坑第一个是softmax溢出。当输入值很大的时候np.exp(x)会溢出成inf导致结果变成NaN。解决方法是在做exp之前减去最大值这个技巧叫log-sum-exp。第二个是log(0)问题。计算交叉熵损失的时候如果预测概率是0np.log(0)会变成负无穷。解决方法是在log里面加一个很小的数比如1e-8。第三个是除零问题。归一化的时候如果分母是0结果会变成NaN。解决方法是在分母上加一个很小的数或者用np.where判断。第四个是float16精度问题。混合精度训练的时候梯度可能会下溢成0。解决方法是使用loss scaling把loss放大一定倍数反向传播之后再缩回来。这些问题的共同特点是代码不报错但结果不对。所以你在实现每个操作的时候都要想一想“如果输入是极端值会发生什么”。这种防御性编程的习惯是AI工程师的基本素养。5.3 训练效率优化的实操技巧训练效率优化是个系统工程我按优先级列几个最有效的技巧。第一用向量化代替循环。NumPy和PyTorch的向量化操作比Python循环快几十倍甚至上百倍。我见过有人用for循环逐样本计算attention跑一个epoch要几个小时改成矩阵运算之后几分钟就跑完了。第二合理设置batch size。batch size太小GPU利用率低batch size太大显存不够而且可能影响收敛。我一般从32或者64开始试根据显存和收敛情况调整。第三使用混合精度训练。float16的计算速度比float32快很多显存占用也少一半。PyTorch的torch.cuda.amp可以自动处理混合精度用起来很方便。scaler torch.cuda.amp.GradScaler() for data, target in dataloader: optimizer.zero_grad() with torch.cuda.amp.autocast(): output model(data) loss criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()第四数据加载优化。把数据预处理放在DataLoader的num_workers里并行做不要在主进程里做。如果数据在磁盘上用SSD比HDD快很多。如果数据能放进内存就全部加载到内存里。第五梯度累积。如果显存不够可以用梯度累积来模拟更大的batch size。具体做法是跑多个小batch把梯度累加起来然后再更新参数。这些技巧我建议你一个一个试每试一个就记录一下训练时间的变化。这样你能清楚地知道每个技巧的实际效果而不是盲目地全部用上。5.4 模型部署上线的注意事项模型训练好了只是第一步部署上线才是真正的考验。我踩过的坑包括训练和推理的预处理不一致、模型导出后精度下降、服务并发上不去。预处理不一致是最常见的问题。训练的时候用的归一化参数推理的时候忘了用结果预测完全不对。解决方法是把预处理逻辑封装成一个独立的模块训练和推理共用同一份代码。模型导出的时候PyTorch的torch.save保存的是整个模型对象依赖Python环境。如果要在C环境里加载需要用torch.jit.trace或者torch.jit.script导出成TorchScript格式。导出之后一定要用测试数据验证一下确保导出前后的输出一致。服务并发这块如果QPS要求不高用Flask或者FastAPI起一个HTTP服务就够了。如果QPS要求高需要考虑用Triton Inference Server或者自己写C服务。批处理是提升吞吐量的关键把多个请求攒成一个batch一起推理能大幅提升GPU利用率。提示部署之前一定要做压力测试用locust或者wrk模拟真实流量看看服务的瓶颈在哪里。是CPU预处理慢还是GPU推理慢还是网络传输慢定位清楚之后再针对性优化。6. 进阶方向与个人经验分享6.1 从手写实现到分布式训练当你把单机单卡的训练流程跑通之后下一步可以挑战分布式训练。分布式训练的核心问题是怎么把计算和通信重叠起来让多张卡协同工作而不互相等待。数据并行是最简单的分布式策略。每张卡持有一份完整的模型副本各自处理一部分数据然后通过all-reduce同步梯度。PyTorch的DistributedDataParallel封装了这些细节但你要理解背后的通信原语才能排查性能问题。我实操中的一个经验是分布式训练的性能瓶颈往往在通信上而不是计算上。如果发现多卡比单卡还慢大概率是通信没重叠好。解决方法包括增大batch size、用梯度累积、用NCCL后端、检查网络带宽。模型并行是另一种策略把模型的不同层放在不同的卡上。这种方式适合模型大到单卡放不下的情况但实现起来更复杂通信开销也更大。我建议先把数据并行搞明白再考虑模型并行。6.2 我踩过的三个印象最深的坑第一个坑是数据泄露。做文本分类的时候我把测试集的数据不小心混进了训练集结果验证准确率虚高到0.99上线之后实际效果只有0.6。排查了很久才发现是数据划分的问题。教训是数据划分一定要在预处理之前做而且要用固定的随机种子确保可复现。第二个坑是梯度累积和BatchNorm的冲突。梯度累积模拟大batch的时候BatchNorm的统计量还是按小batch算的导致训练和推理行为不一致。解决方法是改用GroupNorm或者LayerNorm或者用同步BatchNorm。第三个坑是学习率调度器的坑。我用CosineAnnealing的时候忘记设置eta_min结果学习率降到0之后模型完全不更新了。这个坑很隐蔽因为loss不会报错只是不再下降。教训是用任何调度器之前先把学习率曲线画出来看看。6.3 给不同阶段学习者的建议如果你刚开始接触AI工程我的建议是不要贪多先把一个完整的流程跑通。从数据加载到模型训练到推理部署哪怕是最简单的模型走一遍完整流程比你看十篇教程都有用。如果你已经会调包但觉得知识不扎实我的建议是挑一个你最常用的组件比如attention或者BatchNorm自己手写一遍。不用全部重写就写这一个组件然后和框架的实现对比。你会发现很多你以前忽略的细节。如果你已经在做AI工程项目但遇到性能瓶颈我的建议是先定位瓶颈在哪里再针对性优化。用profiler工具跑一遍看看时间花在什么地方。是数据加载慢还是前向传播慢还是反向传播慢还是通信慢。定位清楚了优化方向自然就有了。这个方向后续还可以往很多地方扩展比如强化学习、扩散模型、多模态模型但底层的东西是相通的。你把一个方向吃透了换到另一个方向也能快速上手。我自己是从CV入门的后来转到NLP再到现在做大模型每次转方向的时候手写实现的那套方法论都帮了我大忙。最后分享一个小技巧建立一个自己的“轮子库”把手写过的组件都整理进去加上详细的注释和测试用例。这样你下次做新项目的时候可以直接复用不用从头再写一遍。而且整理的过程本身也是复习一举两得。
