简介这份PDF文档围绕「人工智能的核心技术」展开梳理适合人工智能入门学习者、算法方向在校学生以及需要快速厘清技术脉络的从业者阅读用于回答机器学习为何被视为人工智能核心、各分支如何划分等基础性问题。文档以《人工智能标准化白皮书2018》的论述为线索先阐明机器学习的交叉学科属性再按学习模式拆分为监督学习、无监督学习与强化学习并结合自然语言处理、信息检索、异常检测、机器人控制等场景说明各自适用范围。随后按学习方法区分传统机器学习与深度学习列举逻辑回归、支持向量机、决策树以及卷积神经网络、循环神经网络等典型算法并带出TensorFlow、PyTorch、PaddlePaddle等主流框架的分布式训练与跨平台移植能力末尾还延伸到迁移学习、主动学习与演化学习。资源包内为1个PDF文件约318KB篇幅紧凑便于一次性通读或按小节检索。目前已有220人学习适合作为构建知识框架的入门参考。1. 人工智能核心技术的三根支柱数据、模型与算力不少人一听到人工智能核心技术第一反应是某个大模型的结构但真到项目里翻车往往不是结构选错。我刚带新人做猫狗识别这类入门赛题时就踩过模型抄的是很漂亮的开源实现训练却完全不动最后查出标签和图片目录对应错了三成。所谓核心技术拆开看是三件事同时成立——把现实问题变成张量的表示能力、把张量交给模型并稳定优化的训练能力、把训练结果高效跑起来的推理能力。缺任何一条论文里的指标都落不了地。这份内容面向想系统补齐人工智能基础的读者也适合准备人工智能导论、人工智能大作业、人工智能训练师考核的人用来对照自己的知识盲区重点讲清真正卡住工程落地的那几层。2. 张量、自动微分与训练循环人工智能核心技术的数学地基2.1 张量、计算图与自动微分到底在算什么人工智能核心技术的底层抽象其实只有两个词张量和梯度。张量是带形状的多维数组图片是(N, C, H, W)文本是(N, T)的整数索引点云、音频、时序信号最后也都会被塞进某种形状固定的张量里。形状对不上后面所有技术都无从谈起。梯度则是「模型参数往哪个方向改损失会下降」的答案反向传播算法把它算出来的过程记录在一张动态计算图上。自动微分的价值在于你只写前向计算框架负责把每一步操作的局部导数串起来。这带来两个工程约束。第一任何一步操作必须可导或者有定义的次梯度argmax这种离散操作不能直接进图所以需要用 Gumbel-Softmax 之类的重参数化技巧。第二计算图默认在前向传播后被释放如果想对同一份前向结果反复求导就必须显式保留图代价是显存成倍上涨。从业者需要建立的心智模型是训练循环 前向得到预测 → 算损失 → 反向得到每个参数的.grad→ 优化器按规则更新参数 → 清空梯度。这五步的顺序错了梯度就会累加或丢失。很多人第一次读人工智能基础概念时被各种名词绕晕只要把这五步在脑子里固化下来再看任何框架的文档都能对上号。2.2 用 PyTorch 跑通一个最小训练循环下面这段代码故意不用 DataLoader用合成数据排除数据管道的干扰方便确认「训练循环本身」是对的。import torch import torch.nn as nn torch.manual_seed(42) # 固定随机种子保证结果可复现 X torch.randn(1024, 8) # 1024 个样本每个 8 维特征 true_w torch.randn(8, 1) y X true_w 0.1 * torch.randn(1024, 1) # 加一点噪声 model nn.Sequential(nn.Linear(8, 32), nn.ReLU(), nn.Linear(32, 1)) loss_fn nn.MSELoss() opt torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay1e-2) for epoch in range(50): model.train() pred model(X) loss loss_fn(pred, y) opt.zero_grad() # 清掉上一轮残留的梯度漏掉这句梯度会累加 loss.backward() # 反向传播把梯度写进各参数的 .grad opt.step() # 按优化器规则更新参数 if epoch % 10 0: print(fepoch{epoch} loss{loss.item():.4f})逻辑说明zero_grad必须在backward之前否则上一轮的梯度会和新梯度叠加等效学习率翻倍。step之后梯度仍然保留在.grad里所以循环末尾不需要再清。参数方面lr1e-3是 Adam 系列的常规起点weight_decay1e-2是解耦权重衰减的默认值对这类小模型基本不需要改。2.3 学习率、批大小与显存三个必调参数的取值这三个参数互相牵制单独调任何一个都容易得出错误结论。参数常见起点影响调整信号学习率 lr1e-3Adam/ 1e-1SGD决定每步走多远loss 震荡不降说明偏大降得极慢说明偏小批大小 batch32256影响梯度噪声与显存占用显存不够先减它比减模型安全权重衰减1e-21e-4抑制参数幅值训练集远好于验证集时调大经验规律是批大小翻倍学习率可以同步上调约 1.4 倍平方根缩放线性缩放也常用但要配 warmup。反过来如果显存只够把批大小砍到 8学习率也应当相应下调否则梯度噪声会让训练曲线抖得看不出趋势。2.4 梯度爆炸与不收敛时先看什么排查顺序建议固定先打印 loss 前十步的值确认它是上升、持平还是变成了nan再打印各层梯度的范数torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)这一行的返回值最后检查输入张量的取值范围图像没有归一化到[0,1]或标准化到零均值是最常见的引爆点。提示加上梯度裁剪后训练稳定性通常立刻改善但它只是止血。若裁剪值的日志长期远大于设定阈值真正的问题还在学习率或数据尺度上。3. 模型结构层核心技术卷积、注意力与 Transformer3.1 卷积神经网络的归纳偏置与适用边界卷积的核心技术点不在「滑窗」而在两件事局部连接和平移等变性。一个 3×3 卷积核只看邻域 9 个像素参数共享让同一组权重扫描整张图因此模型天然知道「猫出现在左上角还是右下角是同一只猫」。这种先验叫归纳偏置它让卷积网络在小数据量下依然能收敛也是它在工业质检、医学影像这类样本有限场景里长期占优的原因。代价是它不擅长建模长距离依赖。一个 512×512 的特征图感受野要堆很多层才能覆盖全图而且层与层之间的空间分辨率不断下采样细粒度位置信息会丢。选型判断可以简单记为输入是网格状的、局部模式主导的、标注量中等的任务卷积仍然是性价比最高的选择。3.2 自注意力的 QKV 计算与复杂度自注意力把每个位置映射成三个向量Query、Key、Value。第 i 个位置的输出是它对所有位置 Value 的加权和权重由 Q 与 K 的点积经过缩放和 softmax 得到。公式没有阈值、没有超参数全部权重都是从数据里学出来的这让它能直接建模任意两个位置之间的关系。复杂度是绕不开的坎计算量 O(T²·d)显存同样是 O(T²)T 是序列长度。序列从 512 涨到 4096注意力矩阵的显存需求涨 64 倍。这就是为什么长文本任务必须靠稀疏注意力、滑动窗口或分块计算来压。工程上有一个容易忽略的细节缩放因子是1/sqrt(d_k)其中d_k是单头维度而不是总维度写错会让 softmax 提前饱和、梯度消失。3.3 用 PyTorch 实现一个最小自注意力模块import math import torch import torch.nn as nn class SelfAttention(nn.Module): def __init__(self, d_model128, n_head8, dropout0.1): super().__init__() assert d_model % n_head 0, d_model 必须能被 n_head 整除 self.n_head n_head self.d_k d_model // n_head self.qkv nn.Linear(d_model, 3 * d_model, biasFalse) self.out nn.Linear(d_model, d_model) self.drop nn.Dropout(dropout) def forward(self, x, maskNone): B, T, C x.shape q, k, v self.qkv(x).chunk(3, dim-1) # 各自 (B, T, C) # 拆多头(B, T, n_head, d_k) - (B, n_head, T, d_k) q, k, v [t.view(B, T, self.n_head, self.d_k).transpose(1, 2) for t in (q, k, v)] att (q k.transpose(-2, -1)) / math.sqrt(self.d_k) # 缩放点积 if mask is not None: att att.masked_fill(mask 0, float(-inf)) att self.drop(att.softmax(dim-1)) out (att v).transpose(1, 2).contiguous().view(B, T, C) return self.out(out) x torch.randn(2, 16, 128) # batch2, 序列长度16, 维度128 print(SelfAttention()(x).shape) # torch.Size([2, 16, 128])逻辑说明chunk(3, dim-1)把一次线性映射的结果切成 Q、K、V比三个独立 Linear 少两次矩阵乘。transpose(1, 2)之后张量不再是内存连续的att v算完必须补.contiguous()才能view否则会报形状错误——这是复现时最常见的报错之一。参数说明d_model是输入输出维度改它必须同步改上游n_head只影响多头的切分方式d_model/n_head小于 32 时单头表达能力偏弱dropout在注意力权重上加噪小数据集设 0.1 到 0.3大数据集可以直接设 0。mask 用 0/1 矩阵表示0 的位置被填成负无穷softmax 后权重归零这就是因果掩码的实现方式。3.4 结构选型对照表结构强项短板典型场景CNN局部模式、平移等变、参数少长距离依赖弱图像分类、目标检测、缺陷检测RNN/LSTM时序建模、状态可递推无法并行、长程遗忘传感器序列、早期语音识别Transformer全局依赖、可并行、易扩展复杂度 O(T²)、数据需求大语言模型、多模态、生成式任务注意不要因为 Transformer 热门就把它用在样本量几百条的表格任务上。归纳偏置弱的模型在小数据上通常输给梯度提升树这是被反复验证过的结论与模型新旧无关。4. 训练与优化核心技术损失函数、优化器与数据质量4.1 损失函数与优化器的组合怎么选损失函数定义「什么算好」优化器定义「怎么走到那里」。分类任务用交叉熵回归任务用 MSE 或 Huber排序与对比学习用 InfoNCE 类的对比损失生成任务用重构损失加对抗或扩散目标。这里有一个常被忽视的约束损失函数必须和评估指标方向一致。如果业务关心的是召回率而训练用的是未加权的交叉熵模型就会朝准确率方向优化在类别不均衡时表现为「多数类全对、少数类全错」。优化器的选择反而简单。AdamW 是绝大多数任务的默认答案它把权重衰减从梯度更新中解耦出来正则效果比原始 Adam 更可控。SGD 加动量在图像分类上有时能取得更好的最终精度但需要配合较长的训练周期和余弦退火调度调参成本更高。损失函数适用任务关键参数常见坑CrossEntropy单标签分类类别权重标签必须是 0 起始的整数BCEWithLogits多标签、二分类pos_weight手动加 sigmoid 会重复激活MSE / Huber回归deltaHuber未标准化目标值导致梯度量级失衡InfoNCE对比学习温度系数 ττ 过小导致训练不稳定4.2 正则化与过拟合的排查顺序过拟合的判据是训练损失持续下降而验证损失开始上升。处理顺序建议从便宜的做起先加数据增强图像翻转裁剪、文本同义替换、时序加噪再看权重衰减是否需要调大然后是 dropout最后才考虑减模型容量。反过来先砍模型往往得不偿失因为容量不足会同时抬高训练和验证损失反而更难诊断。早停是最省事的正则手段实现时只需保存验证损失最低那一轮的权重训练结束再载入。它的隐含收益是让你不必猜最优轮数代价是需要保留一份验证集且不能参与训练。4.3 数据质量与人工智能偏见从哪来数据是最容易被低估的核心技术。人工智能偏见很少来自算法本身多数来自采样偏差、标注口径不一致和标签泄漏三处。采样偏差的典型表现是某个类别只在特定光照或特定设备下出现模型学到的是设备特征而不是目标特征。标注口径不一致则表现为同一张图两个标注员给出不同标签训练损失在这类样本上永远降不下去。具身智能数据集对质量的要求更严格因为它多了时间维度和动作维度标注的不只是「看到了什么」还包括「做了什么、结果如何」任何一帧错位都会让策略学到错误的因果。工程上可行的做法是把标注规范写成可执行的本体ontology用固定字段约束每个标签的含义和取值域再用脚本做入库校验。import hashlib from collections import Counter def audit(records): # 1. 重复样本检测用内容哈希找完全相同的样本 seen, dup set(), 0 for r in records: h hashlib.md5(r[content].encode()).hexdigest() if h in seen: dup 1 seen.add(h) # 2. 类别分布检查找出占比低于阈值的类别 cnt Counter(r[label] for r in records) total sum(cnt.values()) rare {k: round(v / total, 4) for k, v in cnt.items() if v / total 0.01} # 3. 标签取值域校验非法标签直接暴露 allowed {cat, dog} illegal {r[label] for r in records} - allowed return {total: total, duplicates: dup, rare_classes: rare, illegal_labels: illegal}逻辑说明三个检查覆盖了数据审查里回报最高的部分。重复样本会让训练集和验证集之间产生隐性泄漏模型在验证集上的表现虚高稀有类别占比过低时无论怎么调损失权重都难有稳定效果非法标签通常意味着上游标注脚本有分支没覆盖到。参数说明阈值0.01按业务调整风控类场景可以放宽到0.05因为稀有欺诈样本本来就少allowed集合应与标注规范同源不要在两处各写一份。4.4 并行训练方式对照并行方式切分对象通信量适用瓶颈数据并行批次每步同步梯度模型能塞进单卡数据量大张量并行单层权重每层前反向都要通信单层参数大到单卡放不下流水并行层层间激活传递模型很深层数多实际训练通常是三者组合。数值上要注意数据并行下学习率随全局批大小缩放而张量并行和流水并行不改变有效批大小所以不能一并套用缩放规则。5. 从训练到落地验证指标、推理优化与进阶路线5.1 训练结束必须看的指标与验证脚本训练损失低不等于能用。验证环节至少要看四项主指标分类用 F1 或 AUC、按类别拆分的指标、置信度分布、以及固定种子的重复实验波动。只看一个总分很容易漏掉某个类别全线崩溃。import torch import numpy as np from sklearn.metrics import classification_report, roc_auc_score model.eval() # 切到推理模式关闭 dropout with torch.no_grad(): # 不建计算图省显存 logits model(X_val) prob torch.softmax(logits, dim-1)[:, 1].numpy() pred (prob 0.5).astype(int) print(classification_report(y_val.numpy(), pred, digits4)) print(AUC:, round(roc_auc_score(y_val.numpy(), prob), 4))逻辑说明model.eval()和torch.no_grad()必须同时加前者影响带有随机性的层后者切断梯度记录。少加no_grad在长序列任务上会直接触发显存不足而少加eval表现为验证指标每次运行都不同容易被误判成数据问题。参数说明分类阈值 0.5 只在类别均衡时合理类别不均衡时应按验证集上的 F1 曲线选阈值classification_report输出的support列要重点看某个类只有几十个样本时那一行的数字不可作为结论。5.2 推理侧的两个提速手段第一是批处理。单条推理的 GPU 利用率通常不到 20%把请求攒到 8 或 16 条一起送进去吞吐量往往提升数倍代价是首字延迟增加需要按业务容忍度设攒批上限。第二是量化。把 FP32 权重转成 FP16 或 INT8显存减半到四分之一矩阵乘速度明显提升。INT8 需要校准集来统计激活值的动态范围校准集分布偏离真实流量时精度掉得很快所以上线前必须在真实分布上重新跑一遍验证集。提示量化和蒸馏、剪枝可以叠加但每次叠加后都要重新测验证指标。三个手段一起上再从 95% 掉到 88% 的情况并不少见而单独用时各自只掉 1 到 2 个点。5.3 一条可执行的进阶路线阶段目标检验标准入门手写训练循环、看懂张量形状不用模板代码复现线性回归与 MNIST进阶复现一篇论文的核心模块自注意力或残差块从零写出并跑通前向反向应用完整走一遍数据到部署有数据审查脚本、验证脚本和推理服务专精定位到具体方向具身智能、病理组学、生成式应用等垂直领域选一个深耕想往人工智能训练师或生成式人工智能应用工程师方向走把上面四个阶段的产物整理成可复现的代码仓库比刷题库有效得多。每写一个模块顺手记录形状变化和参数量半年后回头看这份记录就是最贴合自己认知结构的复习材料。本文还有配套的精品资源点击获取
