每次推机器学习目标函数的梯度你是不是也在矩阵/向量求导这里卡壳看公式感觉懂了一写代码就分不清要不要转置算出来的维度也对不上。这个痛点几乎每个算法工程师和数据科学初学者都遇到过。矩阵求导是线性回归、逻辑回归、神经网络反向传播的基石也是理解优化算法、推导新模型的必备技能。这篇文章我会把矩阵/向量求导这件事彻底讲透从本质定义、布局约定到四个核心公式的完整推导再结合最小二乘、逻辑回归、神经网络三个真实场景逐行拆解。还会分享我在实际调试中踩过的坑和验证技巧保证你看完能自己推出想要的梯度并且能用代码验证结果。1. 先从全局看矩阵/向量求导到底在求什么1.1 求导对象的三种基本形式提到矩阵求导很多人第一反应是“一堆矩阵怎么求导”其实矩阵求导不是把矩阵当做一个整体去求导而是把矩阵里面的每个元素分别对另一个矩阵里的某个元素求偏导再把结果按一定规则排列起来。最常见的求导形式有三种标量对向量求导函数输出是一个数自变量是一个向量。比如损失函数 L 对参数向量 w 求导结果通常是一个向量梯度。标量对矩阵求导函数输出是一个数自变量是一个矩阵。比如损失函数对权重矩阵 W 求导结果是一个和 W 形状相同的矩阵梯度矩阵。向量对向量求导函数输出是一个向量自变量也是一个向量。比如神经网络某一层 y Wx若把 y 对 x 求导结果是一个矩阵雅可比矩阵。搞清楚“输出是标量还是向量、输入是标量还是向量/矩阵”是求导的第一步。绝大多数机器学习优化问题最终都能归结为“一个标量损失函数对参数向量或矩阵求导”所以标量对向量、标量对矩阵的求导是重中之重。1.2 布局决定形状分子布局与分母布局为什么同一道求导题两个资料给出的结果一个是行向量一个是列向量原因在于使用了不同的布局规则。分母布局denominator layout求导结果的第一个维度跟随分母自变量的形状。也就是说标量对列向量 w 求导结果也是列向量。这种布局在机器学习、优化领域最常用梯度下降更新公式 w : w - lr * grad 里grad 直接就是列向量。分子布局numerator layout求导结果按照分子函数输出的形状优先排列。标量对列向量求导结果是行向量。数学分析中雅可比矩阵常用这种布局。我在实际推导中几乎只用分母布局因为深度学习框架PyTorch、TensorFlow里的梯度都是和参数同形状方便直接做减法。你只需要记住一个原则损失函数对参数 w 的梯度 grad其形状必须和 w 完全一致。如果你不小心用了分子布局最终梯度会变成原参数的转置更新时维度对不上或者方向错误。这个坑我后面会专门讲怎么排查。1.3 用“维度对齐”来验证结果对不对我最初学矩阵求导时也记不住公式后来找到一个非常实用的土办法先用维度推导出结果应该是什么形状再细看每一项怎么组合。举个例子。已知 x 是 n 维列向量A 是 n×n 矩阵目标是计算标量 y x^T A x 对 x 的偏导。你可以先想结果一定和 x 同形状也就是 n 维列向量。那么答案可能是 (A A^T) x也可能是 x^T (A A^T)行向量只能是前者。这样哪怕你推导过程有点模糊最终也能用“结果形状 自变量形状”来锁定正确选项。维度对齐还有一个更硬核的用法每一项矩阵乘法的内部维度必须匹配。任何公式推完先检查所有乘积的维度如果中间维度不一致那一定是推导错了。这比死记硬背公式靠谱得多。2. 四大核心公式手撕矩阵/向量求导2.1 线性函数a^T x 与 x^T a 的导数从最简单的开始。设 a 和 x 都是 n 维列向量函数 f(x) a^T x sum_i a_i x_i这是一个标量对向量的函数。用偏导定义看∂f/∂x_j a_j所以梯度就是 a 本身∇_x (a^T x) a同理∇_x (x^T a) a。有了维度对齐这个工具你根本不用背a^T x 的结果是标量对标量再求导数结果的形状必须和 x 一致那只能是 a如果是 a^T形状就是行向量错了。2.2 二次型x^T A x 的梯度推导全过程这是矩阵求导最经典、也最容易出错的公式。设 A 是 n×n 矩阵f(x) x^T A x。我推荐用展开法推导这样能看得一清二楚f(x) Σ_{i1}^n Σ_{j1}^n A_{ij} x_i x_j对 x_k 求偏导。这里要意识到只有当 i k 或 j k 时项才含有 x_k。使用乘法法则∂f/∂x_k Σ_j A_{k j} x_j Σ_i A_{i k} x_i第一项是 A 的第 k 行和 x 做内积即 (A x)_k第二项是 A 的第 k 列和 x 做内积即 (A^T x)_k。合起来就是∇ f(x) (A A^T) x这里有一点必须注意最后的 A^T 是加在 A 上的不是直接 A x。只有 A 是对称矩阵时结果才简化为 2 A x。我在实际项目中经常遇到有人忘了对非对称矩阵的处理。尤其是从某个模型推导出的矩阵并不对称时只写 Ax 会导致梯度错误。我的建议是每次涉及二次型先看 A 是否对称。若是对称可以用 2Ax否则必须用 (A A^T)x。2.3 带转置和常数的组合(A x b)^T (A x b)这个形式在最小二乘里极其常见。设 x 是 n 维列向量A 是 m×n 矩阵b 是 m 维列向量u A x b函数 f u^T u ||u||^2。我们可以把它看成复合函数。先对中间变量 u 求导f 对 u 的梯度是 2u这是二次型 u^T I u 的结论I 是对称矩阵。再用链式法则u 对 x 的梯度是 A^Tu 的第 i 个分量是 A 的第 i 行乘 x 再加 b_i所以 ∂u_i / ∂x_j A_{ij}转置成梯度后就是 A^T。于是∇ f A^T (2 u) 2 A^T (A x b)这里有个特别容易混的地方为什么是 A^T 而不是 A因为我用的是分母布局——结果是列向量维度和 x 一致。u 是 m 维A^T 是 n×mu 是 m×1乘起来正好 n×1。如果你写成 2 A (A x b)维度是 m×1和 x 对不上一眼就能发现错误。2.4 常用公式速查与记忆法我把日常用得最多的公式整理一下按“分母布局”统一函数形式梯度a^T xax^T aax^T x2xx^T A x(A A^T)xx^T A xA对称2Ax|Ax - b|^22 A^T (A x - b)a^T X bX为矩阵a b^T|X W - Y|_F^22 X^T (X W - Y) 等形式视求导变量记忆法很简单把二次型看作“能量的平方项”求导后原来的矩阵要和它的转置“配对”出现带范数的形式永远先对内部整体求导再乘一个转置系数。不过公式表始终是参考真正的依靠是你自己的维度检查习惯。3. 实操场景一最小二乘法与正规方程3.1 问题定义线性回归用最小二乘法拟合时目标函数是L(w) || X w - y ||^2其中 X 是 n×d 的样本矩阵n 个样本每个样本 d 维特征w 是 d 维列向量y 是 n 维标签向量。我们要最小化所有样本预测残差的平方和。别看这个形式简单它几乎是所有矩阵求导教程的第一道大题。我见过很多同学直接套公式得到 2X^T(Xw - y)但问他为什么说不清楚。所以我们一步步来。3.2 展开求导的完整过程设残差向量 e X w - y那么 L e^T e。第一步对中间变量 e 求梯度∇_e (e^T e) 2e第二步求 e 对 w 的梯度。e 的第 i 个分量是 e_i (X w)i - y_i Σ_j X{ij} w_j - y_i所以 ∂e_i / ∂w_j X_{ij}。按分母布局结果应该是 d×n 矩阵就是 X^T。第三步链式法则梯度是前一步的“参数”需要按照矩阵链式法则相乘。这里我记一个很实用的口诀从最终标量出发沿计算图往回走每一步遇到线性变换就乘以该线性变换矩阵的转置。于是∇_w L X^T (2 e) 2 X^T (X w - y)令梯度为零得到正规方程X^T X w X^T y这就是为什么正规方程里会出现 X^T X。虽然很多教材直接给出结论但从矩阵求导的角度看它其实就是“二次型 线性项”的导数结果。3.3 实践心得为什么是 X^T 而不是 X我当年第一次推导时曾经疑惑过X w 是 n 维向量求导后为什么前面乘 X^T而不是 X后来用维度对齐彻底想通了。梯度 ∇w 必须和 w 形状一致也就是 d×1。e 是 n×12e 也是 n×1。要把 n×1 变成 d×1必须在左侧乘 d×n 矩阵。已知 X 是 n×d那么能用的就是 X^T。这个逻辑适用于所有类似场景。只要你写出来的式子维度不匹配哪怕公式表面看起来差不多也一定是错了。另外实操中还有个细节如果你直接用正规方程求 w 的闭式解 w (X^T X)^{-1} X^T y当 X^T X 接近奇异时会很不稳定。相比之下用梯度下降可以避免求逆而且能扩展到大规模数据。矩阵求导得到的梯度公式无论哪种优化方式都是必须的。4. 实操场景二逻辑回归的梯度推导4.1 模型目标函数逻辑回归虽然是分类模型但它的核心推导同样是矩阵/向量求导。单个样本的损失函数是交叉熵L -[ y log(p) (1-y) log(1-p) ]其中 p σ(z)z w^T x bσ 是 sigmoid 函数。如果只对参数 w 求导最简单的推导方法是利用 sigmoid 的一个性质σ(z) σ(z)(1-σ(z))。但这会写成标量形式我们也要习惯向量化写法。假设我们有 n 个样本X 是 n×d 矩阵标签 y 是 n 维 0/1 向量sigmoid 对向量操作是逐元素的。损失为L(w) - (1/n) * [ y^T log(σ(Xw)) (1-y)^T log(1-σ(Xw)) ]这里的 log、σ 都是逐元素函数。看起来复杂其实可以拆成三个小步骤。4.2 用链式法则拆解梯度为了清晰我们先忽略 1/n 系数。令 z X wp σ(z)那么L -[ y^T log(p) (1-y)^T log(1-p) ]先求 ∂L/∂p。由于是逐元素运算我们看单个样本∂L_i / ∂p_i - y_i / p_i (1-y_i) / (1-p_i)其他位置的导数都是 0。所以向量形式的梯度是∇_p L -( y / p ) (1-y) / (1-p) 逐元素除法再求 ∂p/∂z。p_i σ(z_i)所以逐元素导数为 p_i (1-p_i)。用向量形式表示∇_z p p ⊙ (1-p)但因为是逐元素对应关系在链式法则中我们需要的是逐元素乘法而不是矩阵乘法。实际上从标量链式法则推广过来逐元素链式对应的是哈达玛积。于是∇_z L ∇_p L ⊙ [ p ⊙ (1-p) ]把 ∇_p L 的表达式代入逐元素相乘后会发生非常优美的约简第一项-(y/p) * p(1-p) -y(1-p)第二项((1-y)/(1-p)) * p(1-p) (1-y)p所以∇_z L -y(1-p) (1-y)p p - y也就是说逻辑回归损失对线性输出 z 的导数就是“预测减真实值”对于 sigmoid 交叉熵。这个小结论在反向传播中会反复出现。最后z X w根据线性变换求导规则∇_w L X^T (p - y)如果你把 1/n 加上最终就是 (1/n) X^T (p - y)。4.3 推导结果与代码验证我在写逻辑回归手推代码时会直接用 Python 验算。核心只有几行但能让人特别放心import numpy as np def grad_logistic(X, y, w): p 1 / (1 np.exp(-X w)) return X.T (p - y) / len(y) # 数值差分验证 def numerical_grad(f, w, eps1e-6): g np.zeros_like(w) for i in range(len(w)): wp w.copy(); wp[i] eps wm w.copy(); wm[i] - eps g[i] (f(wp) - f(wm)) / (2 * eps) return g用随机数据对比手推梯度和数值差分误差在 1e-6 以内基本就说明公式没问题。我强烈建议你在推导任何矩阵梯度时都用这种数值验证方式而不是只靠“我觉得对”。5. 实操场景三神经网络反向传播中的矩阵求导5.1 单层网络损失对参数矩阵的梯度多层感知机里最基础的模块是输入 xd 维列向量权重 Wm×d 矩阵偏置 bm 维列向量第一层输出 z W x b再经过激活函数 a φ(z)最后跟损失函数相连。假设我们已知损失 L 对 a 的梯度是 ∇_a Lm 维列向量现在要把梯度回传到 W 和 b 上。关键点在于z W x b 是一个 m 维向量它相当于把 x 线性映射到 m 维。从矩阵求导角度看L 是一个标量z 是中间向量x 是变量。先对 x 求导根据链式法则∇_x L W^T (∇_z L)这个公式其实和之前线性回归中对 w 求导的形式一模一样向量化后乘的是线性变换矩阵的转置。那对 W 矩阵直接求导呢L 是标量W 是矩阵所以结果应该是一个 m×d 的矩阵形状与 W 相同。从分量角度推导更快设 z_i Σ_k W_{ik} x_k b_i∂L/∂W_{ij} (∂L/∂z_i) * (∂z_i/∂W_{ij}) (∇_z L)_i * x_j。把所有 i,j 组合起来正好是一个外积∇_W L (∇_z L) x^T这里维度是 m×1 乘以 1×d得到 m×d完美对齐。5.2 批量处理中的维度游戏实际工程中我们不会一个个样本算而是用批量矩阵 Xbatch_size × d权重 Wd × hidden输出 Z X W。此时损失对 Z 的梯度 ∇_Z L 是 batch_size × hidden 的矩阵。那 ∇_W L 是多少如果前面我们已经知道单个样本情况下 ∇_W L (∇_z L) x^T那么批量情况下就是把所有样本的外积求和再除以 batch_size∇_W L (1/B) X^T (∇_Z L)这里 X^T 是 d×B∇_Z L 是 B×hidden乘积是 d×hidden和 W 形状一致。我在写反向传播代码时最常用的记忆方法就是输入矩阵 X 的转置去乘上游梯度输出一定是权重矩阵的形状。这个方法屡试不爽。5.3 矩阵对矩阵的求导其实没那么可怕有人会问如果我想直接求 Z X WZ 对 W 的导数那是一个四维张量怎么办我的建议是尽量避免在推导中显式计算四维张量。真正的机器学习框架也不会这么干。你只需要记住我们真正关心的是“标量损失对某个矩阵变量的梯度”所以永远可以把问题化简为“从上游梯度出发用链式法则拼出形状匹配的结果”。实际操作中我推导某一层 W 的梯度时不会去求 ∂Z/∂W 这种雅可比张量而是直接采用“维度坍缩”思路找到一个表达式使得它的形状等于 W再通过标量求导链式法则验证每一项的来源。这样既省事又能避免陷入四维张量。6. 常见错误与排查经验6.1 布局混用导致梯度转置错误这是我见过最多的问题。很多人今天看A资料用了分母布局明天看B资料用了分子布局推导完公式后梯度写成了行向量更新时要么报错要么结果发散。排查方法在你拿到梯度表达式后先打印一下 grad.shape再打印 param.shape两者必须一致。如果不一致大概率是布局或者转置的问题。更根治的方法是统一使用分母布局并且所有链式法则中的“上游梯度”都要已经转置到合适的形状。我在写推导笔记时都会在公式旁边标注 shapes比如 (d×1) (d×n)(n×1)这样能提前暴露不匹配。6.2 链式法则里漏掉转置假设有一个中间变量 z A wA 是 m×n 矩阵损失 L 对 z 的梯度是 g_zm维列向量那么 L 对 w 的梯度是 A^T g_z而不是 A g_z。很多人一看到“z A w”想当然觉得求导就是乘 A结果变成 m 维和 w 的 n 维对不上。实际上线性变换求导结果永远是“左乘变换矩阵的转置”。这个错误在反向传播代码中会表现为梯度形状错误或者loss不下降。我的建议是每次写 backward 之前先在草稿上画一个数据流图把每个张量的shape写上去然后用前面的维度检查法校对。6.3 验证工具与调试建议我自己的验证流程分为三层形状检查每个中间结果的 shape 都要对齐这一步能发现 80% 的错误。数值差分写一个通用 numerical_grad 函数对比手推梯度与差分梯度这在小型样例上非常快。自动微分验证如果项目已经用了 PyTorch 或 TensorFlow直接用 backward 得到梯度和你的手推代码对比。虽然框架本身也可能有细节微妙但在绝大多数情况下框架梯度是正确的可以作为参照。调试时建议用很小的随机数据比如 3 个样本、2 个特征、隐藏层 4 个节点这样即使出错也能手动算出每一步。我曾经在调试一个自定义反向传播层时只用数值差分怎么都不匹配最后发现问题出在损失函数的数值稳定性上而不是梯度公式。所以验证公式时最好先确保损失函数本身的计算没有溢出或精度问题。根据我的经验矩阵/向量求导并不是背公式的比赛而是一场“维度一致性的游戏”。只要你每次都坚持检查形状、记住链式法则中转置的方向、用数值差分兜底几乎所有推导都能在几次迭代内搞定。我到现在遇到新的模型结构依然先手推梯度再用自动微分验证这个习惯帮我避开过无数次“看着对实际错”的坑。
