微积分求导完整手册

从导数定义、基本公式、组合规则，到偏导数、多元链式法则与矩阵求导。为交叉熵推导补齐所需工具，自包含、可独立作为复习手册。

1. 导数的定义与直观含义

1.1 定义

函数 $f (x)$ 在点 $x$ 处的导数：

f^{'} (x) = \frac{df}{d x} = h \to 0 lim \frac{f ( x + h ) - f ( x )}{h}

1.2 直观含义

视角	含义
几何	曲线在点 $x$ 处切线的斜率
物理	瞬时变化率（位移对时间的导数是速度）
优化	函数在该点上升/下降的陡峭程度；导数为 0 是极值点的必要条件

1.3 可导与连续

可导必连续，连续不一定可导（如 $∣ x ∣$ 在 $x = 0$ 处连续但不可导）。本文默认所涉函数在其定义域内可导。

1.4 记号

f^{'} (x), \frac{df}{d x}, \frac{d}{d x} f (x)

三种写法等价。多变量时用偏导记号 $\frac{\partial f}{\partial x}$ 。

2. 基本求导公式表

这些是「原子」，所有复杂函数的导数都由它们组合而成。必须背熟到看见即反应。

2.1 常数与幂

函数 $f (x)$	导数 $f^{'} (x)$	说明
$C$ （常数）	$0$	常数不变，变化率为 0
$x$	$1$	自身变化率为 1
$x^{n}$	$n x^{n - 1}$	幂降一次，乘原指数
$\frac{1}{x} = x^{- 1}$	$- \frac{1}{x ^{2}} = - x^{- 2}$	幂公式特例
$x = x^{1/2}$	$\frac{1}{2 x}$	幂公式特例

2.2 指数与对数

函数 $f (x)$	导数 $f^{'} (x)$	说明
$e^{x}$	$e^{x}$	唯一导数等于自身的函数
$a^{x}$	$a^{x} ln a$	一般底数指数
$ln x$	$\frac{1}{x}$	自然对数
$lo g_{a} x$	$\frac{1}{x ln a}$	一般底数对数

2.3 三角函数

函数 $f (x)$	导数 $f^{'} (x)$
$sin x$	$cos x$
$cos x$	$- sin x$
$tan x$	$sec^{2} x = \frac{1}{cos ^{2} x}$
$cot x$	$- csc^{2} x$
$sec x$	$sec x tan x$
$csc x$	$- csc x cot x$

2.4 反三角函数

函数 $f (x)$	导数 $f^{'} (x)$
$arcsin x$	$\frac{1}{1 - x ^{2}}$
$arccos x$	$- \frac{1}{1 - x ^{2}}$
$arctan x$	$\frac{1}{1 + x ^{2}}$

2.5 双曲函数（深度学习偶见）

函数 $f (x)$	导数 $f^{'} (x)$
$sinh x$	$cosh x$
$cosh x$	$sinh x$
$tanh x$	$1 - tanh^{2} x = sech^{2} x$

记忆点： $tanh$ 的导数 $1 - tanh^{2} x$ 在 RNN 反向传播中反复出现——前向存下 $tanh$ 的输出，反向只需一次乘法。

3. 组合规则

3.1 常数倍

\frac{d}{d x} [C \cdot f (x)] = C \cdot f^{'} (x)

例： $\frac{d}{d x} (3 x^{2}) = 3 \cdot 2 x = 6 x$ 。

3.2 和 / 差

\frac{d}{d x} [f (x) \pm g (x)] = f^{'} (x) \pm g^{'} (x)

逐项求导，符号不变。例： $\frac{d}{d x} (x^{2} + ln x) = 2 x + \frac{1}{x}$ 。

3.3 乘积法则

\frac{d}{d x} [f (x) g (x)] = f^{'} (x) g (x) + f (x) g^{'} (x)

口诀：前导后不导 + 前不导后导。

例： $\frac{d}{d x} (x^{2} e^{x}) = 2 x e^{x} + x^{2} e^{x} = e^{x} (x^{2} + 2 x)$ 。

三因子推广：

(f g h)^{'} = f^{'} g h + f g^{'} h + f g h^{'}

3.4 商法则

\frac{d}{d x} [\frac{f ( x )}{g ( x )}] = \frac{f ^{'} ( x ) g ( x ) - f ( x ) g ^{'} ( x )}{[ g ( x ) ] ^{2}}

口诀：上导下不导，减上不导下导，除以分母平方。

例：

\frac{d}{d x} (\frac{ln x}{x}) = \frac{\frac{1}{x} \cdot x - ln x \cdot 1}{x ^{2}} = \frac{1 - ln x}{x ^{2}}

softmax 的雅可比矩阵就是用商法则推出来的（见练习 6）。

3.5 复合函数

交给下一章的链式法则。

4. 一元链式法则

4.1 公式

若 $y = f (u)$ ， $u = g (x)$ ，则

\frac{d y}{d x} = \frac{d y}{d u} \cdot \frac{d u}{d x} = f^{'} (g (x)) \cdot g^{'} (x)

口诀：外层导数 × 内层导数。

4.2 多层嵌套

\frac{d}{d x} f (g (h (x))) = f^{'} (g (h (x))) \cdot g^{'} (h (x)) \cdot h^{'} (x)

从外到内逐层乘。

4.3 例子

例 1 $\frac{d}{d x} ln (3 x)$

外层 $ln$ 的导数是 $\frac{1}{内层}$ ，内层 $3 x$ 导数是 3：

\frac{1}{3 x} \cdot 3 = \frac{1}{x}

例 2 $\frac{d}{d x} e^{2 x}$

外层 $e^{u}$ 的导数是 $e^{u}$ ，内层 $2 x$ 导数是 2：

e^{2 x} \cdot 2 = 2 e^{2 x}

例 3 $\frac{d}{d x} (x^{2} + 1)^{3}$

外层 $u^{3}$ 的导数是 $3 u^{2}$ ，内层 $x^{2} + 1$ 导数是 $2 x$ ：

3 (x^{2} + 1)^{2} \cdot 2 x = 6 x (x^{2} + 1)^{2}

例 4 $\frac{d}{d x} ln (σ (x))$ ，其中 $σ (x) = \frac{1}{1 + e ^{- x}}$

\frac{1}{σ ( x )} \cdot σ^{'} (x)

而 $σ^{'} (x) = σ (x) (1 - σ (x))$ ，所以结果为 $1 - σ (x)$ 。这个结果在 logistic 回归中常见。

4.4 链式法则的本质

链式法则是变化率的传递： $x$ 变一点 → $u$ 变 $g^{'} (x)$ 倍 → $y$ 再变 $f^{'} (u)$ 倍 → 总变化率是乘积。

反向传播就是链式法则在计算图上的系统应用：每个节点把自己收到的上游梯度乘上本地导数，再传给下游。

5. 偏导数

5.1 定义

多元函数 $f (x_{1}, \dots, x_{n})$ 对 $x_{i}$ 的偏导数：只让 $x_{i}$ 变，其余变量全部当常数，此时的变化率。

\frac{\partial f}{\partial x _{i}} = h \to 0 lim \frac{f ( \dots , x _{i} + h , \dots ) - f ( \dots , x _{i} , \dots )}{h}

核心口诀：求谁谁动，其余冻住。

5.2 例子

例 1 $f (x, y) = x^{2} + 3 x y + y^{2}$

$\frac{\partial f}{\partial x} = 2 x + 3 y$ （ $y$ 当常数， $y^{2}$ 导数为 0）
$\frac{\partial f}{\partial y} = 3 x + 2 y$ （ $x$ 当常数， $x^{2}$ 导数为 0）

例 2 $f (x, y) = e^{x y}$

$\frac{\partial f}{\partial x} = e^{x y} \cdot y$ （对 $x$ 求导， $y$ 是常数系数）
$\frac{\partial f}{\partial y} = e^{x y} \cdot x$

例 3 $f (x, y) = ln (x^{2} + y^{2})$

$\frac{\partial f}{\partial x} = \frac{2 x}{x ^{2} + y ^{2}}$

5.3 高阶偏导

\frac{\partial ^{2} f}{\partial x ^{2}}, \frac{\partial ^{2} f}{\partial x \partial y}, \frac{\partial ^{2} f}{\partial y \partial x}

若二阶偏导连续，则 $\frac{\partial ^{2} f}{\partial x \partial y} = \frac{\partial ^{2} f}{\partial y \partial x}$ （混合偏导可交换顺序）。

5.4 梯度

所有一阶偏导组成的向量：

\nabla f = (\frac{\partial f}{\partial x _{1}}, \dots, \frac{\partial f}{\partial x _{n}})

梯度指向函数增长最快的方向。梯度下降就是沿 $- \nabla f$ 走。

6. 多元链式法则（核心）

这一章是交叉熵推导的真正瓶颈。核心只有一句：把每一条影响路径的局部导数相乘，再把所有路径相加。

6.1 形式 1：一个自变量，经多个中间变量影响输出

设 $L = f (u_{1}, \dots, u_{K})$ ，每个 $u_{i} = g_{i} (x)$ 都只依赖同一个 $x$ 。则

\frac{d L}{d x} = i = 1 \sum K \frac{\partial f}{\partial u _{i}} \cdot \frac{d u _{i}}{d x}

为什么求和： $x$ 变一点，会通过 $u_{1}, \dots, u_{K}$ 每一条路径影响 $L$ ；总变化率 = 各路径贡献之和。

例： $L = u_{1}^{2} + u_{2}$ ， $u_{1} = x$ ， $u_{2} = x^{2}$ 。

路径 1： $\frac{\partial L}{\partial u _{1}} \cdot \frac{d u _{1}}{d x} = 2 u_{1} \cdot 1 = 2 x$
路径 2： $\frac{\partial L}{\partial u _{2}} \cdot \frac{d u _{2}}{d x} = 1 \cdot 2 x = 2 x$
合计： $\frac{d L}{d x} = 2 x + 2 x = 4 x$

验证： $L = x^{2} + x^{2} = 2 x^{2}$ ， $\frac{d L}{d x} = 4 x$ ✓

6.2 形式 2：多个自变量，各自经多个中间变量

设 $L = f (y^_{1}, \dots, y^_{K})$ ，每个 $y^_{i} = g_{i} (z_{1}, \dots, z_{K})$ 。对某个 $z_{j}$ ：

\frac{\partial L}{\partial z _{j}} = i = 1 \sum K \frac{\partial L}{\partial y ^ _{i}} \cdot \frac{\partial y ^ _{i}}{\partial z _{j}}

为什么是 $\sum_{i = 1}^{K}$ ： $z_{j}$ 可能通过全部 $K$ 个中间变量 $y^_{i}$ 影响 $L$ （如 softmax 中 $z_{j}$ 出现在分母，影响所有 $y^_{i}$ ）。每条路径的局部导数乘积相加。

例（softmax 前的简化版，即交叉熵）：设 $L = - \sum_{i} y_{i} lo g y^_{i}$ ，其中 $y$ 是 one-hot 标签向量—— $y_{c} = 1$ 、其余为 0，所以该式退化成 $L = - lo g y^_{c}$ 。

softmax 输出为 $y^_{i} = \frac{e ^{z_{i}}}{S}$ ， $S = \sum_{k} e^{z_{k}}$ 。

$\frac{\partial L}{\partial y ^ _{i}} = - \frac{y _{i}}{y ^ _{i}}$ （ $i \neq = c$ 时 $y_{i} = 0$ ，偏导也为 0）
$\frac{\partial y ^ _{i}}{\partial z _{j}} = y^_{i} (δ_{ij} - y^_{j})$ （由第 3 节商法则可推， $δ_{ij}$ 见下）
代入求和： $\frac{\partial L}{\partial z _{j}} = \sum_{i} (- \frac{y _{i}}{y ^ _{i}}) y^_{i} (δ_{ij} - y^_{j}) = - y_{j} + y^_{j} \sum_{i} y_{i} = y^_{j} - y_{j}$ （最后一步用 $\sum_{i} y_{i} = 1$ ）

其中 $δ_{ij}$ 是克罗内克 δ（Kronecker delta）。它本身不是变量，只是把「 $i = j$ 才成立的那一项」写进同一个式子的记号，等价于单位矩阵的第 $(i, j)$ 个元素：

δ_{ij} = {1, 0, i = j i \neq = j

为什么分子求导会产生它： $e^{z_{i}}$ 只在 $i = j$ 时对 $z_{j}$ 敏感，两个分支写成一个乘积就是

\frac{\partial e ^{z_{i}}}{\partial z _{j}} = δ_{ij} e^{z_{i}}

分母则不分情况—— $S = \sum_{k} e^{z_{k}}$ 里始终有 $z_{j}$ 那一项，所以 $\frac{\partial S}{\partial z _{j}} = e^{z_{j}}$ 恒成立。代进商法则：

\frac{\partial y ^ _{i}}{\partial z _{j}} = \frac{δ _{ij} e ^{z_{i}} S - e ^{z_{i}} e ^{z_{j}}}{S ^{2}} = δ_{ij} \frac{e ^{z_{i}}}{S} - \frac{e ^{z_{i}}}{S} \cdot \frac{e ^{z_{j}}}{S} = y^_{i} (δ_{ij} - y^_{j})

拆开看： $i = j$ 时是 $y^_{j} (1 - y^_{j}) > 0$ ， $i \neq = j$ 时是 $- y^_{i} y^_{j} < 0$ ；而这一行所有项加起来为 0（因 $\sum_{i} y^_{i} = 1$ ），说明抬高某个 logit 只是把概率重新分配，总和不变。

另一个常用性质是筛选： $\sum_{i} a_{i} δ_{ij} = a_{j}$ ——求和时 δ 只把 $i = j$ 那一项留下，其余全归零。练习 7 最后一步消掉求和用的就是它。

6.3 一般形式

若 $L = f (u_{1}, \dots, u_{m})$ ，每个 $u_{i} = g_{i} (x_{1}, \dots, x_{n})$ ，则

\frac{\partial L}{\partial x _{j}} = i = 1 \sum m \frac{\partial L}{\partial u _{i}} \cdot \frac{\partial u _{i}}{\partial x _{j}}

这是最一般的多元链式法则。形式 1、2 都是它的特例。

6.4 一元 vs 多元对比

	一元链式	多元（形式 1）	多元（形式 2）
式子	$f^{'} (g) g^{'}$	$\sum_{i} \frac{\partial f}{\partial u _{i}} \frac{d u _{i}}{d x}$	$\sum_{i} \frac{\partial L}{\partial y ^ _{i}} \frac{\partial y ^ _{i}}{\partial z _{j}}$
求和	无	有	有
原因	只有一条路径	$x$ 经多个 $u_{i}$ 影响 $L$	$z_{j}$ 经多个 $y^_{i}$ 影响 $L$

7. 全微分视角

如果只记一句话：多元链式法则里的求和不是技巧，是全微分公式的必然结果。

7.1 全微分公式

若 $L = f (u_{1}, \dots, u_{K})$ ，则

d L = i = 1 \sum K \frac{\partial L}{\partial u _{i}} d u_{i}

含义是「 $L$ 的微小变化 = 各变量微小变化按偏导加权求和」。求和是全微分公式自带的，因为 $L$ 依赖 $K$ 个变量，任何一个变了 $L$ 都变。

7.2 用它推多元链式法则

设 $u_{i} = g_{i} (x_{1}, \dots, x_{n})$ ，则

d u_{i} = j = 1 \sum n \frac{\partial u _{i}}{\partial x _{j}} d x_{j}

代入全微分：

d L = i = 1 \sum K j = 1 \sum n \frac{\partial L}{\partial u _{i}} \frac{\partial u _{i}}{\partial x _{j}} d x_{j}

取 $d x_{j}$ 的系数（其他 $d x$ 视为 0）：

\frac{\partial L}{\partial x _{j}} = i = 1 \sum K \frac{\partial L}{\partial u _{i}} \frac{\partial u _{i}}{\partial x _{j}}

7.3 反例：漏项会错

设 $L = u_{1} + u_{2}$ ， $u_{1} = x_{1} x_{2}$ ， $u_{2} = x_{2}^{2}$ ，求 $\partial L / \partial x_{2}$ 。

做法	结果	结论
正确（遍历全部路径）	$1 \cdot x_{1} + 1 \cdot 2 x_{2} = x_{1} + 2 x_{2}$	与直接验证一致
直接展开验证	$L = x_{1} x_{2} + x_{2}^{2}$ ，对 $x_{2}$ 求导 $= x_{1} + 2 x_{2}$	✓
只算 $i = 2$	$2 x_{2}$	错（漏了 $x_{2}$ 经 $u_{1}$ 的路径）

易错：只对「显式出现」的那一项求导，是多元链式最常见的翻车点。动手前先画依赖图，数清 $z_{j}$ 到 $L$ 有几条路径。

8. 矩阵 / 向量求导入门

8.1 梯度与雅可比

类型	形式
标量对向量	$L$ 是标量， $z = (z_{1}, \dots, z_{n})$ ，则 $\frac{\partial L}{\partial z}$ 是梯度向量，分量为 $\partial L / \partial z_{j}$
向量对向量	$y^= (y^_{1}, \dots, y^_{K})$ ， $z = (z_{1}, \dots, z_{K})$ ，则 $\frac{\partial y ^}{\partial z}$ 是雅可比矩阵 $J$ ， $J_{ij} = \frac{\partial y ^ _{i}}{\partial z _{j}}$

8.2 链式法则的矩阵形式

\frac{\partial L}{\partial z} = \frac{\partial L}{\partial y ^} \cdot J

即「梯度行向量 × 雅可比矩阵」。矩阵乘法的第 $j$ 个分量天然是 $\sum_{i} (\partial L / \partial y^_{i}) J_{ij}$ ，与多元链式法则完全一致。

一句话：求和 = 矩阵乘法内积。所谓「多元链式法则」，写成矩阵就是这个乘法。

8.3 常用矩阵求导公式

表达式	对 $x$ 的导数
$a^{T} x$	$a^{T}$
$x^{T} A x$	$x^{T} (A + A^{T})$ （ $A$ 对称时为 $2 x^{T} A$ ）
$∥ x ∥^{2} = x^{T} x$	$2 x^{T}$
$A x$	$A$
$ln (σ (x))$	逐元素；标量情形为 $1 - σ (x)$

注意：分子布局 / 分母布局约定不同会导致转置差异。本文统一用「梯度为行向量」的分子布局，读其他资料时先确认对方用的是哪一套。

9. 常用技巧与易错点

9.1 对数求导法

对 $y = f (x)^{g (x)}$ 这类「幂指函数」，先取对数再求导：

ln y = g (x) ln f (x) ⟹ \frac{y ^{'}}{y} = g^{'} ln f + g \frac{f ^{'}}{f} ⟹ y^{'} = y (g^{'} ln f + g \frac{f ^{'}}{f})

例： $y = x^{x}$ ， $ln y = x ln x$ ， $\frac{y ^{'}}{y} = ln x + 1$ ，故 $y^{'} = x^{x} (ln x + 1)$ 。

9.2 隐函数求导

$F (x, y) = 0$ 时，两边对 $x$ 求导（ $y$ 视为 $x$ 的函数，用链式法则），再解出 $y^{'}$ 。

例： $x^{2} + y^{2} = 1$ ， $2 x + 2 y y^{'} = 0$ ，故 $y^{'} = - \frac{x}{y}$ 。

9.3 易错点清单

易错点	正确做法
丢负号	$(- ln x)^{'} = - 1/ x$ ，负号来自系数
商法则分子顺序	$(u^{'} v - u v^{'}) / v^{2}$ ，减号前后不能反
链式法则漏内层	$ln (3 x)$ 的导数是 $1/ x$ 而不是 $1/ (3 x)$ ，内层的 3 必须乘
偏导时没冻住其他变量	求 $\partial / \partial x$ 时 $y$ 当常数， $y^{2}$ 的导数为 0
多元链式漏求和	$z_{j}$ 经 $K$ 个中间变量影响 $L$ ，必须 $\sum_{i = 1}^{K}$
提前代入 one-hot	求和化简前保留 $y_{i}$ 符号，最后再用 $\sum y_{i} = 1$
$e^{z}$ 求导	等于自身 $e^{z}$ ；链式时再乘内层导数

9.4 求导流程建议

步骤	动作
1	识别结构：基本函数、和差、乘积、商，还是复合？
2	套对应规则；复合函数从外到内逐层
3	偏导时明确「谁动谁冻」
4	多元链式先画依赖关系图，确认有几条路径，决定求和范围
5	化简，并用特殊值（如代入 $x = 1$ ）或量纲检查

10. 练习题与答案

建议先遮住答案独立手推。第 6–8 题是深度学习梯度的主干，务必推熟到能默写。

练习 1（基本公式 + 链式）

求 $\frac{d}{d x} ln (3 x^{2} + 1)$ 。

答案：外层 $ln$ 的导数为 $\frac{1}{内层}$ ，内层 $3 x^{2} + 1$ 的导数为 $6 x$ ：

\frac{6 x}{3 x ^{2} + 1}

练习 2（商法则）

求 $\frac{d}{d x} \frac{e ^{x}}{x}$ 。

答案：

\frac{e ^{x} \cdot x - e ^{x} \cdot 1}{x ^{2}} = \frac{e ^{x} ( x - 1 )}{x ^{2}}

练习 3（乘积 + 链式）

求 $\frac{d}{d x} x^{2} e^{3 x}$ 。

答案：乘积法则 + 链式：

2 x e^{3 x} + x^{2} \cdot 3 e^{3 x} = e^{3 x} (2 x + 3 x^{2})

练习 4（偏导）

$f (x, y) = x^{2} y + e^{x y}$ ，求 $\frac{\partial f}{\partial x}$ 、 $\frac{\partial f}{\partial y}$ 。

答案：

$\frac{\partial f}{\partial x} = 2 x y + e^{x y} \cdot y$
$\frac{\partial f}{\partial y} = x^{2} + e^{x y} \cdot x$

练习 5（多元链式，形式 1）

$L = u_{1}^{2} + u_{2}$ ， $u_{1} = x$ ， $u_{2} = x^{2}$ ，求 $\frac{d L}{d x}$ 。

答案：

\frac{d L}{d x} = \frac{\partial L}{\partial u _{1}} \frac{d u _{1}}{d x} + \frac{\partial L}{\partial u _{2}} \frac{d u _{2}}{d x} = 2 u_{1} \cdot 1 + 1 \cdot 2 x = 2 x + 2 x = 4 x

验证： $L = 2 x^{2}$ ，导数 $4 x$ ✓

练习 6（多元链式，形式 2：softmax 雅可比）

设 $y^_{i} = \frac{e ^{z_{i}}}{S}$ ， $S = \sum_{k} e^{z_{k}}$ 。求 $\frac{\partial y ^ _{i}}{\partial z _{j}}$ ，分 $i = j$ 与 $i \neq = j$ 两种情形。

答案：

$i = j$ （商法则；分子含 $z_{i}$ ，分母也含 $z_{i}$ ）：

\frac{e ^{z_{i}} S - e ^{z_{i}} e ^{z_{i}}}{S ^{2}} = \frac{e ^{z_{i}}}{S} \cdot \frac{S - e ^{z_{i}}}{S} = y^_{i} (1 - y^_{i})

$i \neq = j$ （分子 $e^{z_{i}}$ 对 $z_{j}$ 是常数，导数为 0；仅分母含 $z_{j}$ ）：

\frac{0 \cdot S - e ^{z_{i}} e ^{z_{j}}}{S ^{2}} = - \frac{e ^{z_{i}}}{S} \cdot \frac{e ^{z_{j}}}{S} = - y^_{i} y^_{j}

合并：

\frac{\partial y ^ _{i}}{\partial z _{j}} = y^_{i} (δ_{ij} - y^_{j})

练习 7（综合：交叉熵梯度）

$L = - \sum_{i} y_{i} lo g y^_{i}$ ， $y$ 为 one-hot， $y^_{i}$ 如上。求 $\frac{\partial L}{\partial z _{j}}$ 。

答案：

\frac{\partial L}{\partial z _{j}} = i \sum (- \frac{y _{i}}{y ^ _{i}}) \cdot y^_{i} (δ_{ij} - y^_{j}) = - i \sum y_{i} δ_{ij} + i \sum y_{i} y^_{j} = - y_{j} + y^_{j}

中间两步： $- \sum_{i} y_{i} δ_{ij} = - y_{j}$ 用的是 δ 的筛选性质（只有 $i = j$ 那项留下）； $\sum_{i} y_{i} y^_{j} = y^_{j} \sum_{i} y_{i} = y^_{j}$ 用的是 one-hot 的 $\sum_{i} y_{i} = 1$ 。

即

\frac{\partial L}{\partial z _{j}} = y^_{j} - y_{j}

练习 8（挑战：sigmoid + BCE）

$σ (z) = \frac{1}{1 + e ^{- z}}$ ， $L = - [y lo g σ (z) + (1 - y) lo g (1 - σ (z))]$ 。求 $\frac{d L}{d z}$ 。

答案：先证 $σ^{'} (z) = σ (z) (1 - σ (z))$ （商法则，或写成 $(1 + e^{- z})^{- 1}$ 用链式）。

\frac{d L}{d z} = - [\frac{y}{σ} σ^{'} - \frac{1 - y}{1 - σ} σ^{'}] = - σ^{'} [\frac{y}{σ} - \frac{1 - y}{1 - σ}]

代入 $σ^{'} = σ (1 - σ)$ 并化简：

= - σ (1 - σ) \cdot \frac{y ( 1 - σ ) - ( 1 - y ) σ}{σ ( 1 - σ )} = - [y - y σ - σ + y σ] = - (y - σ) = σ (z) - y

即 $\frac{d L}{d z} = σ (z) - y$ ，与 softmax 情形形式一致。

11. 速查表

11.1 基本导数

常数 C          → 0
x               → 1
x^n             → n·x^(n-1)
1/x             → -1/x^2
√x              → 1/(2√x)
e^x             → e^x
a^x             → a^x·ln a
ln x            → 1/x
log_a x         → 1/(x·ln a)
sin x           → cos x
cos x           → -sin x
tan x           → 1/cos^2 x
tanh x          → 1 - tanh^2 x
arcsin x        → 1/√(1-x^2)
arctan x        → 1/(1+x^2)

11.2 组合规则

常数倍     (C·f)' = C·f'
和差       (f±g)' = f'±g'
乘积       (fg)' = f'g + fg'
商         (f/g)' = (f'g - fg')/g^2
一元链式   f(g(x))' = f'(g(x))·g'(x)
多层链式   f(g(h(x)))' = f'(g(h(x)))·g'(h(x))·h'(x)

11.3 多元

偏导：求谁谁动，其余冻住

多元链式（形式 1）：
  dL/dx = Σ_i (∂L/∂u_i)·(du_i/dx)

多元链式（形式 2）：
  ∂L/∂z_j = Σ_i (∂L/∂ŷ_i)·(∂ŷ_i/∂z_j)

一般形式：
  ∂L/∂x_j = Σ_i (∂L/∂u_i)·(∂u_i/∂x_j)

全微分：
  dL = Σ_i (∂L/∂u_i)·du_i

矩阵形式：
  ∂L/∂z = (∂L/∂ŷ)·J

11.4 深度学习常用结果

sigmoid:  σ'(z) = σ(z)(1-σ(z))
softmax:  ∂ŷ_i/∂z_j = ŷ_i(δ_ij - ŷ_j)
BCE + sigmoid:  dL/dz = σ(z) - y
CE + softmax:   ∂L/∂z_j = ŷ_j - y_j
tanh:     tanh'(z) = 1 - tanh^2(z)
ReLU:     ReLU'(z) = 1 (z>0), 0 (z<0)

11.5 易错点自查

□ 负号：(-ln x)' = -1/x
□ 商法则分子顺序不能反
□ 链式法则别漏内层导数
□ 偏导时其他变量当常数
□ 多元链式别漏求和
□ 求和化简前别提前代入 one-hot

结论：本文档覆盖了从一元求导到多元链式法则、再到深度学习常用梯度的全部工具。练习 6–8 推熟之后，交叉熵、softmax、sigmoid、BCE 的梯度推导都不再是问题。