神经网络几何直观:在二维平面上画曲线
只回答一个问题:为什么两层线性分类器画不出曲线,而 ReLU 网络能。线性层把二维输入平放成十六维里的一个仿射平面,ReLU 按 z_i=0 的十六条直线切分输入平面并把像折出原平面,分类边界是输出层超平面在输入空间中的原像。附一维到二维的数值最小例、七个常见误区与维数账本。
阅读全文分类
7 篇文章
只回答一个问题:为什么两层线性分类器画不出曲线,而 ReLU 网络能。线性层把二维输入平放成十六维里的一个仿射平面,ReLU 按 z_i=0 的十六条直线切分输入平面并把像折出原平面,分类边界是输出层超平面在输入空间中的原像。附一维到二维的数值最小例、七个常见误区与维数账本。
阅读全文向量空间与线性映射两课合一的复习手册:从「向量是角色,不是长相」讲起,八条公理与判定流程、P₂ 与二阶矩阵两个标准例子、第一象限反例;再讲线性映射的定义、核与像、核判单射、矩阵作为坐标表示,末尾附作业参考答案与两课速查表。
阅读全文用两输入两隐藏一输出的最小网络把反向传播手算到底:δ 的定义与逐层递推、一组走到参数更新的完整数值例(附 PyTorch 对账),再把 Softmax+交叉熵、Sigmoid+BCE、ReLU+线性输出、Batch 四种组合各推一遍并横向对比。
阅读全文一份自包含的求导复习手册:导数定义与直观、五类基本公式表、组合规则与链式法则、偏导与多元链式(形式 1 / 形式 2 / 一般形式对照)、全微分视角、矩阵求导入门,最后用 8 道练习把 softmax 雅可比、交叉熵梯度、sigmoid + BCE 全部推一遍。
阅读全文从折叠与展开两种画法讲清 RNN 的三个权重矩阵、为什么参数必须沿时间共享,配 nn.RNN 与按公式手写的等价实现,以及变长 pack、梯度裁剪、别手动 softmax 三个实践要点。
阅读全文图像分类 | ILSVRC历届冠军网络 从AlexNet到SENet https://www.cnblogs.com/vincent1997/p/10901875.html 该文属于转载,由于时间久远,找不到初始作者了
阅读全文参考 1. Very Deep Convolutional Networks for Large Scale Image Recognition https://arxiv.org/abs/1409.1556 2. V
阅读全文