61题
深度学习中有什么加快收敛/下降练习难度的办法？
解析：
瓶颈结构
残差
学习率、步长、动量
优化办法
预练习
62题
请简略说下核算流图的前向和反向传达
解析：
63题
请写出链式规律并证明
解析：
链式规律或链锁定则（英语：chain rule），是求复合函数导数的一个规律。设f和g为两个关于x的可导函数，则复合函数
的导数
为
以下是一个简略的比方
以下的简略的一个证明
64题
请写出Batch Normalization的核算办法及其运用
解析：
机器学习流程简介
1）一次性设置（One time setup）
- 激活函数（Activation functions）
- 数据预处理（Data Preprocessing）
- 权重初始化（Weight Initialization）
- 正则化（Regularization：避免过拟合的一种技能）
- 梯度查看（Gradient checking）
2）动态练习（Training dynamics）
- 盯梢学习进程 （Babysitting the learning process）
- 参数更新 （Parameter updates)
- 超级参数优化（Hyperparameter optimization）
- 批量归一化（Batch Normalization简称BN，其间，Normalization是数据标准化或归一化、规范化，Batch能够理解为批量，加起来就是批量标准化。处理在练习进程中中间层数据散布发作改动的问题，以避免梯度消失或爆破、加快练习速度）
3）评价（Evaluation）
- 模型组合（Model ensembles）
(练习多个独立的模型，测验时，取这些模型成果的平均值)
为什么输入数据需求归一化（Normalized Data），或者说，归一化后有什么优点呢？
原因在于神经网络学习进程实质就是为了学习数据散布，一旦练习数据与测验数据的散布不同，那么网络的泛化才能也大大下降，所以需求运用输入数据归一化办法，使练习数据与测验数据的散布相同。
别的一方面，加之神经网络练习时一旦网络某一层的输入数据的散布发作改动，那么这一层网络就需求去习惯学习这个新的数据散布，所以假设练习进程中，练习数据的散布一直在发作改变，那么将会影响网络的练习速度。
为了让练习深度网络简略高效，研究者提出了随机梯度下降法（SGD），可是它有个缺点，就是需求咱们人为的去挑选参数，比方学习率、参数初始化、权重衰减系数、Drop out份额等。这些参数的挑选对练习成果至关重要，以至于咱们许多时刻都糟蹋在这些的调参上。
举个比方，比方某个神经元 x = 1, 某个 Weights 的初始值为 0.1, 这样后一层神经元核算成果就是 Wx 0.1 *1 = 0.1；
假设 x = 20, 这样 Wx = 0.1 * 20 = 2。现在还不能看出什么问题, 可是, 当咱们加上一层激励函数, 激活这个 Wx 值的时分, 问题就来了。
假设运用 像 tanh 的激励函数, Wx 的激活值就变成了 ~0.1 和 ~1, 挨近于 1 的部现已处在了 激励函数的饱满阶段, 也就是假设 x 不管再怎样扩展, tanh 激励函数输出值也仍是 挨近1。
换句话说, 神经网络在初始阶段现已不对那些比较大的 x 特征规模 灵敏了. 这样很糟糕, 幻想我轻轻拍自己的感觉和重重打自己的感觉竟然没什么不同, 这就证明我的感官体系失效了. 当然咱们是能够用之前说到的对数据做 normalization 预处理, 使得输入的 x 改变规模不会太大, 让输入值通过激励函数的灵敏部分. 但刚刚这个不灵敏问题不仅仅发作在神经网络的输入层, 并且在躲藏层中也常常会发作。
已然 x 换到了躲藏层傍边, 咱们能不能对躲藏层的输入成果进行像之前那样的normalization 处理呢? 答案是能够的, 由于大牛们发明晰一种技能, 叫做 batch normalization, 正是处理这种状况。
Batch Normalization由Google提出在这篇论文中《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》提出。
与激活函数层、卷积层、全衔接层、池化层相同，BN(Batch Normalization)也归于网络的一层。
BN的实质原理：在网络的每一层输入的时分，又插入了一个归一化层，也就是先做一个归一化处理（归一化至：均值0、方差为1），然后再进入网络的下一层。不过归一化层可不像咱们幻想的那么简略，它是一个可学习、有参数（γ、β）的网络层。
归一化公式：
以下是Normalization进程（引证Google论文中的解说）：
输入：输入数据x1..xm（这些数据是预备进入激活函数的数据）
核算进程中能够看到,
1.求数据均值；
2.求数据方差；
3.数据进行标准化（个人认为称作正态化也能够）
4.练习参数γ，β
5.输出y通过γ与β的线性变换得到新的值
How to BN？
怎样学BN的参数就是经典的chain rule。
在正向传达的时分，通过可学习的γ与β参数求出新的散布值
在反向传达的时分，通过链式求导方法，批改γ与β以及相关权值
Why is BN？
由于BN确保每一层的输入散布安稳，这一点本身能够使得练习加快，并且另一方面它也能够协助削减梯度消失和梯度爆破的现象。
梯度消失
关于梯度消失，以sigmoid函数为比方，sigmoid函数使得输出在[0,1]之间。
事实上x到了必定巨细，通过sigmoid函数的输出规模就很小了，参阅下图
假设输入很大，其对应的斜率就很小，咱们知道，其斜率（梯度）在反向传达中是权值学习速率。所以就会呈现如下的问题
在深度网络中，假设网络的激活输出很大，其梯度就很小，学习速率就很慢。假定每层学习梯度都小于最大值0.25，网络有n层，由于链式求导的原因，第一层的梯度小于0.25的n次方，所以学习速率就慢，关于最终一层只需对本身求导1次，梯度就大，学习速率就快。
这会形成的影响是在一个很大的深度网络中，浅层根本不学习，权值改变小，后边几层一直在学习，成果就是，后边几层根本能够表明整个网络，失去了深度的含义。
梯度爆破
关于梯度爆破，依据链式求导法，第一层偏移量的梯度=激活层斜率1x权值1x激活层斜率2x…激活层斜率(n-1)x权值(n-1)x激活层斜率n。假设激活层斜率均为最大值0.25，一切层的权值为100，这样梯度就会指数添加。
65题
神经网络中会用到批量梯度下降（BGD）吗？为什么用随机梯度下降（SGD）?
解析：
1）一般不必BGD
2）a. BGD每次需求用到全量数据，核算量太大
b. 引进随机因素，即使堕入部分极小，梯度也可能不为0，这样就有时机跳出部分极小持续查找（能够作为跳出部分极小的一种方法，但也可能跳出大局最小。还有处理部分极小的方法：多组参数初始化、运用模拟退火技能）
