一、网络

二、激活函数 

激活函数：对隐藏变量使用按元素运算的非线性函数进行变换，作为下一个全连接层的输入。这个非线性函数被称为激活函数。

三、正则化

正则化：正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。

四、损失函数

五、网络模型优化算法