Dropout 缓解过拟合

学习资料:

• 本节的全部代码
• Tensorflow 的 50行 Dropout 代码
• 我制作的 什么是过拟合 动画简介
• 我制作的 L1/L2 正规化 动画简介
• PyTorch 官网

要点¶

过拟合让人头疼, 明明训练时误差已经降得足够低, 可是测试的时候误差突然飙升. 这很有可能就是出现了过拟合现象. 强烈推荐通过这个动画的形式短时间了解什么是过拟合, 怎么解决过拟合. 下面动图就显示了我们成功缓解了过拟合现象.

做点数据¶

自己做一些伪数据, 用来模拟真实情况. 数据少, 才能凸显过拟合问题, 所以我们就做10个数据点.

搭建神经网络¶

我们在这里搭建两个神经网络, 一个没有 dropout, 一个有 dropout. 没有 dropout 的容易出现 过拟合, 那我们就命名为 net_overfitting, 另一个就是 net_dropped. torch.nn.Dropout(0.5) 这里的 0.5 指的是随机有 50% 的神经元会被关闭/丢弃.

训练¶

训练的时候, 这两个神经网络分开训练. 训练的环境都一样.

对比测试结果¶

在这个 for 循环里, 我们加上画测试图的部分. 注意在测试时, 要将网络改成 eval() 形式, 特别是 net_dropped, net_overfitting 改不改其实无所谓. 画好图再改回 train() 模式.

所以这也就是在我 github 代码 中的每一步的意义啦.