实操教程｜称霸Kaggle的十大深度学习技巧
2022-07-28 14:13:02
是什么法门让新手们正在短期内迅速职掌并能修建最先辈的DL算法？一位名叫塞缪尔的法邦粹员总结了十条阅历。
正在种种Kaggle竞赛的排行榜上，都有不少刚才进入深度进修周围的法式员，个中大局限有一个联合点：
这些免费、重实战的课程特殊驱使学生去列入Kaggle竞赛，查验自身的才智。当然，也向学生们教授了不少称霸Kaggle的深度进修技艺。
是什么法门让新手们正在短期内迅速职掌并能修建最先辈的DL算法？一位名叫塞缪尔（Samuel Lynn-Evans）的法邦粹员总结了十条阅历。
他这篇著作楬橥正在FloydHub官方博客上，由于除了来自Fast.ai的技艺之外，他还用了FloydHub的免创立深度进修GPU云平台。
每当Fast.ai团队及AI探求者涌现一篇乐趣论文时，会正在种种数据集前进行测试，并确定合意的调优举措。他们会把成果较好的模子告竣插手到这个函数库中，用户能够迅速载入这些模子。
于是，Fast.ai库成了一脾气能健旺的器械箱，可能迅速载入少许而今最新的算法告竣，如带重启的随机梯度降落算法、差分进修率和测试时加强等等，这里纷歧一提及了。
差分进修率（Differential Learning rates）意味着正在陶冶时变换搜集层比进步搜集深度更紧张。
基于已有模子来陶冶深度进修搜集，这是一种被验证过很牢靠的举措，能够正在筹算机视觉职分中获得更好的成果。
大局限已有搜集（如Resnet、VGG和Inception等）都是正在ImageNet数据集陶冶的，因而咱们要依据所用数据集与ImageNet图像的彷佛性，来适应转移搜集权重。
正在编削这些权重时，咱们一般要对模子的终末几层举办编削，由于这些层被用于检测基础特点（如边沿和轮廓），差别数据集有着差别基础特点。
创筑进修对象之后（learn object），通过迅速冻结前面搜集层并微调后面搜集层来治理题目：
当后面搜集层爆发了优良成果，咱们会运用差分进修率来转移前面搜集层。正在实践中，凡是将进修率的缩小倍数创立为10倍：
进修率是神经搜集陶冶中最紧张的超参数，没有之一，但之前正在实践运用中很难为神经搜集拔取最佳的进修率。
Leslie Smith的一篇周期性进修率论文涌现了谜底，这是一个相对不著名的涌现，直到它被Fast.ai课程扩充后才逐步被普遍运用。
正在这种举措中，咱们测验运用较低进修率来陶冶神经搜集，然而正在每个批次中以指数形态弥补，相应代码如下：
通过寻得进修率最高且Loss值仍鄙人降的值来确定最佳进修率。正在上述景况中，该值将为0.01。
正在采用批次随机梯度降落算法时，神经搜集该当越来越亲密Loss值的全部最小值。当它逐步亲密这个最小值时，进修率该当变得更小来使得模子不会超调且尽也许亲密这一点。
余弦退火（Cosine annealing）使用余弦函数来消浸进修率，进而治理这个题目，如下图所示：
从上图能够看出，跟着x的弥补，余弦值最初迂缓降落，然后加快降落，再次迂缓降落。这种降落形式能和进修率配合，以一种相称有用的筹算式样来爆发很好的成果。
咱们能够用Fast.ai库中的**learn.fit**函数，来迅速告竣这个算法，正在悉数周期中无间消浸进修率，如下图所示：
梯度降落算法能够通过乍然进步进修率，来“跳出”限度最小值并找到通向全部最小值的道途。这种式样称为带重启的随机梯度降落举措（stochastic gradient descent with restarts,SGDR），这个举措正在Loshchilov和Hutter的ICLR论文中出现出了很好的成果。
用Fast.ai库能够迅速导入SGDR算法。当挪用learn.fit(learning_rate, epochs)函数时，进修率正在每个周期初步时重置为参数输入时的初始值，然后像上面余弦退火局限描写的那样，逐步减小。
使用这些参数，和运用差分进修率，这些技艺是Fast.ai用户正在图像分类题目上赢得优良成果的枢纽。
正如fast.ai创始人Jeremy Howard指出，不少学术论文中也把Softmax函数用正在众分类题目中。正在DL进修进程中，我也看到它正在论文和博客中众次运用欠妥。
正如预陶冶好的模子正在筹算机视觉职分中很有用相通，已有探求证据，自然言语惩罚（NLP）模子也能够从这种举措中受益。
正在Fast.ai第4课中，Jeremy Howard用迁徙进修举措竖立了一个模子，来判决IMDB上的影戏评论是踊跃的依然颓丧的。
这种举措的成果立竿睹影，他所到达实在实率赶过了Salesforce论文中出现的全豹先前模子：
这个模子的枢纽正在于先陶冶模子来得到对言语的少许明了，然后再运用这种预陶冶好的模子动作新模子的一局限来剖判情感。
为了创筑第一个模子，咱们陶冶了一个轮回神经搜集（RNN）来预测文本序列中的下个单词，这称为言语筑模。当陶冶后搜集实在实率到达必定值，它对每个单词的编码形式就会通报给用于情绪剖判的新模子。
正在上面的例子中，咱们看到这个言语模子与另一个模子集成后用于情绪剖判，然而这种举措能够运用到其他任何NLP职分中，蕴涵翻译和数据提取。
况且，筹算机视觉中的少许技艺，也同样实用于此，如上面提到的冻结搜集层和运用差分进修率，正在这里也能赢得更好的成果。
Fast.ai课程中出现了深度进修正在惩罚机闭化数据上的越过体现，且无需借助特点工程以及周围内的特定学问。
正在这类职分上，古代做法是创筑虚拟变量，即举办一次热编码。与之比拟，这种式样的便宜是用四个数值代庖一个数值来描写每一天，因而可得到更高的数据维度和更雄厚的相闭。
这种举措正在Rossman Kaggle竞赛中得到第三名，惜败于两位使用专业学问来创筑很众特地特点的周围专家。
这种用深度进修来裁汰对特点工程依赖的思绪，也被Pinterest证据过。他也提到过，他们正悉力通过深度进修模子，愿望用更少的事务量来得到更好的成果。
4月30日，Fast.ai团队正在斯坦福大学举办的DAWNBench竞赛中，博得了基于Imagenet和CIFAR10的分类职分。正在Jeremy的夺冠总结中，他将这回凯旋归功于fast.ai库中的少许特地函数。
个中之一是Dropout层，由Geoffrey Hinton两年前正在一篇开创性的论文中提出。它最初很受接待，但正在近来的筹算机视觉论文中犹如有所渺视。这篇论文是：
Dropout函数能削弱过拟合效应，因而要正在CIFAR-10云云一个相对较小的数据集上取胜，这点很紧张。正在创筑learn对象时，Fast.ai库会主动插手dropout函数，同时可运用ps变量来编削参数，如下所示：
有一种很容易有用的举措，通常用来惩罚过拟合效应和进步确实性，它即是陶冶小尺寸图像，然后增大尺寸并再次陶冶肖似模子。
又有一种先辈技艺，可将确实率进步若干个百分点，它即是测试时加强（test time augmentation,TTA）。这里会为原始图像制轶群个差别版本，蕴涵差别区域裁剪和更改缩放水准等，并将它们输入到模子中；然后对众个版本举办筹算获得均匀输出，动作图像的最终输出分数，可挪用learn.TTA来运用该算法。
这种工夫很有用，由于原始图像显示的区域也许会缺乏少许紧张特点，正在模子中输入图像的众个版本并取均匀值，能治理上述题目。
正在DAWNBench竞赛中，Fast.ai团队提出的模子不光速率最疾，况且筹算本钱低。要领会，要修建凯旋的DL运用，不但是一个使用巨额GPU资源的筹算职分，而该当是一个需求创作力、直觉和立异力的题目。
本文中商量的少许冲破，蕴涵Dropout层、余弦退火和带重启的SGD举措等，实践上是探求者针对少许题目思到的差别治理式样。与容易地增大陶冶数据集比拟，能更好地晋升确实率。
硅谷的许众至公司有巨额GPU资源，然而，不要以为他们的先辈成果遥不行及，你也能靠立异力提出少许新思绪，来挑衅成果排行榜。
Samuel Lynn-Evans过去10年连续正在教诲性命科学课程，防卫到呆板进修正在科学探求中的重大潜力后，他初步正在巴黎42学校进修人工智能，思将NLP工夫运用到生物学和医常识题中。