总结 | 深度学习实践杂谈
点击左上方蓝字关注我们
熟悉数据
算法选型
在指标上太钻牛角尖。有些算法工程师遇到指标在自己数据集效果不太好的情况时，立马换别的算法，或者立马换个backbone，或者立马换个loss去做实验。（需要认真分析为什么效果不好，是自己训练有问题，还是当前数据不太适合该算法，是评测指标不合理，还是评测指标实现有问题。） 不进行相关调研，直接上SOTA算法。这样做会有一些不太理想的问题，比如SOTA可能没有针对自己场景的数据做优化，比如当前任务是小目标居多（通过分析数据得到），虽然SOTA的mAP很高，但是small mAP比之前算法还低，那就要慎用 。比如SOTA用的是很重的网络，但是任务是速度快，或者速度与效果兼顾，那要慎用。
基于已有实现来优化算法
更方便深入的理解算法的具体细节，比如可能代码在文章没有提到的某些层上偷摸的加了一个shift操作，比如文章提到的一些trick代码根本没有实现，比如代码用了额外的数据训练但文章没有提到，比如文章描述的数据增强方式与代码的实现不一样等。（这些可能发生在开源复现者没有“一比一”复现论文的情况，也可能发生在论文作者自己没有实现的情况） 能快速掌握算法的基础性能，比如复现算法大概的运行速度（特别是文章没给出的时候）和达到的效果 不用自己做一些无用功。要知道重写和调试一份新的模型不仅费时费力，可能还因为文章没有写清楚一些细节，导致你几乎无法复现到相应的结果。
代码是否实现了文章一些涨点的trick，如果没有可以尝试 文章一般会分析实验结果，后面会有作者自己的一些观点，他们可能会说明为什么有些文章的算法效果较差 有些文章会写他们将来可能的工作，这也是一个改进思路。 需要可视化查看实验结果（特别是跑自己的数据集），结果可能与作者在公开数据集展示出的问题不一样，分析效果差的原因
从0复现算法
尽量测试每一个细节，从数据接口，模型，到loss输出，到最终的评测代码。保证每个部分都可控。 测试数据接口，从单进程，batch为1开始，方便打印数值进行对比。 不要随意的去随机，尽量保证问题可以复现比如先不要加入随机数据增强，模型的随机种子固定。 用少量的数据，这样可以快速的做实验，也可以让模型快速过拟合。模型能过拟合可以大概确定模型是可以学到点什么的。 尽量按照原文来复现，能复现前，先不要过多的添加自己独特的想法。比如训练参数，模型backbone，数据增强方式等等先按照文章来。不清楚的可以尝试email作者或者寻找相关圈子讨论。 日志打印全，比如解loss为nan的情况，需要知道是forward的导致还是bp导致。
一些或许有用的训练建议
保证数据是可靠的 有预训练模型最好用上 通常学习率参数小于1e-5基本没啥用了，比如cosine或者step操作，最后的学习率到1e-5就好了。当然特殊任务不一样 bn在训练时记得打开更新（特别是tf的小伙伴，容易漏），不然可能出现的问题是训练时loss下降很快，测试感觉模型就没收敛 sgd是很棒的，但是实验用adam或许收敛速度更好 如果想要很好的压榨出一个算法的性能，请先保证当前模型能到达相应的性能再去压榨。而不是盲目的换模块，疯狂调参，那样可能只是浪费时间。 不要太相信自己的调参技术，在没有一个较好的baseline情况下，调参不会有质的飞跃（除非是之前参数造成了某种bug） 数据小时，使用了预训练模型记得固定前几层的模型参数，还可以用小点的学习率 loss balance有时候很有用 重复训练可能可以提升点数，将一个模型训练好后，用训练好的模型做预训练模型载入，继续用同一套参数训练。有点像CyclicLR。 DL没有像机器学习有那么多公式支撑，很多都是make sense就做个实验来验证，所以尽量多阅读论文，看看别人的实验，这样就可以减少不必要的实验 这篇文章是为了分享自己的一些心得，希望读者能用得上，如果有严重错误还请告知，不想误导他人
END
评论