算法岗平时需要自己写cuda吗？
共 3482字，需浏览 7分钟
·
2022-05-20 04:51
链接：https://www.zhihu.com/question/436008648 编辑：深度学习与计算机视觉 声明：仅做学术分享，侵删
工业界里面numba用的多吗，还是说工业界主要还是直接写cuda？
https://www.zhihu.com/question/436008648/answer/1683251210
真实的故事：我同事，再来英伟达前申请的G社，二轮电话面试被刷。原因是不能熟练的撸一个b树被刷。该同事的背景是当时德国某校Assistant Professor，出版两本CUDA和并行编程书，可以熟练撸PTX。当时人家还跟G社争吵说可以提供性能相当的二叉树CUDA实现，被拒绝并说不需要。
我只能说，前世界上95%的算法和码农岗位都不需要你能够GPU编程，刷好题比这些都重要。
评论圈有人说既然选了G社，就应该知道需要刷题，这属于准备不善。确实，我同事后来也是这么说的，当时根本就没有准备刷题，因为本身也没准备去做码农，抱着试试看的心理去了。
至于这类数据结构和算法轮子，大家千万不要认为用不到刷的题属于无用功。其实即便是用pytorch写炼丹算法还是要注意这些的。比如什么情况会造成新分配内存啊，何时内存会被copy啊，等等。轮子的基础越深，最后的车的舒适度，性能也越好，这是肯定的。
https://www.zhihu.com/question/436008648/answer/1649590705
而大部分自定义算子无论是tensorflow还是pytorch都可以通过现阶段丰富的基本算子库来workaround。
再不济就是利用动态图的性质由numpy、py_func等实现然后手动定义反向梯度函数。
这里相对更重要的反而是算法工程师定义反传的能力。虽然不是什么特别难的工作，但不少算法岗的同学可能也没仔细思考过最基础的矩阵乘法怎么定义grad，或者不清楚tensorflow或者pytorch的autograd机制而导致无从下手。
然后提到CUDA最大的关心点必然是性能。无论是速度还是显存都有可能通过CUDA开发来过得极大的提升，一般体现在访存效率、数据结构设计、算子融合等技巧上。事实上从个人经验来说，有时候自己实现的算子库跑模型很容易比native的tensorflow快两到三倍，如果是一些特殊情况，十几甚至极限情况上百倍也有可能。并且合理的设计比起生硬的用原生算子能够大大减少显存开销，这对于训练和推理都是有极大益处的。
https://www.zhihu.com/question/436008648/answer/1746022828
一般工作中用不到手撸cuda，但这位大神却时时刻刻在我们身边，每天在各种三方库中都能够见到，就是不大会直接去调用cuda函数。但是如果遇到性能瓶颈了，可能就得请cuda大神出场了。
比如，现在要优化模型推理性能，剪枝，蒸馏，量化一大通操作下来，模型纯推理时间由30ms降到15ms，性能翻倍，感觉不错，但是一看数据预处理，耗时10ms，模型后处理耗时15ms，算下来处理数据花的时间比我模型推理花的时间还要长。这时候，cuda大神就可以上场了，我们把预处理和后处理搬到cuda上，一测，预处理，后处理共5ms就搞定了。这时候，报告一写，模型推理时间55ms降低到20ms，领导看后一顿夸，心里美滋滋，升职加薪不是梦。
再比如，最近模型指标一直上不去，看着三年前的老模型，一脸嫌弃，感觉是时候拥抱新模型了。然后各种顶会，博客看下来，找到了个三个月前刚发表的新论文，华丽的辞藻，sota的指标让你按捺不住，想赶快把它用在自己的工程中，结果github上没找到开源代码。这时候，cuda大神又可以上场了，熬几个通宵，把论文中跳动的字符转换成cuda实现的美丽算子，然后模型一训，数据一测，指标提了3个点，老板看后又一顿夸，心里又美滋滋，升职加薪又不是梦。
cuda的作用很多，水也很深，一般做cv方向手撸cuda的机会还真不多，但是真的用上的时候，大概率是用来解决重大问题的时候。多了解了解，用的6确实可以算是自己很大的加分项。
https://www.zhihu.com/question/436008648/answer/1730191107
往期精彩：