最近2022届校招火热进行中,而大疆给应届生开到42k的薪资也刷屏了整个朋友圈。
今天在知乎上看到一个有趣的话题,想和大家一起讨论一下:
作为一名NLP算法工程师,这三个方向都搞过,按照自己的理解,分别来说一下NLP在这三个大方向分别能做啥:
搜索:Query理解(纠错、改写、分词、重要性、紧密度)、Doc理解(赋权、文本摘要、关键词抽取)、文本相关性(语义匹配模型)、倒流(搜索词生成)、知识图谱、精准问答、摘要飘红(阅读理解)广告:OCPX时代,广告主能操作的就只有创意和定向了,定向(行为兴趣定向,主要是通过理解内容来做可解释强的用户定向【讲内容标签通过牛顿冷却定理等打到用户身上】,据传大的广告平台,定向消耗一天能占1个亿),创意(标题生成、内容理解、程序化创意),内容审核(低俗广告不准投放),电销商机识别推荐:内容生态规整,通过NLP技术帮助对内容生态做规整(黄反识别、低俗识别、文本消重、标题党识别等),针对内容生态做治理,帮助建立更好的内容壁垒。某国内一线推荐大厂自诩能够机器写文章,可见文本生成在整个推荐领域也是有很强的应用背景的。如果从NLP对于整个系统的重要程度来看,NLP在搜索中是雪中送炭,而NLP针对广告和推荐叫做锦上添花。所以如果有NLP背景,从事推荐算法,那么就相当于是众望所归的一个选择。
目前CV和NLP岗的需求都已经严重过剩,想要进互联网大厂从事这两个岗位,更是难如登天!我认识的很多同学都已经放弃了算法岗从而转向开发。而根据美团2022届校招情况,需求量最大的算法岗也是推荐算法工程师,但门槛要求也高,不仅前沿的推荐算法要精通,还要会模型压缩,否则上线后不满足QPS;以及大数据Hadoop、Spark也要做到精通才行。
总结一句话就是:算法工程师要是没有工程能力,简直没法干活。
但是我想稍微明确一下,推荐算法相比于其他的算法岗,例如NLP,CV,对工程的涉及面更加广和深,除了提到的shell,HiveSQL,Spark,Git这些每个算法工程师都需要掌握的基本工程框架/组件。我认为推荐算法/系统工程师还需要掌握Online和Offline的数据流,召回,排序这几个阶段所涉及到的工程知识和代码能力。我给大家从职友集上查了一下推荐算法工程师的薪资,又与美团做推荐的同事们聊了一下,这个薪资非常客观,一般两年内都能达到这个薪资水平(普调+晋升):
最近有很多小伙伴在后台留言,希望我提供一些项目资料+Python。目前自学抓不到重点,又没有大厂实操项目傍身,在校招和社招面试中屡屡受挫。自己一番折腾下来,毫无头绪,学习效果自然是大打折扣。而网上很多教程也比较碎片。
而我一位朋友北大博士整理了一套资料。这是我目前见过最好的推荐项目产品。功能完整,代码结构清晰。值得推荐!!
通过对推荐系统架构的整体规划,深入了解推荐算法的整套原理,以项目实战案例贯穿,实现基于Hadoop的协同过滤和聚类,充分展示大数据中模型和Hadoop的结合。同时,在原有基础上横向与纵向深度剖析分类问题、离散特征、权重动态分配、模型融合,模型的评价,以及多路召回融合的实施,循序渐进的方式学习模型在实际工作中的使用优化,打破进阶屏障!(仅部分内容,20G+学习视频资料)
以及还整理几套大厂面试真题(含答案)+推荐架构论文,也分享给大家,供大家学习!!由于工作需要,这份教程我本人也在学习中,虽然已经从事开发这个行业多年,再学习这份资料的时候,仍可以查缺补漏,收获满满。我相信不管你是Python入门、大数据入门,还是已工作多年。这份学习资料,都值得你去认真学习研究。