2021 年各家大厂的 AI Lab 现状如何?
共 9557字,需浏览 20分钟
·
2021-08-25 13:21
点击下方“AI算法与图像处理”,一起进步!
重磅干货,第一时间送达
编辑:AI算法与图像处理
来源:知乎 https://www.zhihu.com/question/476541860
本文仅作为学术分享,如果有侵权,会删文处理
大家好,今天跟大家分享大家的 AI Lab 相关内容,关于各个大厂的 AI Lab 知乎上 有很多争议,部分人觉得吹的太过了,打着科研的名号,却没有什么拿得出手的成果;还有一些人觉得,这些大厂聚集了众多顶尖的人才,肯定是非常有实力的。
那么大厂内部究竟是咋样的,接下来分享一些大佬们的见解。
作者:悦涯
https://www.zhihu.com/question/476541860/answer/2075471056
多说一句,其实本人所在的组,不管是人员科研能力,工程能力,计算资源都处在比较高的水准,团队氛围上也比较纯粹,很少勾心斗角,甚至我主管本人相当有学术抱负,想做点真正能推动技术发展的工作。但正因为如此,我意识到这不是一个组或者一个大团队的问题,而是工业界很多AI研究院的结构性问题,不仅仅止于阿里。
坐标达摩院,校招入职一年内,跑路中,讲讲亲身体验。注:只针对达摩院deep learning算法相关,其他方向不了解也不妄加评论。
整个部门(P9及以下)的重心基本在业务/PR上,直白点说,要么你能提升业务场景的效果,比如搜推广,要么能做出“有影响力”的工作,这里的影响力不是以“多大程度推动技术发展”为评价指标的,而是以“能否向公众/上级吹牛逼”为标准。
分开来说,业务上就如同很多人讲的,像“高级外包”,给业务部门打工,甚至想完全挤掉原有业务部门,然后就要引发很多糟心事,比如业务部门不配合(来抢活的谁配合呀)。但是deep learning在业务上的应用(主要指搜推广)也已经推到瓶颈了,大家都在千分位上寻找提升,比如在CTR预估里,18年的DIN和21年的最新模型差距并不太大,更多的是比谁把数据处理干净了。以至于频繁出现一种怪相,既然场景提升不上去了,那我们可以来“改造场景”,把产品形态换一换,指标不就从新开始做了,又能水一年。以我的观察来看,很强的算法工程师和水平一般的算法工程师,做出来的东西差不了太多。也就是说,且不提搜推广业务本身没有产生那么大的普世价值,光业务本身就已经陷入瓶颈了。最近听到一个非常搞的说法,说是要做更可控,规则化的算法,换句话说就是在搜推广中加更多的硬规则,可能上面对DL的进展感到不耐烦了吧。
研究层面来讲,发论文主要靠实习生,正式员工基本不发论文,采取的模式是科研能力强的一些正式员工分出一部分精力和实习生合作,产出paper。在实习阶段我也在当前组搞了篇ICML,但给我的感觉是,他们更关注于你研究的东西能不能直接用于业务中,如果不能,就会劝你更靠向业务,说法就是“在阿里的大场景中验证业务价值”,但众所周知,一旦研究的东西过于业务导向,它的适用范围会很窄,且受到复杂的业务场景限制,像是“带着镣铐跳舞”。最后来讲讲PR,其实很多老板关心的不是你做的研究的质量,而是其中的“故事性”,能不能对外PR或者写在汇报PPT上,这很大程度也是因为科研成果其实是很难评价的,很多优秀研究都要拉长时间维度看,能在短期内产生更大声势的研究肯定更受追捧。
总结来看,达摩院处在一个非常尴尬的位置,说是要“顶天立地”,结果两端不沾,要做业务干脆就像字节一样拆入业务部门,要做研究就不要“自负盈亏”了。达摩院三周年大会的时候,特地强调了不会自负盈亏,要“养着”达摩院。是的,不会裁掉,只是绩效不好看罢了[狗头]。
但有一说一,其实现在各大厂的AI Lab现状是符合预期的,因为它们设立本身,是基于deep learning能带来“突破性的生产力”,能“快速地变现”,而不是基于远期的愿景。但实际上,最近几年,我们看到了DL的落地,但也似乎看到了DL的上限,不仅无法迈向通用人工智能,也没有展现出诱人的“业务想象力”。
不出意外,工业界搞研究会越来越艰难,但更悲观的是,在工业界搞DL的业务也会越来越艰难,同时也越来越卷,那一批17/18年追热点进来的博士甚至还没毕业呐[狗头]。至于把AI推向更多实体企业(比如制造业),也许要等到算法工程师没有那么高溢价的一天吧。我想也快了。
知易行难
https://www.zhihu.com/question/476541860/answer/2033630051
一句话,名存实亡。
阿里的达摩院自负盈亏,腾讯优图沦为内部算法外包,百度自从Andrew走后再也没有恢复元气,字节则干 脆直接把lab名字改成了业务中台。国内互联网大厂无一例外,纷纷挂羊头卖狗肉,所有的“实验室”几乎 全部做着业务上的脏活累活。不厌其烦的标数据加数据洗数据,然后雇几个实习生来回砍模型上tensorRT 再试试trick。昔日挂着各类fancy title的科(tiao)学(can)家(xia)们如今做着跟富士康中的工艺师没 什么区别的工作,无非是从研究手机边角到底该设多少度比较防摔变成研究这个weight decay到底该设大 点还是小点才能变的更好。同时国外AI lab也面临不小压力,但是好歹还是出了一些划时代的工作。这期间Google整出了 Transformer跟BERT,产生巨大学术impact的同时也优化了搜索和机翻体验。Deepmind从AlphaGo整到 了AlphaZero再到AlphaFold,每一次都是学术界海啸级的存在。虽然目前还是看不到商业上这些玩意能 有什么卵用,但是产生的PR效应也是难以估量的。相比之下FAIR这期间的大工作也许要逊色一些,但是学 术上在其子领域也有不少seminal work。PyTorch也基本已经坐稳第一深度学习框架。反差似乎大的有些夸张,但是这些也的确从侧面反映出了一些行业现实,sad but true。一直以来,我们 都习惯了追随者的身份,但是却从来不知道如何在未知中探索未来。最近新闻上最喜闻乐见就是某厂声称 要做中文的BERT,另一个厂又要做中文CLIP,还有的厂又要建立中国的Deepmind,但却鲜见土生土长的 中国企业里能做出来世界级的划时代工作。前一阵和朋友们聊起这个话题,大家最大的感触是国内其实不缺钱也不缺人,缺的是有远见的领导者,无 畏的决心和健全的AI工业体系。而国内业界现状,是从要求三五年立马盈利上市割韭菜的投资人,到只愿 意各个赛道里大批量生产incremental工作的paper machine教授们,最后再到一线对着屏幕夜以继日调参 烧香求涨点的调参侠,整个行业从上到下弥漫着一股焦虑且急功近利的气氛。从顶层设计开始,大家考虑 的问题都是两三年后是否有钱赚,有饭吃,于是无一例外地选择了小步快走的模式,把所属麾下所有研究 员化整为零,每个人负责一个小赛道,平均每人分几台服务器配几个实习生然后开始了作坊式的生产模 式。更让人绝望的还是国内的一些决策层,对于这种现象不以为耻,反以为荣。我面谈过的很多title为总监乃 至VP级的国内大厂负责人,其中大多喜欢吹嘘的东西无外乎我们今年又跟政府签了几个单,我们有什么流 量渠道,我们嫖的github代码加上内部数据整了个产品又赚了多少钱,我们的团队多牛逼今年又灌了多少 paper。对于Deepmind OpenAI这种模式,他们中的很多人都表示这种无法落地的企业不值一提,觉得无 非是资本的游戏和一时的泡沫。几乎没有人愿意为了长期收益组织力量冒哪怕稍微大一点的风险。我们手 握屠龙刀,却不再是当年踌躇满志的屠龙少年。
也许我们还需要时间去适应身份的转变,也许当下的量变终会产生质变。
希望一切都会好起来吧。
sen2020
https://www.zhihu.com/question/476541860/answer/2040437961
我说一下我打听到的情况吧。不匿了。我不是内部人士,消息都是道听途说,跟事实有偏差的话我不负责任。
MSRA:当年是中国工业界研究院的一哥,现在光环不再了。具体他们的KPI是啥,不了解。
百度是中国大厂里面最早搞研究院的。百度研究院曾经很大很强,项目很多。现在萎缩到很小的规模,一个方向只有几个研究员。KPI是发顶会论文,升职靠跟业务部门合作落地项目。管理很宽松,只发论文不做项目也没有压力。研究院有公司高层的支持,不用为钱发愁。
腾讯AI Lab有具体的科研方向,自由度没有百度大,科研和业务并重。具体业务我不太清楚。腾讯AI Lab挂在TEG部门下面,钱是公司给的,但TEG貌似是腾讯最穷的。
阿里达摩院是外包工厂,挂在阿里云下面,要自负盈亏。靠做项目赚钱。这种神奇的研究院在大厂中仅此一家。
京东AI Lab在京东科技下面,是京东子公司,以后要独立上市。名义上是Lab,实际跟业务部门差不多,都是落地业务,比如电商、物流。京东新成立的京东探索貌似更像研究院。
华为诺亚实验室跟腾讯、百度有些类似,都要发paper,也做一些业务相关的项目。实验室的开支由合作的业务部门分担。
字节的研究院太大了,除了AI Lab,还有Applied Machine Learning。我不怎么了解。
滴滴的研究院自从叶杰平老师那波人离职之后,好像没多少人了吧?
概括一下,如果你就只想做学术、发论文,最适合的地方是百度和华为。这两家是真正意义上的研究院,非常自由,业务压力很小。百度的人比华为的水平高一些,但是百度head count太少,大多数时间不招人。华为比较容易进,薪资待遇跟其他大厂差不多。
如果你想做技术,就别去研究院了,去个正儿八经的业务部门吧。现在比较适合算法工程师的有这些地方:
字节、百度、B站、小红书、京东、美团、阿里、腾讯的推、广、搜。(别去KS,股价滑坡太快,package会快速缩水)
菜鸟、京东的物流。
腾讯、网易的游戏(比如游戏AI)。
美团、滴滴的派单、定价、调度。
这些都是硬核的算法部门,不用担心失业,跳槽分分钟就能找到下家。
理查德帕克
https://www.zhihu.com/question/476541860/answer/2039314156
名存实亡,聊胜于无,内部戏称“高端外包”。
现状大家都有基本共识,就是AI和Lab这两个词基本上都不怎么当得起了,下面主要探讨为什么会这样?
首先,明确下,AI Lab的定义,顾名思义,以AI为研究方向的研究机构或者实验室,那么到底是基础性研究还是应用型研究?这两者有比较大的区别,如果是基础性研究,那就不能以短期的盈利作为实验室的目标或者kpi,如果是应用型研究,那落地盈利作为kpi就理所当然,或者兼而有之,短期不把盈利作为kpi,长期需要有盈利的能力或者潜力。我个人猜测国内的AI Lab建立的初衷多数是第三种,短期没有直接盈利kpi,但是过不了几年最终都会有。大公司成立这样的机构一般基于3点考虑:(1)正值AI大热的阶段,生怕错过什么领先的技术,导致本公司技术和产品的落后;(2)技术paper,专利之类的可以作为公司对外pr的凭证和资本,初创公司甚至用来融资;(3)万一真的做出了什么突破性的技术,那就有机会领先别人一步,技术和业务都能占得先机。
有高票答案比较国内和国外AI Lab的区别,事实上,国内的AI Lab基本上算是国外技术的跟随者,国内公司,无论是科研环境还是科研水平,都比不上国外,这个不光是AI技术有这样的问题,其他技术或者科研方向亦然,要不大家怎么说,美帝掌握核心科技呢?要想AI Lab做出成绩让公司继续愿意为你烧钱,需要2个因素,第一个就是需要有大牛坐镇,你看看FAIR,DeepMind里面都是些什么研究员?He kaiming,Ross Girshick,David Silver... 国内呢?你听说过几个在某个领域持续做出有影响力成果的科学家?多数也只能说比较优秀而已,出类拔萃和独当一面的研究人员其实很少。另外一个因素,即使有了这样的科研大牛,还需要公司为这些人在各个方面开绿灯,最重要的就是开放数据,这个恰恰是非常难的,我把数据给你研究,你不用承担业务压力,哪天搞出了个牛逼的算法,不就显得我很low逼,我怎么和上面的老板交代?与其这样,那还不如我自己招些牛逼的人做呢(阿里的核心推荐部门就招了很多清华的),更不要说什么数据安全之类的。所以我觉得,国外的AI Lab没有倒,是因为这些大牛确实厉害,总能在业界或者学术圈搞出些大动静,公司觉得这个钱花的值,再说美国目前在技术上也确实有话语权和主导权,更容易向外扩散影响力,facebook靠广告,但是我相信他们的广告部门也不大可能会把核心数据给FAIR做研究,同样,DeepMind已经因为盈利能力不行,烧钱太多和google董事会有过几次龃龉,他们还能存在,这帮大牛功不可没,国内呢?两头都得不着啊,没大牛坐镇,出不了有影响力的成果,再说关键业务部门还不给数据,你让我研究个寂寞?so......
然后简单探讨下公司应不应该把盈利作为AI Lab的kpi,我觉得也没啥毛病,我个人的体会,AI的基础性研究不是公司的义务,你能指望私人老板做科教兴国的事情?重要领域的基础性研究应该是国家层面的,国内公司也没必要成立这样的机构,90%的AI paper也没什么实际价值,与其目前这样不三不四,不如把这些部门的员工打散安排进主要的业务部门,比如搜索,推荐和广告,这样让他们既有稳定的研究方向和业务,又可以利用他们的技术优势帮助业务和产品盈利。至于那些进了AI Lab就想每天搞搞研究,不考虑实际业务最好钱还多的人,我觉得too naive了,凭啥人家承担着主要的业务和盈利的压力,地位确要比AI Lab低?从资本家的角度考虑,在明知搞出突破性成果概率不高的情况下,何必烧这个钱?换你你愿意吗?另外我自己也不觉得FAIR或者DeepMind能持续风光,哪天facebook业务不行了,你猜哪个部门先被裁?参考uber……
对于毕业生的建议,如果有志于research,读博留校或者出国,进工业界,最好去负责核心业务的算法部门,比如大厂的核心搜索推荐和广告部门,AI Lab类似没有自身业务的部门最好别去。目前AI的风口已过或者接近尾声,资本对AI的投资最终都需要落地和回报,cv的创业公司已经一片凋零,如果不是transformer强行续命一波,整个AI领域的去泡沫化会来的更快,nlp目前也没有什么本质的进展,未来几年也不大可能会,因为目前基于深度学习的learning模式本质上就是基于数据进行归纳和映射,离真正的intelligence还有很大差距,在这种情况下,选择具有核心业务的部门是一种更稳妥的就业选择。另外,外界有一些误区觉得业务部门的技术差,AI Lab技术先进,其实不然,很多公司核心部门算法技术一点不比AI Lab差,甚至更好,最先进的技术基本都从最复杂的业务场景中产生,这里的先进除了算法的创新,还包括执行的效率和产品的兼容等,说白了就是既能吹牛,又能落地,只不过人家的重点不放在吹牛上,大家可以看看阿里前几年核心推荐和广告部门的一些paper,无论是从解决的问题的复杂性,挑战性和算法的质量上,都已经超过了美国的互联网公司。再从实际就业的角度看,一个做了5年核心业务的工程师一定会比做了5年research,发了一些paper但是却没怎么做过核心业务的工程师的市场认可度更高,世界根本不需要那么多人做research,更没有那么多的research职位,做research的也只应该是少数一部分有志于此而且不把金钱追求放在首位的人。工业界招人看的先是方向对口,然后就是经验。很多人觉得我发了很多paper,证明了我自己的能力,我去做业务也能做好,逻辑虽然是不错的,但是未必尽然。如果你要招一位senior甚至staff(junior偏重基本技能,经验次之),2位候选人,都是5年左右经验,一位paper发了几篇,做的业务偏边缘,没有持续在某个对口的业务领域深度实践过,另外一位是核心业务算法人员,没什么paper,但是上线过不少模型且有实际的线上收益,前者虽然基础能力很不错,但经验不足,而且工资要求一定会比较高,来了也不能很快产出,另外一个来了就能产出,能把很多之前的技术立即用在业务上,如果我是团队leader,我愿意给第二位涨50%甚至double package,第一位我最多只会给他涨30%,在hc少的情况下,第一位甚至会被直接pass。
最后,还是那句话,技术做的好不好,主要还是看自己,选定了方向就该坚持,前提是,方向别选错。
花花
https://www.zhihu.com/question/476541860/answer/2033466285
核心矛盾:国内各大厂对AI Lab的定位不清晰
现状:定位不清,内外界压力大,夹缝中求生存,又要科研又要落地,处境尴尬
突然提这个问题,应该是看到字节跳动 李磊离开AI Lab 吧,那回顾一下:
字节AI Lab 马维英 离职
滴滴AI Lab 叶杰平 离职
腾讯AI Lab 张潼 离职
快手Y-Lab,号称要对标Deepmind,架构调整 → Y-Tech
回报越大,困难就越大,高投入的同时也是高风险,Deepmind,OpenAI 这样的模式在国内并不合适,大厂AI Lab开始的旗号大多是不做业务,只做基础研究和技术积累,但时间长了高层看不到烧钱带来的直接价值,落地压力,内外界多方压力,很容易就产生动摇。资本家追求的是金钱,科学家追求的是学术,组织架构调整,业务调整,离职,再正常不过了。
楼上说得好:
博二兔不得一兔
又要马儿跑又要马儿不吃草
匿名用户
https://www.zhihu.com/question/476541860/answer/2047887421
利益相关, 曾经在某一个AI Lab呆过过一年, 也和里面众多的Lab的人有过合作和讨论.
横看成岭侧成峰, 我想从我的角度谈谈为啥AI Lab的模式在国内为啥不太行, 我的视角是从底层来看, 比较偏ML. 不想谈太多氛围和形态上的问题. 望各位大佬轻喷, 大家仁者见仁, 可以在评论区补充.
个人感觉受业务较少的可能是TX AI Lab和MSRA. 在zhang 老师在的时候TX AI Lab基本上是属于零业务时期, 大家可以看一下那一段时间的AI Lab的产量, ICML, NIPS, ICLR以及CV和NLP的顶会都有很高的产出(特指paper), 其中还是有一些工作比较有影响力, 随便说一个比如OPT里面的Spider. zhang 老师走之后顶会文章产量急剧下降, Lab也开始有一些业务, 比如说王者和虚拟主播, 机器狗等等. MSRA每年基本上还是有稳定的顶会输出而且工作都有一定的质量. 其他的几个Lab因为合作的人比较少, 比较有影响的工作没太有印象, 评论区大佬可以帮忙补充.
其实我个人觉得research的自由度就早期而言, 我觉得这两个Lab和北美的Lab和Deepmind没有什么差别, 我觉得差别比较大的是领军人才的密度, 得罪大佬望轻喷. 从我和北美Lab和国内Lab的人交流来看, Deepmind和Google基本上在每个领域都请到了相对来说最好的人才, 以及一些青年学者. 从他们的交谈之中我可以感觉得到他们对AI research极大的motivation和热情, 还没太出名的青年学者也非常有自信, 相信自己以后能做出有影响力的paper. 反观国内的Lab, 大部分人明里暗里都在想一件事就是能不能发出来paper, 就是有些paper machine 积累了很多paper了, 但是在选题的时候还是受到能不能发paper这个唯一的指标影响. 大家在讨论的时候经常问的一个问题就是motivation活着novelty够不够这个会, 而不是考虑其他的东西. 在实习的PhD们大多都在讨论能不能发A类.
领军人才的密度和他们的motivation(方向)其实很大程度上决定了当前AI的方向和火爆程度. 有些楼主强调AI落地之难, 确实AI 落地是很难的. 但是当前AI算法和模型的迭代速度已经是非常快了, 相对于其他领域. 所以人才成了AI发展的主要因素之一!
在这种情况之下, 国内的paper大多是follow-up的工作. 在前两年讨论比较多的是, AlphaGO, 星际, BERT, AlphaFold等等. 在当时TX AI Lab有很多大佬一直都在follow 甚至想尝试复现再超越. 这些工作有些光复现就挺难了, 何谈要follow到别人想法, 甚至超越呢. 超出边界的任何一步都是极其困难的, 需要时间和经验. 也需要理论功底和写paper的手速. 就国内的学者而言, 客观的说还是和国外的差距挺大的, 我们AI的飞速发展可能也才刚刚完成28定律里面的8而且, 剩下的2才是真的拼刺刀和真功夫! 当然国内也有很不错的团队和方向, 比如之前zhang 老师的优化, Graph的在尝试制药, CV里面的生成等等. 但是像是新领域比如像是贝叶斯的Uncertainly, XAI, Privary等等关注的人就很少, 尽管这些工作都很难, 而且有些看起来没那么有前景. 北美Lab的人才的密度就像是在饱和式活力攻击, 未来AI的发展总能被命中到, 相对来说国内出现领军工作的概率就小很多了.
在之前那时候, 想着趁着这么高的自由度和国内的最高的人才密度(AI方向, 很多清北复交浙的PhD和海外归国的PhD导师), 诚然每一个Lab都是想做出有影响力的工作. 但是最后落实到人上一年两年三年, 差距就显现出来了, 最后就是大佬离职, 业务开始进场.
在做实事之上, 那就是PR, 盈利, 国内吸纳顶尖人才的能力, 以及公司高层对AI Lab长期以来的看法等等问题, 这些问题交错在一起最后形成了今天的这个局面. 但是对于当时在AI Lab的人以及来AI Lab掌舵的大佬们, 在那个时候的高层开出的条件和自由的科研环境是有机会打造出一个真正意义上的AI Lab的, 他们也做出了一定得努力, 可惜事与愿违了.
最后就像是其他楼主说的名存实亡, 但是却又挣扎着想做出好工作. 在压力之下业务不断袭来, 但是在业务领域搞了很久算法的大佬们, 又看不上这帮搞学术的业务能力.
个人微信(如果没有备注不拉群!) 请注明:地区+学校/企业+研究方向+昵称
下载1:何恺明顶会分享
在「AI算法与图像处理」公众号后台回复:何恺明,即可下载。总共有6份PDF,涉及 ResNet、Mask RCNN等经典工作的总结分析
下载2:终身受益的编程指南:Google编程风格指南
在「AI算法与图像处理」公众号后台回复:c++,即可下载。历经十年考验,最权威的编程规范!
下载3 CVPR2021 在「AI算法与图像处理」公众号后台回复:CVPR,即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文