GPT-4参数过100万亿?OpenAI CEO辟谣:知道你急,但你先别急!
新智元报道
编辑:编辑部【新智元导读】关于ChatGPT的种种传闻和争议,正主亲自来回应了。
最近,借着ChatGPT的火爆,OpenAI身价大涨,估值一度达到290亿美元。
在2019年就给OpenAI投了10亿美元的「金主爸爸」微软,打算联合其他投资者再投100亿美元。
没错,OpenAI现在可是微软手中的「香饽饽」,微软的搜索引擎、办公软件Office、云计算平台Azure,个个都等着ChatGPT等AI工具的加持。
被微软当作大展宏图利器的OpenAI,现在已经聚焦了全世界的目光。
对此,OpenAI的CEO Sam Altman是怎样看的呢?
时下顶流:ChatGPT
对不起,这个问题我回答不了
大家最关心的问题,当然是ChatGPT整合进微软必应和Office的问题了。记者就此提问后,Altman眨了眨眼睛,回避了直接回答。
他的发言可是相当有意思——
「你是一个非常有经验的专业记者。你知道我不能对此发表评论。我知道你知道我不能对此发表评论。你知道我知道你知道[我]不能对此发表评论。既然生命很短暂,我们的时间都很宝贵,为什么要问这个问题呢?」
精彩地回避掉了问题焦点,还讲了一套段子精彩回怼,小编只能说,采访的语言艺术,被您拿捏了👍。
不过在随后的采访中,Altman也表示:虽然估值高达290亿美元,但其实现在OpenAI还未盈利。
的确,考虑到一天现在 ChatGPT每天都要烧掉10万美元 ,这件事并不令人惊讶。
阴阳一下谷歌 😏
ChatGPT诞生之后,因为一本正经地胡说八道,和所有语言模型都无法避免的训练数据「带毒」问题,被很多人所质疑。担心会引起声誉风险,这就是谷歌迟迟未能将自己手中的LaMDA等语言模型商业化的主要原因(至少,谷歌是这么声称的)。
据悉在谷歌内部,员工对此有不小的抱怨,质疑谷歌「起了个大早,赶了个晚集」。
挑事的主持人当然不会放过这个话题,她直接问Altman:「谷歌对员工解释,之所以没有推出ChatGPT类似产品,是因为GPT技术还不够完美,可能会损害公司声誉,你对此怎么看待呢?」
对此,Altman意味深长地一笑:「我希望等谷歌发布新产品的那一天,他们能记得自己说过的话。我就说这么多。」
细品一下他的表情
没有一句废话,深藏功与名,Altman,真有你的。
那么,对于谷歌的人工智能,Altman是如何评价的呢?
聪明如他,是这么回答的:「关于他们的新闻,我了解得不多,不太好进行评价……嗯,我认为他们是一家有能力的公司,他们有好的产品,但我对此确实一无所知。」
虽然这么说,但显然,Altman非常了解坊间关于「ChatGPT是谷歌搜索引擎终结者」的言论。
对此,他是这样评论的——
「在我看来,每当有人说『一项技术是某个巨头公司的终结者』时,这种言论通常都是错误的。可能人们忘了,谷歌也有反击的机会,他们拥有非常聪明、有能力的人才。」
「不过,搜索引擎确实会有一个变化,可能会在某个时刻到来。但在短期内,不会有太急剧的变化。我猜,在相当长的时间内,人们会以现有的方式继续使用谷歌。虽然谷歌发布了红色代码,但短期内不会有太大变化,我猜。」
教学系统大震动
去年12月,ChatGPT大红大紫之际,就有诸多学者和研究人员发出警告:ChatGPT很可能「杀死」大学论文。最近,纽约市教育局就正式对ChatGPT下了封杀令。对此,Altman表示:「我理解教育工作者的担忧。事实上,教育界目前发生的事情,也是其他行业未来变化的序章。」
「短期来说,我们会帮助教育工作者以及其他行业的从业者,为他们提供辨别人工智能生成内容的工具。但从长远来看,人工智能产生的影响终会质变,这是所有人都无法改变的。」
「我们现在已经身处一个新的世界,从现在开始,我们要辨别哪些文字内容由人工智能生成。但这也未尝不可。计算器的出现改变了数学的计算方式,但我们已经习惯它的存在,我们甚至可以在考试时使用计算器。」
「当然,ChatGPT等人工智能所带来的变化将会更加深远,不过,这种变化带来的好处也会是前所未有的。虽然老师们担心学生用ChatGPT作弊,但也有老师表示,ChatGPT是一个很好的私人家教。」
「我本人也在用它学习,体验之后我发现,通过和ChatGPT对话进行学习,趣味性要远超其他教学方式。比起从书本中学习,我更乐意让ChatGPT来教我。」
「这是个不断进化的世界,人是适应性的动物。面对变化,我们总能适应,总能利用环境让自己变得更好。」
ChatGPT爆火的原因
ChatGPT诞生以来,仅用了5天的时间,用户数就成功达百万,破了纪录。
在Altman看来,DALL·E之所以获得了如此多的关注,是因为它改变了大家对人工智能的认知。
「还在5-7年前,所有人都以为,人工智能的出现会将人类从体力劳动中解放出来。比如人工智能会代替人们在工厂工作,或替人们驾驶卡车,甚至还会做一些要求不高的认知工作。」
「而当人工智能发展到一定阶段,它可能会从事更高级别的认知劳动,比如写代码。而发展到最后一步,人工智能就会掌握人类的创造力。」
「而如今来看,人工智能的发展与人们曾经的预测可谓南辕北辙,相去甚远。」
「当然,我们也理解人们对ChatGPT爆火的疑惑。一个公司真正负责任的做法,不是一股脑地将产品推出,让人们手足无措。」
「我们需要循序渐进,让普通用户、平台机构和政策制定者尽快熟悉我们的产品,了解它的优势和短处。」
「这也是为什么,据我们的上一代产品GPT-3的推出,已经有两年半的时间了。人们对于ChatGPT各种各样的反馈也能让我反思,相较于GPT-3,哪些修改是不合适的。」
万众瞩目的GPT-4
2022年11月,AI分析师Alberto Romero的一篇专栏文章,一经推出便迅速「引爆」了整个AI科技圈。
文中,Romero援引了硅谷工程师Igor Baikov9月时的一条推文表示:
「OpenAI已经在训练GPT-4,并计划于12月-2月间发布。」
根据Romero的预测,OpenAI将下一代模型的重点更多地放在优化数据处理上,而不是参数大小上,因此GPT-4的规模很可能与GPT-3相似,而且训练成本更低。
除此之外,还有传言称,GPT-4的参数量高达100万亿,并且已经先进到「与人类无异」,甚至「通过了图灵测试」。
对于这些传闻,Altman哭笑不得:「过于荒谬,一派胡言,完全不知从何而来。」
「我知道网友们都想通过各种爆料先睹为快。我有的时候也会把这些『内部贴』当乐子看。但这些帖子传了足足六个月,我总在想『现在人都这么闲了吗?』」
「而且关于GPT-4的谣言越传越离谱,仿佛他们是故意把期待值拉到不该有的高度,然后等着被我们打脸似的。比如,一些网友甚至认为GPT-4会是真正的AGI(人工通用智能)。」
「对于这一切,我只能说,他们在会失望这件事上,是不会失望的。」
此外,在采访中,主持人也向Altman求证GPT-4发布的具体时间。Altman表示:我知道你急,但你先别急。
总有一天我们会发布的,只要我们确定它足够安全。目前来看,GPT-4的发布会比大家期待的要晚一些。
我理解大家急切的心情,但当我们真正发布时,人们一定会觉得,等待是值得的。
简单来说就是:别急,该来的总会来的。
谣言始末
事实上,这个谣言最初的来源,很可能就是OpenAI自己…… 2021年8月,Cerebras的CEO曾在wired的采访中透露:「我们从与OpenAI的交谈中得知,GPT-4将会有大约100万亿个参数」。 在当时,这很可能就是他们所相信的。但那是2021年,就机器学习研究而言,这基本上是很久以前的事了。而这一切的开始,还是要回到2020年那篇「Scaling Laws For Neural Language Models」论文中。来自OpenAI的研究团队发现,当增加模型规模超过多个数量级时,训练损失有可预见的减少:
- 为了优化模型的规模,参数量的扩展应该比数据集更快。确切地说,当模型大小增加8倍时,数据集只需要增加5倍。
- 在固定的算力下,训练大型模型的时间要比使用较小的模型并训练更长时间要好。
论文地址:https://arxiv.org/abs/2001.08361 于是,模型的规模也开始迅速膨胀。比如,GPT-3(175B)、Gopher(280B)、Megatron-Turing NLG(530B)。 但DeepMind发表于2022年的论文「Training Compute-Optimal Large Language Models」表明,实际上需要将训练集和模型以相等的比例缩放。因此,当模型的大小翻倍时,训练所需的token数量也应该翻倍。 为了验证这个结果,研究人员在大量的数据上训练出了Chinchilla——一个700亿参数,在1.4万亿token上训练的「小模型」。虽然它比GPT-3小2.5倍,但却用了几乎5倍的数据。 实践证明,Chinchilla不仅更好,而且较小的规模使推理更便宜,微调更容易。
论文地址:https://arxiv.org/abs/2203.15556 根据上述分析,也正如Sam Altman所言,GPT-4的规模极大概率会与GPT-3相差不多。 当然,我们也可以大胆地预测一下:
- GPT-4会在10倍的数据上进行优化训练
- 更大的上下文规模,让GPT-4可以进行更长时间的预测
最后,AGI何时出现?
AGI(Artificial General Intelligence)也是最近大火的概念。它何时会出现呢?
对此,Altman是这样回答的——
「当我们越接近AGI出现的节点,我就越难回答这个问题。在我看来,AGI的概念将比人们想象的要模糊得多,同时,它的出现是一个渐进的过程。」
「如果将AGI的发展看做一条上升的折线,我认为在短期内,折线斜率越低,即AGI的发展越低调,越有利于其长期发展,这也是对全社会最安全的一条发展路径。」「当然,AGI到达哪个阶段,才可以认定其技术上的成功?关于这点,人们会有巨大的分歧。」
参考资料: https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview https://smokingrobot.beehiiv.com https://www.youtube.com/watch?v=ebjkD1Om4uw&feature=youtu.be