GPT-4参数过100万亿?OpenAI CEO辟谣:知道你急,但你先别急!

共 5685字,需浏览 12分钟

 ·

2023-01-20 21:56

6cbd163e408d8579602c7873786f571a.webp


   新智元报道  

编辑:编辑部
【新智元导读】关于ChatGPT的种种传闻和争议,正主亲自来回应了。

最近,借着ChatGPT的火爆,OpenAI身价大涨,估值一度达到290亿美元。

在2019年就给OpenAI投了10亿美元的「金主爸爸」微软,打算联合其他投资者再投100亿美元。

没错,OpenAI现在可是微软手中的「香饽饽」,微软的搜索引擎办公软件Office云计算平台Azure,个个都等着ChatGPT等AI工具的加持。

241fe98450da740e7fb3ec50145cbc0a.webp

被微软当作大展宏图利器的OpenAI,现在已经聚焦了全世界的目光。

对此,OpenAI的CEO Sam Altman是怎样看的呢?

时下顶流:ChatGPT

对不起,这个问题我回答不了

大家最关心的问题,当然是ChatGPT整合进微软必应和Office的问题了。

记者就此提问后,Altman眨了眨眼睛,回避了直接回答。

他的发言可是相当有意思——

「你是一个非常有经验的专业记者。你知道我不能对此发表评论。我知道你知道我不能对此发表评论。你知道我知道你知道[我]不能对此发表评论。既然生命很短暂,我们的时间都很宝贵,为什么要问这个问题呢?」

a503006f4ff2b2b0b701a28b47dc24a6.webp

精彩地回避掉了问题焦点,还讲了一套段子精彩回怼,小编只能说,采访的语言艺术,被您拿捏了👍。

不过在随后的采访中,Altman也表示:虽然估值高达290亿美元,但其实现在OpenAI还未盈利。

的确,考虑到一天现在 ChatGPT每天都要烧掉10万美元 ,这件事并不令人惊讶。

阴阳一下谷歌 😏

ChatGPT诞生之后,因为一本正经地胡说八道,和所有语言模型都无法避免的训练数据「带毒」问题,被很多人所质疑。

担心会引起声誉风险,这就是谷歌迟迟未能将自己手中的LaMDA等语言模型商业化的主要原因(至少,谷歌是这么声称的)。

bce4804c7767b6fec710ecee3fca134e.webp

据悉在谷歌内部,员工对此有不小的抱怨,质疑谷歌「起了个大早,赶了个晚集」。

挑事的主持人当然不会放过这个话题,她直接问Altman:「谷歌对员工解释,之所以没有推出ChatGPT类似产品,是因为GPT技术还不够完美,可能会损害公司声誉,你对此怎么看待呢?」

对此,Altman意味深长地一笑:「我希望等谷歌发布新产品的那一天,他们能记得自己说过的话。我就说这么多。」

04e9b81a88a1f6f8437c1c99e613d44a.webp细品一下他的表情

没有一句废话,深藏功与名,Altman,真有你的。

那么,对于谷歌的人工智能,Altman是如何评价的呢?

聪明如他,是这么回答的:「关于他们的新闻,我了解得不多,不太好进行评价……嗯,我认为他们是一家有能力的公司,他们有好的产品,但我对此确实一无所知。」

虽然这么说,但显然,Altman非常了解坊间关于「ChatGPT是谷歌搜索引擎终结者」的言论。

48d75ad40393f7a02ad6ae0893f55f02.webp

对此,他是这样评论的——

「在我看来,每当有人说『一项技术是某个巨头公司的终结者』时,这种言论通常都是错误的。可能人们忘了,谷歌也有反击的机会,他们拥有非常聪明、有能力的人才。」

「不过,搜索引擎确实会有一个变化,可能会在某个时刻到来。但在短期内,不会有太急剧的变化。我猜,在相当长的时间内,人们会以现有的方式继续使用谷歌。虽然谷歌发布了红色代码,但短期内不会有太大变化,我猜。」

教学系统大震动

去年12月,ChatGPT大红大紫之际,就有诸多学者和研究人员发出警告:ChatGPT很可能「杀死」大学论文。最近,纽约市教育局就正式对ChatGPT下了封杀令。  

对此,Altman表示:「我理解教育工作者的担忧。事实上,教育界目前发生的事情,也是其他行业未来变化的序章。」

3146159c37f882c24f6b148b09d1b55d.webp

「短期来说,我们会帮助教育工作者以及其他行业的从业者,为他们提供辨别人工智能生成内容的工具。但从长远来看,人工智能产生的影响终会质变,这是所有人都无法改变的。」

「我们现在已经身处一个新的世界,从现在开始,我们要辨别哪些文字内容由人工智能生成。但这也未尝不可。计算器的出现改变了数学的计算方式,但我们已经习惯它的存在,我们甚至可以在考试时使用计算器。」

「当然,ChatGPT等人工智能所带来的变化将会更加深远,不过,这种变化带来的好处也会是前所未有的。虽然老师们担心学生用ChatGPT作弊,但也有老师表示,ChatGPT是一个很好的私人家教。」

475259174c912337ab66b781d395757f.webp

「我本人也在用它学习,体验之后我发现,通过和ChatGPT对话进行学习,趣味性要远超其他教学方式。比起从书本中学习,我更乐意让ChatGPT来教我。」

「这是个不断进化的世界,人是适应性的动物。面对变化,我们总能适应,总能利用环境让自己变得更好。」

ChatGPT爆火的原因

ChatGPT诞生以来,仅用了5天的时间,用户数就成功达百万,破了纪录。

e5d7db8401809d29653c25ffb924acef.webp

在Altman看来,DALL·E之所以获得了如此多的关注,是因为它改变了大家对人工智能的认知。

「还在5-7年前,所有人都以为,人工智能的出现会将人类从体力劳动中解放出来。比如人工智能会代替人们在工厂工作,或替人们驾驶卡车,甚至还会做一些要求不高的认知工作。」

「而当人工智能发展到一定阶段,它可能会从事更高级别的认知劳动,比如写代码。而发展到最后一步,人工智能就会掌握人类的创造力。」

4364cf49294313f5e325d39d7d63f73a.webp

「而如今来看,人工智能的发展与人们曾经的预测可谓南辕北辙,相去甚远。」

「当然,我们也理解人们对ChatGPT爆火的疑惑。一个公司真正负责任的做法,不是一股脑地将产品推出,让人们手足无措。」

「我们需要循序渐进,让普通用户、平台机构和政策制定者尽快熟悉我们的产品,了解它的优势和短处。」

「这也是为什么,据我们的上一代产品GPT-3的推出,已经有两年半的时间了。人们对于ChatGPT各种各样的反馈也能让我反思,相较于GPT-3,哪些修改是不合适的。」

万众瞩目的GPT-4

2022年11月,AI分析师Alberto Romero的一篇专栏文章,一经推出便迅速「引爆」了整个AI科技圈。

文中,Romero援引了硅谷工程师Igor Baikov9月时的一条推文表示:

「OpenAI已经在训练GPT-4,并计划于12月-2月间发布。」

0d1cb08c2dba4865eaf1fb72e0f8532c.webp

根据Romero的预测,OpenAI将下一代模型的重点更多地放在优化数据处理上,而不是参数大小上,因此GPT-4的规模很可能与GPT-3相似,而且训练成本更低。

除此之外,还有传言称,GPT-4的参数量高达100万亿,并且已经先进到「与人类无异」,甚至「通过了图灵测试」。

9d380f01d604a0b54f4a6cd4bf07afb3.webp

对于这些传闻,Altman哭笑不得:「过于荒谬,一派胡言,完全不知从何而来。」

「我知道网友们都想通过各种爆料先睹为快。我有的时候也会把这些『内部贴』当乐子看。但这些帖子传了足足六个月,我总在想『现在人都这么闲了吗?』」

「而且关于GPT-4的谣言越传越离谱,仿佛他们是故意把期待值拉到不该有的高度,然后等着被我们打脸似的。比如,一些网友甚至认为GPT-4会是真正的AGI(人工通用智能)。」

「对于这一切,我只能说,他们在会失望这件事上,是不会失望的。」

8f85eb7ea1456e2448c31e0381c047c2.webp

此外,在采访中,主持人也向Altman求证GPT-4发布的具体时间。Altman表示:我知道你急,但你先别急。

总有一天我们会发布的,只要我们确定它足够安全。目前来看,GPT-4的发布会比大家期待的要晚一些。

我理解大家急切的心情,但当我们真正发布时,人们一定会觉得,等待是值得的。

简单来说就是:别急,该来的总会来的。

谣言始末

事实上,这个谣言最初的来源,很可能就是OpenAI自己…… 2021年8月,Cerebras的CEO曾在wired的采访中透露:「我们从与OpenAI的交谈中得知,GPT-4将会有大约100万亿个参数」。 在当时,这很可能就是他们所相信的。但那是2021年,就机器学习研究而言,这基本上是很久以前的事了。

7eee5a449243ce903e10242cc55102de.webp

而这一切的开始,还是要回到2020年那篇「Scaling Laws For Neural Language Models」论文中。来自OpenAI的研究团队发现,当增加模型规模超过多个数量级时,训练损失有可预见的减少:
  • 为了优化模型的规模,参数量的扩展应该比数据集更快。确切地说,当模型大小增加8倍时,数据集只需要增加5倍。
  • 在固定的算力下,训练大型模型的时间要比使用较小的模型并训练更长时间要好。

ca87ecc0368953e7c554e32ab6819156.webp

论文地址:https://arxiv.org/abs/2001.08361 于是,模型的规模也开始迅速膨胀。比如,GPT-3(175B)、Gopher(280B)、Megatron-Turing NLG(530B)。 但DeepMind发表于2022年的论文「Training Compute-Optimal Large Language Models」表明,实际上需要将训练集和模型以相等的比例缩放。因此,当模型的大小翻倍时,训练所需的token数量也应该翻倍。 为了验证这个结果,研究人员在大量的数据上训练出了Chinchilla——一个700亿参数,在1.4万亿token上训练的「小模型」。虽然它比GPT-3小2.5倍,但却用了几乎5倍的数据。 实践证明,Chinchilla不仅更好,而且较小的规模使推理更便宜,微调更容易。

da24d6e60c3e80115edf3eb3264ee6ea.webp

论文地址:https://arxiv.org/abs/2203.15556 根据上述分析,也正如Sam Altman所言,GPT-4的规模极大概率会与GPT-3相差不多。 当然,我们也可以大胆地预测一下:
  • GPT-4会在10倍的数据上进行优化训练
  • 更大的上下文规模,让GPT-4可以进行更长时间的预测
无论具体设计如何,GPT-4都将是一个坚实的进步,但绝不是一个具有100亿参数的类似人脑的AGI。

最后,AGI何时出现?

AGI(Artificial General Intelligence)也是最近大火的概念。它何时会出现呢?

此,Altman是这样回答的——

「当我们越接近AGI出现的节点,我就越难回答这个问题。在我看来,AGI的概念将比人们想象的要模糊得多,同时,它的出现是一个渐进的过程。」

「如果将AGI的发展看做一条上升的折线,我认为在短期内,折线斜率越低,即AGI的发展越低调,越有利于其长期发展,这也是对全社会最安全的一条发展路径。」

「当然,AGI到达哪个阶段,才可以认定其技术上的成功?关于这点,人们会有巨大的分歧。」

参考资料: https://www.theverge.com/23560328/openai-gpt-4-rumor-release-date-sam-altman-interview https://smokingrobot.beehiiv.com https://www.youtube.com/watch?v=ebjkD1Om4uw&feature=youtu.be


0ffc6caecd05202327b7f61a4bc2b36e.webp
7cdef7f1e0a230e2b66b5b1de1b84127.webp
浏览 47
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报