模型上下文长度达到10000000,又一批创业者完蛋了?
硅兔赛跑
共 3809字,需浏览 8分钟
·
2024-04-11 02:15
![e13a9804b07b93151fb3d8d1cf6ebe14.webp](https://filescdn.proginn.com/edebea5a780882dd219cd8a2e76dfbba/e13a9804b07b93151fb3d8d1cf6ebe14.webp)
“ 硅兔君荐语
RAG终究是个过渡期的产物? 没有疑问,Gemini 1.5 Pro的隆重推出被Sora抢了风头。 社交平台X上OpenAI介绍Sora的第一条动态,现在已经被浏览了超过9000万次,而关于Gemini 1.5 Pro热度最高的一条,来自谷歌首席科学家Jeff Dean,区区123万人。 或许Jeff Dean自己也觉得郁闷。Gemini 1.5 Pro和Sora共同发布的一周后,他在X上点赞了沃顿商学院副教授Ethan Mollick认为人们对大模型的注意力发生了偏差的观点。 Ethan Mollick几乎是教育界最早公开推崇生成式AI的人之一,他在2023年2月公开呼吁学生应该都应该开始用ChatGPT写论文。而这一次他的观点是,考虑到大模型在图像生成方面所体现出的有限价值,它实在是引起了过多的讨论了。 “对于大模型的实验室来说,图像生成更像是一个聚会上的节目......做为内核的LLM才是价值所在。但社交媒体更乐于分享照片。” ——没说的是,社交媒体也更乐于分享Gif,以及视频。 人类是视觉动物,所以Sora才会这么抢眼。或许我们太高估了Sora,又太忽视了Gemini 1.5 Pro。 Gemini 1.5 Pro展现出的众多能力中有一点很特殊,它已经是一个具备处理视频语料输入的多模态大模型。Sora能将文字扩展成视频,Gemini 1.5 Pro的野心是把理解视频的能力开放出来。在对模型能力的考验上,很难说后者就弱于前者。 这背后的基础性工作在上下文输入长度上。Gemini 1.5 Pro的上下文长度达到1M Token,这意味着一小时的视频、3万行代码或者JK·罗琳把小说从《哈利波特与魔法石》写到《哈利波特与凤凰社》,远高于包括GPT、Claude系列在内的目前市面上所有的大模型。而谷歌甚至透露,1M Token并不是极限,谷歌内部已经成功测试了高达10M Token的输入,也就是说,它已经能一口气看完9个小时的《指环王》三部曲。 上下文长度抵达10M Token到底意味着什么,等到Sora带来的激情稍褪,人们逐渐回过味儿来。 X、Reddit......越来越多的讨论场开始关注到10M Token所展现出的可能性,其中最大的争议在于,它是否“杀死”了RAG(Retrieval Augment Generation,检索增强生成)。 大模型从概念走向商业应用的过程中,本身的问题逐渐暴露,RAG开始成为贯穿整个2023年最火热的技术名词。 一个被普遍接受的描述框架给这项技术找到了最精准的定位。如果将整个AI看作一台新的计算机,LLM就是CPU,上下文窗口是内存,RAG技术是外挂的硬盘。RAG的责任是降低幻觉,并且提升这台“新计算机”的实效性和数据访问权限。 但本质上这是因为这台“新计算机”仍然又笨又贵,它需要更多脑容量、需要了解更具专业性的知识,同时最好不要乱动昂贵又玻璃心的那颗CPU。RAG某种程度上是为了生成式AI能够尽早进入应用层面的权宜之计。 10M Token的上下文输入上限,意味着很多RAG要解决的问题不成问题了,然后一些更激进的观点出现了。 曾构建了评测基准C-EVAL的付尧认为,10M Token杀死了RAG——或者更心平气和的说法是,长文本最终会取代RAG。
![41bae8d44eef8a523642e2cc17205d5d.webp](https://filescdn.proginn.com/3ceca491d80ef71321d6245c2d2c7759/41bae8d44eef8a523642e2cc17205d5d.webp)
![f7dfe849114e02b0dc782741b4105944.webp](https://filescdn.proginn.com/bb051035d5c2aa4d9ccc83f6bdb67efa/f7dfe849114e02b0dc782741b4105944.webp)
![5d293dee223af487ebc59ccf54644054.webp](https://filescdn.proginn.com/73cf16256d7f1dc822267ea41f145cf5/5d293dee223af487ebc59ccf54644054.webp)
你看好谷歌Gemini的发展吗? 👇评论区留言告诉我们你的想法哦~
![f3b6788ade5a387453189bea9f7cf72d.webp](https://filescdn.proginn.com/8143a995c7b72b0cfd35ed0ceef9fb53/f3b6788ade5a387453189bea9f7cf72d.webp)
别忘了点关注,不迷路啊。
👇👇👇
![f5f0bb9edf081410db4b62049689972c.webp](https://filescdn.proginn.com/40636f766142e39b07f711a63afd47b0/f5f0bb9edf081410db4b62049689972c.webp)
![3a2968829523cbd469a2094dd318c182.webp](https://filescdn.proginn.com/dd4adc99dd4a84635462b1f525534f14/3a2968829523cbd469a2094dd318c182.webp)
![620c40902f001ccc0043121a3cf3326d.webp](https://filescdn.proginn.com/edc33477715a2c00f32c9097e590124d/620c40902f001ccc0043121a3cf3326d.webp)
![470c218db17d2dce869575324ccebeb4.webp](https://filescdn.proginn.com/b519b4f5b5331ac0e333a98244937a19/470c218db17d2dce869575324ccebeb4.webp)
评论