接下来，我们将时间轴拉开，可以在这张图中看到人工智能发展过程中每一个技术出现的时间点。我刚才有讲到一些，大家有没有注意到2017年就开始出现了Transformer，所以并不是今天有了ChatGPT才有了Transformer。也就是说，它已经发展了五六年，才最终从理论变成了我们今天可以使用的应用。

而刚才讲到的大模型，或者说基于大模型基于的基础模型最厉害的地方在于它的迁移学习能力，但是迁移学习能力最关键的来自于人工智能发展的三个要素：数据、算法和算力。这三个要素就像一个三角形，它们互相制约、互相支持，共同发展。

以数据为例，很多年前，当我们谈到数据时，大家通常想到的是数据库，里面存放个表。即使你不从事IT行业，每天使用 Excel 表格也是在使用数据。后来，我们发现除了数据库或者 Excel 表格之外的其他东西也可以被视为数据。比如说，你提供给我一个文件，员工手册或产品说明书，这些PDF文件也可以被视为数据。我现在说话的语音也是数据，大家拍照的面部特征也是数据。我们将这些数据汇总到一起，就可以形成一个数据湖。从数据库到数据仓库再到数据湖，业界的发展趋势是慢慢的海纳百川，逐渐涵盖一切类型的数据。

那这些数据一定有方法去处理它，这就是我们要讲到的算法。算法的发展也十分有趣。早期，我们使用数学的方式来教计算机如何处理数据。例如，我们用数学告诉计算机什么是加法，一加一等于二就是加法。我们以前使用的所有算法，无论是最简单的归纳总结还是最复杂的预测，其实都是有数学理论作为基础支撑的。一定是数学家先提出数学公式，然后我们计算机工程师才能写出算法。因此，实际上整个行业在过去30年是数学引领了计算机的发展。

大约从2010年开始，情况已经不同了，因为计算机中出现了一些新的算法，这些算法是数学解释不了或无法解释的。由于深层神经网络的出现，就像我们人类一样，尽管我们的神经学或生物学再怎么发达，我们仍然无法解释它们是如何运作的。现在的生成神经网络到底是如何运作的？一旦规模扩大，以我们人类目前的理解能力和数学建模能力，就很难提供一个清晰的解释。这也是为什么当2017年Transformer模型出现时，业界一开始并不了解它的潜力。

但大约在2019年和2020年，当Transformer模型的规模达到一定程度时，以GPT 3为代表，达到了千亿级别的参数量，GPT 3的参数级别大约在1700多亿。人们发现，你以为你知道这个Transformer模型的工作原理，但实际上你不知道，你发现它好像可以推理，好像能做许多你没有教过它的事情。从这个时候开始，人们慢慢发现数学不再那么容易解释了。如果再过十年、二十年，我不知道未来的世界会是什么样子，但当我们回顾2020年到2023年时，人们会发现这是一个分水岭，人工智能、科学、数学这样一个分水岭。

但是有了这么奇妙的算法，你需要有地方能够计算它，对不对？《三体》里面讲过，我们最早的可以用人来代替计算机里面的计算单元，用人来代替晶体管好像也能干完一些事情，但是对于像神经网络算法，就不能再用简单的晶体管来计算了。

在这种情况下，提高算力必须通过提高三角形中的“数据”和”算法”。GPU以前我们主要用来做游戏，对不对？后来发现算法特别是神经网络算法，它不像CPU那样依赖于执行，我们可以把一张图切成几千个、几万个，然后让每个处理器独立处理，这样会更快。当GPU有几十个核时，CPU可能只有两个或四个核。这就是为什么在20世纪90年代和本世纪初，越来越多的人开始使用GPU。除了GPU之外，现在还有一些专用芯片，专门用于人工智能，它不需要干其他事情，只需要处理人工智能。这是特殊芯片的算力的发展。

随着云计算、边缘计算等技术的发展，有时候是数据跑得多快一点，有时候是算法跑得快一点，但这个三角形中的三个要素永远都在相互发展。

今天我主要分享的是中间的一环算法，特别是其中的Transformer。

GPT中的T其实就是Transformer，是ChatGPT把它带火的。ChatGPT可以在两个月把用户量突破到1亿，基本上已经没有其他的应用能够跟它比肩的了。

让我们来看看开发ChatGPT背后的公司OpenAI，其中比较重要的时间点是它的成立，包括被微软投资。实际上它并不是唯一一家，也不是第一家做大模型的公司。同时，还有其他几家公司在这个领域有影响力的包括谷歌、Facebook（现在叫Meta）等公司都在做大模型。

你们可能会好奇为什么OpenAI会脱颖而出。我个人的看法是，首先，他们的工程化让大模型往前迈进了很大很大的一步。什么是工程化模型？你可以把这个模型看成是一个天赋异禀的小孩子，他可能一出生就有180的智商，你让他学什么，他就学什么。这个过程就像是在公开教育这个小孩子，但是如果你教得慢，他在9岁时可能就被其他人甩在了后面。虽然他天赋异禀，但如果教得不好，他的思维年龄可能现在还停留在6岁或7岁，这样一来就会落后了。也许大家最初的思路都是基于同一份论文，就是谁家教的好的问题，也是工程化做得好的问题。

在讲Transformer之前，我想先介绍一下机器学习是如何完成这些工作的，以及如何将一个算法转化为可用的。大家千万不要认为机器学习听起来很高端，实际上它很简单。

首先，你需要提出你的问题，比如说我要预测股票的价格从哪个期货市场赚钱，这就是我的问题。将其抽象成一个数学模型，比如说我使用数学中的归纳算法模型，如果我能够归纳得足够丰富、足够准确，我就能够猜出明天的股票价格。

第一步是问题抽象，第二步是选择算法。算法有很多种，选出来之后，你需要准备数据。爬下来所有交易所的数据，甚至是一级、二级市场的数据。传统机器学习用相对于较少的数据，来推断未来的规律。使用相对较少的训练时长和算力来对模型进行训练。模型训练完成后需要进行评估和反馈。慢慢地让模型越来越趋向真实，就像你画一幅画一样。这是传统机器学习的套路，但Transformer模型并不是这样的，大家会发现中间有很多可以学习的新名词和方法。

GPT的“G” 指的是生成式，“P”指的是预训练。因此，它被称为生成式预训练transformer。首先需要预训练这个transformer模型，这个训练需要专门的语料库，需要人工进行标记的语料库。此外，还需要人工反馈。例如，您向 GPT 提出一个问题，它给出两个答案，然后需要人工去告诉它哪个答案更好，这样它就会在下一次回答时会表现得更好。这是一个正向反馈循环。

预训练是通过大规模、海量的通用文本，来让模型学到广泛的通用知识和上下文的理解。具体是什么意思？如果我现在让 ChatGPT 写一篇文章，它可以写，我让它写古诗，它也可以写。但它真的能读懂古诗吗？或者，如果我让它写文案，它真的懂法律条文吗？实际上，它不理解这些，它只知道每个字出现的概率。

我们经常听到在大模型里面，某某公司很厉害，基于一个模型做了微调。

微调是什么意思呢？原本这个模型是个通用模型，可以做任何事情。然而，当你问它一些特定的问题时，它可能不懂。例如，如果我问它中国的古诗词，它可能不懂。但是，如果我提供大量的中国古诗词进行微调，它就能更好地理解中国古诗词，知道当你要写七言古诗时，需要规律是什么，押韵是什么样子的。这就是微调。

因此，微调实际上是迁移学习的理念，将通用学习微调到能够迁移支持另一个领域，让其理解，包括语言的微调，例如理解中文之后，它几乎也可以理解日语，理解英语，也可以理解法语。如果加入中英文对照的语料进行微调后，它也可以理解中文。

但是放心，我们今天的大模型，至少到目前为止，这个Transformer模型并没有真正的理解能力，没有科幻小说中的自主决策能力。我今天揭开AI大模型的面纱，让大家知道这一点：大模型没有真正的理解能力，它只判断出现的概率。

最后一个概念是参数。我们之前提到了千亿参数，几十亿参数。我今天所说的每句话、每个字后面都是在一个庞大的向量网络来支撑。比如“我是谁”，这个“我”字后面有一个庞大的向量宇宙来支撑它。向量怎么理解呢？可以想象一下多维宇宙。我们所处的宇宙是三维的，加上时间维度可能是四维的，还可以有其他维度。在数学中，我们可能会有一个多维的数学网宇宙，不用管它是什么，只需要知道可能有很多维度。

所以，如果我把一篇金庸小说输入到模型中，它会经常发现中间有些字词是相关联的，比如说，“九”字后面经常会跟着“阳”或者“阴”，“九阳正经”、“九阴真经”，那么“九”字的向量数据库里面，向量网络里面就一定有“阳”或者“阴”出现。这两个字老是出现在一起，对不对？这是金庸小说中的常见模式。所以当我询问金庸小说里面哪个武功最强时，如果我给出“九”这个提示，模型就会立刻判断。从概率角度来看，你肯定想我回答“九阳”或“九阴”，这个概率最大，不会回答其他的东西，比如“九九艳阳天”之类的，对吧？这就是一个概率问题。所以，向量代表的就是这个字与其他字发生关系的概率有多大。

因此，你可以设想，如果我的向量网络的维度越多，那么我的向量就越复杂。这是否意味着，我能够用这个向量网络来记录一个庞大的语料库，这个语料库可能比中国国家图书馆和大英国家图书馆的所有书加起来还要大，其中每个字与其他字发生关系的概率都能被记录下来。这样，当我需要回答“莎士比亚文体中哈姆雷特到底得罪了多少人”这类问题时，我就能从哈姆雷特的向量网络中轻松找到答案，这只是一个概率问题。通过这种方式，大家应该能够轻松理解参数所代表的是每个字与其他字发生关系的概率。有了这样的基础理解之后，我们就能轻松理解Transformer算法了。

这是一个最基本的 Transformer 结构图。不要以为它很复杂，用我刚才讲给大家的知识，一讲解大家就理解了。

这里举的一个例子是让 GPT 帮我翻译英语到中文，将“why do we walk”翻译为“为什么我们要工作？”这是我们打工人的永恒问题。我的输入是一句英文输出，它得输出成中文。那我们来看看这个Transformer 算法怎么做？

首先，它把你的输入先拆成token。token在中文里好像不太好直接翻译，我就直接叫它 token。

在英语里，token 通常就是一个单词，其实在中文里面就是一个字。比如“我来自于哪里？”就可以拆成“我”一个 token，“来”一个 token，“自”一个 token，“于”一个 token，“哪”一个 token，“里”一个 token。英语有时候一个字还不止一个 token，因为英国人为了表达一个没见过的概念，有时候就把好多个英语单词组成一块。如果你们考过美国的托福、GRE 考试，就会见到那种特别长二三十个字母的英文单词。这种单词通常会进入到Transformer算法，然后把它切成好多个块，每个块代表了一个意思，每个块就是一个 token。所以英语经常会一个字是几个 token，而中文基本上一个字就是一个 token。

拆完之后，每一个 token 对应了一个向量的多维空间。就像我刚才举的例子，一个“我”字后面带一个向量空间，“九阳真经”这个“九”字后面又有一个向量空间，每个字都有一个向量空间。这个时候我告诉它说，你要帮我翻译，那它就会先来判断，说好，这里面出现了“为什么”？“why”是“为什么”？第一个字是“why”，它先输出个“why”，输出完“why”之后，它就在“why”的向量空间里去找。

我要表达这个 why 这个意思的话，最大概率的会是什么呢？是为什么？还是为何？还是为了？还是为什么？AI找到了“为什么”这个词出现的概率最大，因此毫不犹豫地输出了这个词。同样的道理，AI发现概率最大的第三个词肯定是“么”，于是也将其输出。

在与ChatGPT聊天时，它不会给你一个完整的句子，而是一个一个字地输出。它靠每个字去猜下一个字出现的最大几率，这是一个基于多维向量空间的算法，不是很复杂。

有时候，我们中国人很好奇，AI算法能否区分“南京市长江大桥nán jīng shì cháng jiāng dà qiáo”和“南京市长，江大桥nán jīng shì zhǎng jiāng dà qiáo”的区别。你认为Transformer算法能否区分呢？这是一个非常有趣的问题。

在使用传统的生成神经网络时，微软的一个研究院专门研究如何断句，因为中文断句是一个很大的问题。我们需要编写算法来判断是将断点放在“长江大桥”前面还是藏在“zhǎng”的后面。

然而自从出现了Transformer算法，我们发现对于Transformer算法来说，断句并不重要，它只关注每个字的向量空间。因此，在南京市这个例子中，后面出现的大概率是“长江大桥”，而不是“市长江大桥”。由于“江大桥”出现在“市长”的字后面的概率微乎其微，因此它不太可能被选中。因此，Transformer算法绝对不会将“南京市长江大桥”断成“南京市长”。

在过去，我们担心如何断句，如何理解中文的语义和语法，以及如何理解日语和韩语中的语法等问题。这些问题都是以前使用神经网络时需要解决的问题。但现在，这些问题都不再是问题，许多从事神经网络工作的人可能需要转换方向，转向Transformer算法方向，因为在这个领域，这些都不是问题。

接下来是Attention Layer注意力层，用于操作处理每个字背后的多维向量空间。这一层被称为自注意力层，指的是它只关注这个字本身的向量，而无需关注其他内容，如语法、语言和断句等。因此，我们可以让算法自行发挥向量空间算法的优势。

好，现在你们应该理解为什么它可以写诗，为什么它可以回答问题了。