为什么苹果总觉得自己是AI领域的领导者？-轻识

大数据文摘出品

来源：arstechnica

编译：Hippo、肥恬儿

如今，机器学习(ML) 和人工智能(AI) 已经渗透到 iPhone 几乎所有的功能中，但是苹果并未像某些竞争对手那样吹捧这些技术。本文作者Samuel Axon希望了解有关苹果策略的更多信息，所以与两名苹果高管讨论了该公司的战略以及基于AI和ML新特性下的深层含义。

从历史上看，苹果在AI领域似乎并没有什么影响力。部分原因是人们将人工智能与数字助理（digital assistants）联系在一起，而相关评论经常声称Siri不如Google Assistant或Amazon Alexa表现出色。

在机器学习方面，许多技术控都认为更好的模型需要更多的数据，但是苹果并不像谷歌那样以收集数据为名。

尽管如此，苹果在其大多数设备中配置了用于机器学习任务的专用硬件。在苹果高管登台为iPhone，iPad或Apple Watch推出的新功能进行介绍时，机器智能驱动的功能日益成为主题演讲的焦点。

今年下半年，配置苹果芯片的Macs在机器智能技术方面也将为公司的笔记本电脑和台式机带来许多相同的进步。

在发布苹果芯片之后，作者与苹果负责机器学习和人工智能策略的高级副总裁John Giannandrea以及产品营销副总裁Bob Borchers进行了深入交流。他们描述了苹果的人工智能哲学，解释了机器学习如何驱动特定功能，并讨论了苹果移动端智能策略。

苹果的人工智能战略是什么？

Giannandrea和Borchers都是在近几年加入的苹果，他们以前在谷歌工作过。Borchers实际上是第二次加入苹果。在2009年之前，他一直担任iPhone营销高级总监。大量报道称，Giannandrea在2018年从谷歌“叛逃”到苹果，他曾是谷歌的AI和搜索主管。

谷歌和苹果是完全不同的公司。谷歌因参与AI社区研究团体而享有盛誉，而苹果过去的大部分工作都是闭门进行。近年来，这种情况发生了变化，因为机器学习为苹果设备的众多功能提供了强大的支持，并且苹果增强了与AI社区团体的互动。

Giannandrea表示，“加入苹果时，我已经是iPad使用者，并且对Apple Pencil喜爱有加。所以，我会追踪软件团队。然后问他们，’从事手写工作的机器学习团队在哪里？’但我没有找到。”原来，他要寻找的团队并不存在，这令他非常惊讶，因为机器学习是当今手写功能可用的最佳工具之一。

“我知道有很多的机器学习方法苹果公司应该应用，令人惊讶的是，实际上很多事情并没有在实施。这种情况在过去的两到三年中发生了巨大变化。” “老实说，我真的认为在未来几年内，对于iOS或苹果的体验，没有任何一个方面不会被机器学习所转变。”Giannandrea说道。

Samuel问Giannandrea为什么苹果更适合他。他对公司的AI战略做了简要总结并回答：

我认为苹果一直代表着创新和技术的交汇。当你考虑构建智能体验，进行垂直集成时，从应用程序到框架，再到芯片的整个过程都是至关重要的...我认为这是一段旅程，我认为这就是计算设备的未来，它们变得更聪明，以及那种聪明的消失。

Borchers也对此表示赞同，并补充说：“显然，这是我们的方法，我们所做的一切都是'让我们专注于实际的好处，而不是如何去实现’。在最好的情况下它变成自然而然的。也可以说是消失了……你所关注的只需要是发生了什么，而不是如何发生的。”

再次谈到手写的例子，Giannandrea用这个例子说明了苹果在构建机器智能驱动的功能和产品方面处于“领导行业”的最佳位置：

“我们做出了Apple Pencil，我们做出了iPad，我们为两者开发了软件。这是做真正出色工作的独特机会。我们正在做的是一项多么出色的工作呢？大概就是让用户在数字纸上做笔记的同时还能发挥创造力。我感兴趣的是看到这些经验可以在世界范围内得到广泛使用。”

他将此与谷歌进行了对比。他说：“谷歌是一家了不起的公司，并且那里有很多非常出色的技术专家。” “但是从根本上说，他们的商业模式是不同的，他们不以提供消费者体验而闻名。”

苹果如今是如何应用机器学习的？

苹果在最近的市场营销演示中常常将iPhone，Apple Watch或iPad的某些功能的提升归功于人工智能的应用，但它很少涉及到太多细节，而且大多数购买iPhone的人从未观看过这些演示。这与谷歌形成鲜明对比，后者将AI置于其向消费者传递的大部分信息的中心。

苹果的软件和设备中可以找到许多机器学习的例子，其中大多数是在近几年中新出现的。

机器学习用于帮助iPad的软件区分用户在使用Apple Pencil绘图时到底是不小心将手掌压在屏幕上还是有意提供输入的按压。它用于监视用户的使用习惯，以优化设备的电池寿命和充电频次，既可以改善用户在两次充电之间的时间，又可以保证电池的使用寿命。它还可以用于对app提供建议。

然后是Siri，这也许是任何iPhone用户都会立即将其视为人工智能的一个应用。机器学习驱动着Siri的各个方面，从语音识别到提供有用答案的尝试。

精明的iPhone用户可能还会注意到，“照片”app能够自动将图片分类到预制的分类中，或者在你的朋友的名字输入到app的搜索字段中时，准确地为你提供相应的照片。

在其他情况下，很少有用户会意识到机器学习正在起作用。例如，每次按下快门按钮，iPhone可能会快速连续拍摄多张照片。然后，经过机器学习训练的算法会分析每个图像，并将其认为是每个图像的最佳部分合成为一个结果。

一般手机早已搭载用于改善数字和实时照片质量的图像信号处理器（ISP），但苹果通过在iPhone中ISP与神经引擎（该公司最近增加的机器学习功能集中处理器）紧密合作，在2018年加快了这一进程。

我要求Giannandrea列举苹果在其最新软件和产品中使用机器学习的一些方式。他列举了一些例子：

机器学习提供了很多新体验。就像翻译、设备内置听写、我们健康方面的新特征（例如睡眠和洗手）、以及我们过去发布的有关心脏健康的内容，诸如此类。我认为iOS中不使用机器学习的地方将越来越少。

很难在没有做一些预测性工作的情况下找到一部分体验。例如，应用预测、键盘预测或现代智能手机相机都会在幕后进行大量的机器学习，以弄清它们所谓的“显着性”，即图像中最重要的部分是什么？或者，如果您想进行背景模糊处理，则说明您正在使用人像模式。

所有这些都得益于苹果核心平台中内置的核心机器学习功能。因此，几乎可以换一种说法：“请找到我们现在没有用到机器学习的地方”。

Borchers还提到了辅助功能这个重要例子。他说：“从根本上说，通过机器学习，这些辅助功能是可实现并可应用的。随着时间的投入和内置功能的出现，诸如声音检测功能之类的应用可能会改变特定社区的游戏规则。”

此外，你可能已经注意到，近几年苹果的软件和硬件更新都强调了增强现实功能。由于机器学习，这些功能中的大多数成为可能。

机器学习在增强现实中被大量使用。棘手的问题是所谓的同步定位与地图创建（SLAM）。因此，看看您的iPad上是否装有激光雷达扫描仪，尝试了解当你正在四处走动时它会看到什么？并建立一个实际看到景象的3D模型。

如今你需要能够在设备端使用深度学习，因为您希望能够实时进行。如果您四处晃动iPad，然后可能不得不在数据中心这样做，那将是没有意义的。因此，总的来说，我认为深度学习赋予我们能够从原始数据转换为该数据的语义的能力。

苹果越来越多地在设备端本地执行机器学习任务。诸如Apple Neural Engine（ANE）的硬件上或在该公司的自定义设计的图形处理单元（GPU）上。

Giannandrea和Borchers认为，这种思路使苹果的战略在竞争对手中脱颖而出。

为什么要在设备端进行？

Giannandrea和Borchers在交谈中都慷慨激昂地提出，我们刚提到的功能之所以可以实现，是因为所有工作都是在设备自身上完成的。

有一种常见的说法将机器学习归结为更多数据意味着更好的模型，这反过来又意味着提供更好的用户体验和产品。这就是旁观者将谷歌，Amazon或Facebook看作是AI统治者的原因之一。

这些公司运营着庞大的数据收集引擎，部分原因是它们运行着世界上的关键数字基础架构并对这一构架有一个完整的视角。通过这种方式的对比，一些人认为苹果的表现不尽如人意，因为苹果的业务模式不同，并且苹果公开承诺限制其数据收集。

当我向Giannandrea提出这些观点时，他没有回避：

“是的，我理解这种认为数据中心拥有越大的模型结果就越准确的这种看法，但实际上，这样想是错的。因为从技术上讲这实际上是有问题的，比起四处移动数据，在靠近数据的地方运行模式是更合适的。不管是定位数据还是训练数据，数据离数据源较近都是更好的，而且它也能很好地保护隐私。”

Borchers和Giannandrea都反复提到在数据中心中进行这项工作对隐私的影响， Giannandrea认为本地处理也与性能有关。

他说：“另一个重要的事情是延迟。” “如果您要向数据中心发送内容，那么以帧速率进行操作确实非常困难。因此，我们在应用商店中有很多应用都在做这样一些事情：如预估姿势、弄清楚那个人是否在四处走动、以及确定他们的腿和手臂在哪里。这是我们提供的高级别API。它只有在你能以帧速率进行操作时才有用。”

他给出了另一个消费者应用示例：

“你正在拍照，在你摁下快门拍摄照片的前一刻，相机可以实时看到一切。它可以帮助你决定何时拍摄照片。如果你想在服务器上做出决定，你必须通过将每一帧都发送到服务器来决定如何拍摄照片。那样没有任何意义，对吧？因此，有许多经验你只是想通过在边缘设备上完成来积累。”

当被问及苹果如何选择何时在设备上搞事情时，Giannandrea的回答很简单：“当其质量可以满足或击败那些在服务器上可以做的事情时。”

此外，两位苹果高管都将苹果的定制芯片（特别是自iPhone 8和iPhone X以来iPhone中包含的苹果神经引擎（ANE）芯片）看作是在设备上进行处理的先决条件。神经引擎是苹果设计的八核神经处理单元（NPU），它用于处理某些特定类型的机器学习任务。

Giannandrea说：“这是一个漫长的历程，因为五年前还没有硬件可以做到这一点。ANE设计是完全可扩展的。iPad中的ANE比手机中和Apple Watch的ANE更大，但是，用于应用程序和开发人员应用程序中的CoreML API层基本是由同一条生产线上出来的产品。”

当苹果公开谈论神经引擎(Neural Engine) 时，也共享了性能数据，例如2018年的A12芯片可以达到每秒5万亿次操作等等。但他们却没有具体说明芯片的架构，而这也确实是苹果发布会上常常存在的黑匣子。

苹果神经引擎发布会现场

鉴于此，作者想知道Giannandrea能否进一步揭示神经引擎在引擎盖下的工作方式，但他拒绝透露更多细节。他只是说，应用程序开发人员可以从CoreML中收集所有他们需要了解的信息，CoreML是一种软件开发API，为开发人员提供了访问iPhone的机器学习功能的权限。

CoreML这款软件开发API非常清楚地概述了我们支持的机器学习模型，运行模型的种类……我们支持的内核数量越来越多。同时，用户可以从任何流行的机器学习软件（例如PyTorch或TensorFlow）中透过使用CoreML，然后编译模型，并且提供给CoreML开发出应用程序。

CoreML的工作是弄清楚在哪里运行模型。可能正确的做法是在ANE上运行模型，但在GPU上运行模型或在CPU上运行模型也是正确的事情。同时我们的CPU也针对机器学习进行了优化。

在我们的整个对话过程中，两位高管都向第三方开发人员提供了与苹果公司自己的应用程序相同的应用程序。这里的策略不仅仅是推动苹果提供的服务和功能；它向大型开发者社区开放了最大限度所能提供的功能。自2008年App Store首次开业以来，苹果一直依靠开发人员在其平台上进行创新，并且通常在更新自己的内部制作的应用程序时，借鉴其他开发人员提出的想法。

当然，并非只有苹果的设备内置了机器学习芯片。例如，三星，华为和高通都在其片上系统中都包含NPU。谷歌也向开发人员提供了机器学习API。尽管如此，谷歌的战略和商业模式还是截然不同的。Android手机在本地也无法完成各种各样的机器学习任务。

带着苹果芯片的Mac

我对Giannandrea和Borchers采访的重点不是几周前苹果公司在WWDC上的重大宣布，即将推出带有苹果芯片的Mac。但是当作者推测苹果围绕自己的芯片设计Mac的众多原因之一可能是包含了神经引擎时，Borchers说：

“我们将首次拥有一个通用平台，可以支持我们想要做的事情以及我们开发人员想要做的事情。这个功能将解锁我们可以想做的一些有趣的东西，而且更重要的是，它将为其他开发人员带来很多东西。”

第一台具有苹果芯片的Mac：开发人员过渡套件(the developer transition kit.)

Giannandrea举了一个具体示例说明如何在Mac上使用苹果的机器学习工具和硬件：

我不知道你是否在国情咨文中看到了这个演示，但基本上的做法是：给一个视频，逐帧逐帧地浏览视频并进行对象检测。而且比起在传统平台上，你可以通过使用我们的芯片，更快地完成一个的工作。

可能有人会说：“嗯，这确实很有趣，但为什么实用？”想象一个视频编辑器里有一个搜索框，然后你可能会说：“找到我桌上的pizza。”

然后这个搜索框就会不断的寻找直到找到pizza被检测到在搜索框架里...这些是我认为人们想到的一些体验。我们非常希望开发人员使用这些框架，并期待他们能开发出让人惊艳的成果。

苹果在开发者大会上表示，计划从今年晚些时候将开始发售带有自己芯片的Mac。

关于隐私的问题

在过去的几年中，隐私一直是苹果向用户传递的中心信息。它在主题演讲和市场营销资料中一再提到，并通过iOS提醒人们使用它，并且经常在采访中出现（这也存在于我们现在谈论到的这种情况）。

Giannandrea告诉作者：“人们因为不知道AI是什么，所以担心它会变得太厉害，而且他们甚至认为它比人们能想象到的更强大。或者他们是从一些科幻视角看待AI的，或者因为像比尔盖茨和马斯克这样有影响力的人，谈论到这是一种危险的技术从而产生出来的想法。”

他认为，其他大型科技公司对AI的炒作对这些公司的营销工作更多是消极的，而不是积极的，这是“因为人们担心这项技术”。“AI”这个词在这里可能没有帮助，更多的是唤起了人们在流行文化中对那些怀有恶意的黑科技智能人的坏印象，例如Skynet或HAL9000。但是大多数应用人工智能专家会告诉您，这种黑暗的结果远非现实。机器学习驱动的技术具有许多风险，例如继承和扩大人类的偏见，但是像暴力攻击人类这样的事情还是不大可能出现的。

机器学习实际上并没办法能像人类一样使机器变得更智能。由于这个原因和其他原因，许多AI专家（包括Giannandrea）都提出了诸如“机器智能”之类的替代术语来代替“人工智能”。但是，无论采用哪种命名方式，机器学习都可能带来一个非常现实的危机：破坏用户隐私。一些公司甚至从用户那里收集个人数据并上传到数据中心，再用机器学习和训练来获得用户行为从而获利。

如上所述，苹果在用户设备上也进行了大量的收集和数据处理。但Giannandrea明确表示，此行为与用户隐私权问题毫无关系，他说：“我认为我们有着非常明确的立场和声明，那就是我们将在尽可能多的情况下在用户的设备上操作这种机器学习技术，但是数据不会离开用户的设备。这就是为什么我们的设备更安全或更优质或更值得用户信赖。”

他还用到了“信息转语音”这项功能作为一个例子来阐述他的观点：

如果当你在使用一个设备，并且告诉这个设备“读取Bob发的短信”时，文本到语音的合成是发生在本地设备上，也就是神经引擎上，或说是神经引擎和CPU的组合上。因此，我们并看不到Bob发出的短信内容，因为这是手机正在读取信息，而不是服务器读取。也就是说，服务器根本无法获取这条消息的内容。

这就是先进技术实际上改善用户实用性的一个很好的例子，因为语音是在设备上合成的，因此即使断开连接，它仍然可以工作。而且关于窃取用户隐私这个事，实际上很难做到。毕竟要开发一个能合成高质量的文字到语音的设备放在你的口袋里，这已经是一项很艰难的工程了。

当然，在很多情况下，苹果也必须使用一些用户数据进行机器学习。那么，苹果究竟如何使用它处理的用户数据呢？Giannandrea解释说：

一般而言，我们有两种建立模型的方式。一种是我们收集和标记数据的位置，这在许多情况下都是合适的。在某些情况下，我们要求用户捐赠数据。最著名的例子就是Siri，当用户安装苹果手机时，我们会说：“您想帮助使Siri更好吗？”

在这种情况下，一定数量的数据会捐赠给我们，然后其中很小一部分会用于培训。但是我们在这里谈论的很多其他事情（例如笔迹），我们会收集足够的数据来训练模型，即便不使用任何消费者数据，也能使这个模型可以处理每个人的笔迹。

最近苹果添加了一些要求使用用户数据的提示。这是因为去年夏天，一份报告表明Siri记录了用户意外激活后的讲话内容后，负责Siri功能质量保证的承包商也在听这些录音。

作为回应，苹果公司承诺，如果是在用户明确允许通过共享录音来帮助我们使Siri变得更好（这个在iOS 13.2中得到了体现）的情况下，苹果只会存储用户与Siri相关的音频，并且将所有质量保证这一步骤引入内部进行。当我问苹果公司在数据处理方面与承包商相比有何不同时，Giannandrea回答：

我们有很多保障措施。例如，在识别音频是否给予用户帮助的过程中，这与实际查看音频的过程是两码事。我们在内部也做了很多事情，以确保我们没有捕获然后丢弃掉任何实际的音频。

但是，如果你不愿意对功能进行真正的质量检查，那么你永远都不会使意外激活录音的缺陷变得更完善。实际上，机器学习会要求你不断改进它，所以我们在内部进行工作的同时，对许多工作流程进行了全面改革。我非常有信心，我们拥有一种以隐私保护方式来为用户提供帮助的最佳流程。

显然，苹果公司想要将隐私保护作为设备的最大亮点。Giannandrea表示，这才是我们真正的信念所在，而且这也可能会帮助苹果在市场上发展。同时也因为苹果在移动手机领域的最大竞争对手在隐私方面的记录要差得多，随着用户越来越关注人工智能对隐私的影响，这也留下了缺陷。

在整个对话过程中，Giannandrea和Borchers都谈到了苹果的两点战略：

1）在本地执行机器学习任务的性能更高；

2）做到更多的“隐私保护”：这个是在我们的对话中Giannandrea重复了好几次的特定措辞。

黑匣子的秘密

通过对于AI功能的内部工作原理的长时间跟踪和记录后，苹果公司在过去几年中又更多的提升了对机器学习的认知。

苹果定期发布周刊，进行学术赞助，提供奖学金，赞助实验室，参加AI / ML会议。最近它重新启动了有关于机器学习的博客，并在其中分享了一些研究成果。它也一直在积极招聘，特别是雇用了在机器学习领域的工程师和其他人员，这里就包括了两年前的Giannandrea本人。

虽然它并没有像谷歌那样在整个社会上引领研究的浪潮，但苹果公司却证明了，至少在机器学习的领域，它将成果带给更多用户的这一方面的体验是处于领先地位的。

还记得Giannandrea说他惊讶于机器学习没有用来训练笔迹功能吗？他后来继续为这一目标前进，现在不仅看到了为实现这个目标的团队有了创新，他也与其他团队一起，以机器学习为驱动，研发笔迹功能，从而也奠定了iPadOS 14的基石。

Gianandrea说：“我们苹果拥有许多出色的机器学习从业人员，并且我们将继续聘用他们。我发现世界一流的人员很容易就被苹果所吸引的原因在于，我们重视并且愿意通过利用机器学习，让我们的产品为用户创造使用体验。”

他补充说：“我想我面临的最大问题是，我们最雄心勃勃的产品中有很多是我们无法过于详细谈论的。所以常常只能和别人这样说：‘来我们这儿工作吧，虽然不能告诉你具体的内容，但这绝对是有史以来最有野心的事情。’ ”

如果相信大型科技公司和风险资本投资的趋势，那么人工智能和机器学习将在未来几年变得更加普遍。不管怎么说，Giannandrea和Borchers都清楚地表明了一件事：机器学习现在在苹果产品的许多功能中发挥了作用，而且消费者每天都在使用许多功能。随着今年秋天开始在Mac上使用神经引擎，机器学习在苹果中的作用可能会继续增长。