AI 也会上当？OpenAI 最先进的机器视觉 AI 居然被一张纸条骗了…...

技术编辑：芒果果丨发自 思否编辑部

---

来自 OpenAI 机器学习实验室的研究人员发现，他们最先进的计算机视觉系统竟然很容易被欺骗。把一张写了另一个物体名字的纸条贴上去软件就会错误地识别它看到的东西。

研究人员在一篇博客文章中写道: “我们将这些攻击称为字体攻击。通过利用模型强有力地阅读文本的能力，我们发现，即使是手写文本的照片也常常能够骗过计算机视觉系统。”

研究人员指出，这种攻击类似于可以欺骗商业机器视觉系统的“对抗性图像”，但是制作起来要简单得多。

---

容易“上当” AI 系统尚未部署在商业产品中

对于依赖机器视觉的系统来说，对抗性图像非常危险。例如，研究人员已经证明，他们可以欺骗特斯拉自动驾驶汽车的软件，通过简单地在路面上贴上某些标签，在没有警告的情况下改变车道。这样的攻击对从医疗到军事的各种人工智能应用都是一个严重的威胁。

但是，至少在目前，这种具体的攻击所造成的危险是没有什么可担心的。问题中的 OpenAI 软件是一个名为 CLIP 的实验系统，没有部署在任何商业产品中。事实上，CLIP 不同寻常的机器学习架构的本质造成了这种攻击成功的弱点。

CLIP 的目的是探索人工智能系统如何在没有密切监督的情况下，通过对海量图像和文本对数据库的训练，学会识别物体。在这个案例中，OpenAI 使用了从互联网上搜集的大约 4 亿个图像文本对来训练今年 1 月份发布的 CLIP。

本月，OpenAI 的研究人员发表了一篇新论文，描述了他们是如何打开 CLIP 来观察其性能的。他们发现了所谓的“多模态神经元”，即机器学习网络中的单个组件，它们不仅对物体的图像有反应，而且对草图、卡通和相关文本也有反应。令人兴奋的是，它似乎反映了人类大脑对刺激的反应，单个脑细胞已被观察到对抽象概念的反应，而不是具体的例子。OpenAI 的研究表明，人工智能系统可以像人类一样内化这些知识。

---

机器智能与人工智能的不同

在未来，这可能导致更复杂的视觉系统，但现在，这种方法还处于初级阶段。虽然任何人都可以告诉你一个苹果和一张纸上写着“苹果”的区别，但是像 CLIP 这样的软件却不能。这种允许程序在抽象层面上连接文字和图像的能力创造了这种独特的弱点，OpenAI 将其描述为“抽象谬误”。

实验室给出的另一个例子中，CLIP 不仅回应了存钱罐的图片，也回应了一串串的美元符号。正如上面的例子所示，这意味着如果在电锯上覆盖“ ＄＄ ”字符串，就可以欺骗 CLIP 将其识别为储蓄罐。

研究人员还发现，CLIP 的多模态神经元编码的偏差，正是你在从互联网上获取数据时可能会发现的那种偏差。他们发现了“一种能同时刺激黑皮肤的人和大猩猩的神经元”这重复了谷歌图像识别系统中一个臭名昭著的错误，该系统将黑人标记为大猩猩。

这些例子说明，机器智能与人类智能有多么不同ーー以及为什么在我们把自己的生命托付给人工智能之前，分解机器智能以了解其工作原理是必要的。

---

- END -