全球首个大模型Agent产品爆款出场！动动嘴让PC成为打工人

---

  新智元报道  

编辑：编辑部

【新智元导读】有了这个实在的Agent小助手，文秘小帅的办公流程，简直叫一个行云流水。

最近，有了一个神秘助手的小帅，办公效率比过去提高了十倍不止。

今天，他需要把销售人员的销售金额做个排序，再把清单通过钉钉发给张总。

不用多费口舌，小助手立马准确读取了小帅的需求。

随后，小助手干脆利落地给自己列出了行动计划，不到一分钟，销售金额从高到低排序的清单，就赫然出现在了桌面上。

然后，小助手打开钉钉，自动选定了发送对象——张总，然后把清单发送了出去。

这行云流水的一套流程，简直让人看呆了。莫非《钢铁侠》中的贾维斯AI助理成真了？

你说，PC做——AI开启人类办公新篇章

在介绍这位神秘助手的身份之前，我们先回顾一下，77年前的人类，是怎样使用电脑的。

时间回到1946年，世界上第一台计算机ENIAC诞生。连接一堆线缆、切换一堆开关，就是人类历史上首次使用电脑的方式。

77年后的今天，ChatGPT的诞生颠覆了人类社会。GPT-4、PaLM、Llama等大模型的相继爆发，让AI迎来了历史性的「iPhone时刻」。

微软办公Office 365接入GPT-4，PaLM整合进谷歌Workspace。AI大模型的诞生和崛起，让打工人的办公场景发生了根本性变革。

最近爆火的智能体Agent，更是让贾维斯、《科幻世界》中的机器人小秘书和《星际穿越》中的「塔斯」（Tars）机器人，从科幻走进现实。

正如开头所演示的，我们只要动动嘴，电脑就能自己动起来，让原本枯燥繁琐的工作摇身一变，成为——「你说，PC做」。

而这位能够「听得懂，想明白，看得见，动起来」的数字助理，便是实在智能发布的业内首款基于大模型的Agent产品TARS-RPA-Agent，也叫ChatRPA。

它不仅能够理解人类的意图，还能操作所有桌面软件，包括各种复杂的CS架构软件，甚至对不开放接口的软件也能操作。

在CV大模型ISSUT（智能屏幕语义理解技术）的加持下，TARS-RPA-Agent就像戴上了酷炫的屏幕洞察眼镜，眨眼间就能秒懂屏幕上的一切。

甚至，不仅是在电脑上，任何屏幕（比如车载平板）都可以实现这个操作。

举个例子，这意味着，后续在汽车环境下，除了当下已通过接口方式实现对所有车载设备进行控制，如控制车窗空调、播放音乐、导航等简单操作之外，还可以通过语音指令轻松指挥车载平板上所有的软件APP（如钉钉、微信、甚至是WPS、美图秀秀等）自动完成各种复杂工作任务。

可以说，TARS-RPA-Agent成就的是更加科幻感满满的未来，促进人类实现真正的人机协同。

在未来，人类与电脑/手机的协同方式一定是让技术适应人，而非人适应技术。产品也不再是以系统为中心，而是以人为中心。

在这种全新人机协同模式下，AI将更加智能化、人性化。

与此同时，人类也不用花费大量时间去学习如何操作一个新的应用或工具，而Agent可以理解我们的需求和习惯，做出调整。

这意味着，当AI从一个被动工具，变为一个智能助手，将会更加重视我们的习惯，确保在执行任务要求同时，为人类创造出更加人性化的体验。

想让Agent替你打工？层层难关需攻克

然而，这项划时代性技术，需要克服的困难，远比我们想象的要多。

尤其是，想要让AI Agent在行业中发挥出真正的商业价值，更非易事。

当你要求Agent帮自己请假时，大模型虽然能做到「理解意图」，但要操作像钉钉这种没有可解析的网页源代码，或可调用的API接口的应用时，还需要另寻它法。

相比之下，RPA可以模拟人类行为的方式，对电脑软件完成操作。由此可见，大模型+RPA方式是执行如上帮你请假等任务的一种必然模式。

但随之而来的另一个问题是，传统的RPA由于不能对软件页面进行精准识别，比如哪个是输入框，哪个是登录入口等等，在面对诸多任务时也还是会一筹莫展。

而当前计算机视觉CV大模型的发展，能够为此提供一种解决方案，让RPA在执行任务时「看见」操作页面，秒懂屏幕画面。

接下来，在解决了接口调用、图像理解这两个问题之后，AI Agent还需要突破四大难关，才能成为真正意义上的「数字员工」：

「能否自主拆解任务、能否感知当前环境、能否执行并且反馈、能否记忆历史经验。」

1. 如何轻松实现任务的自主拆解？

首先，在实际的场景中，人类给出的指令是非常复杂的，但所用的语句却非常简洁。如何从蕴含庞杂信息和逻辑命令的指令中，理解并拆解任务是非常难的。

比如「订一张明天到上海的高铁车票」，就涉及到数量「一张」、时间「明天」、行程「到上海」、目标「买高铁票」。

想要最终完成这个任务，就要求Agent必须能够理解指令，并将其拆解成可执行的子任务和步骤。比如，登录购票网站、查询余票信息、完成车票预订等多个步骤。

2.  如何实现任务元素的精准定位？

除了要把任务分解成可执行的子模块外，Agent还必须知道自己是谁、在哪。

比如，订明天的票，就意味着Agent需要知道今天是几号；有了终点上海，也需要知道自己所处的起点是哪个城市。

与此同时，Agent还需要对周边的环境有充分的认知、理解和交互。

还是以刚刚的购票任务为例，要完成「登录购票网站」这一步，就需要Agent明确地知道，账号输入、密码输入，以及登录按钮分别在屏幕上的什么位置。

3. 错误会不断积累，需要及时去更正

在执行任务时，人类会随时关注进度，并通过不断的「执行-反馈-修正」来确保任务的正常进行。

对于Agent来说，同样需要保证每一步操作的正确性，不会因为领会错了意图，或者前一步操作失误，而导致当前步骤点错按钮、输错账号或者发错邮件。

最好是还能够进行单步寻优，并且把每一步的执行过程和结果都展示和反馈出来。

4. 解决长时记忆，实现自主迭代能力

最后，Agent还需要具有从经验中学习，并通过历史案例不断能提升自己决策的能力。

特别是在人类的帮助下完成一项任务之后，可以在下次遇到同样的任务时，自己去正确地执行。

举个例子，为了解决这个困扰大模型已久的长时记忆问题，AutoGPT选择的就是利用内存管理的手段，来实现上下文保留和决策优化能力。

AI Agent时代的爆款：TARS大模型智能助理

面对这一系列的挑战，实在智能创新性地把CV大模型（ISSUT）、LLM（TARS大模型），以及RPA整合在了一起，并通过不同的技术、设计和方法解决了上述难点。

由此诞生的TARS-RPA-Agent，也成为了一个能够自主拆解任务、感知当前环境、执行并且反馈和记忆历史经验的超自动化智能体。

在TARS-RPA-Agent的加持下，对于发邮件这种基本操作，你只需要在对话框中，输入「使用163邮箱给×××发送邮件，说你好」即可。

接下来，TARS-RPA-Agent将这个描述的请求拆解为2个步骤。第一步：打开163邮箱；第二步：登录邮箱发送邮件。在每个计划中，都包含了详细的执行步骤。

确认无误后，直接点击「执行」，就能看到TARS-RPA-Agent嗖嗖嗖，开始扫描页面，完成给定的任务。

除了发邮件，诸如请假等各种办公场景，TARS-RPA-Agent也全能覆盖，而且还有着优秀的泛化能力。

比如，当你想买一款笔记本电脑，但又不知道选哪款比较好时，就可以问Agent「京东上最畅销的笔记本电脑是什么」。

很快，Agent就给自己定出了行动计划，然后根据我们的需求，自己登入京东进行搜索排序，并进入第一个结果的详情页。

值得一提的是，TARS-RPA-Agent还考虑到了现有的Agent容易陷入死循环并消耗大量tokens的问题，在任务过程中可允许人工修改、调优等，在产品上能够更好地支持人机协同操作。

比如，遇到不能执行的步骤，我们只需动动嘴，或者点击页面的元素，就能让它自动创建后面的流程，基本上无需人类操作就能完成。

另外，如果这过程中我们有了新的计划，直接用嘴告诉TARS-RPA-Agent就可以。

在记录下选中的产品信息之后，还会贴心地帮你保存下来。

以往，这些功能都得需要在已有组件上去做各种形式的流程实现，不仅复杂，而且难度高。

而现在，有了TARS大模型的加持，直接让TARS-RPA-Agent拥有「遇河搭桥」的能力。即便是没有可调用的组件，TARS-RPA-Agent也能够直接生成一个组件，让整个工作流畅通无阻。

对于那些没有编程能力的人来说，无疑是释放了生产效能。

不仅如此，在大模型的加持下，同样的操作也可以轻松泛化到其他平台上。而这一点的实现，只需要你把「京东」这两个字换成「淘宝」就可以了。

此外，在流程执行结束后，也还可以继续对话，并增加新的执行计划来完成流程能。

这些看起来十分简单的操作，实际上体现的是TARS-RPA-Agent三种强大的能力——视觉识别、逻辑推理，和代码生成。

首先，TARS大模型本质上是一个语言模型，能够分析推理，却「看不到」要执行的对象。但有了ISSUT视觉技术的加持，它就像是有了一双眼睛，能够进一步操作对象，驱动RPA去创建整个流程。

其次的逻辑推理能力，让TARS-RPA-Agent能够将各个组件变量的逻辑关系进行串联。

而代码生成能力，则是让它可以在没有基础组件的流程步骤中直接生成一段代码，封装成自建组件，在之后可以随时调用。

基于此，用户只需动嘴提出需求，Agent就能自动拆解任务，根据屏幕语言理解，够完成实时流程搭建和执行。

可以说，实在智能的TARS大模型在超自动化场景与Agent的融合和应用，是国内企业向大模型Agent场景化应用创新迈进的重要一步。

并在最终，实现人类意图的超越，成为驾驭桌面的终极力量。

「Agent」：AI引领下的下一个人机协同前沿

要知道，时间不是衡量伟大技术创新的标准，有时候，速度才是真正的量尺。

当今LLM（大语言模型）最主要的能力体现在，处理和生成内容。但结果的生成，需要以输入作为前提。

在当前快速发展的背景下，LLM仅仅满足于其拥有的聊天、创作、绘画、社交等功能是远远不够的。

而Agent作为一种能够感知环境，做出决策的智能体，则可以在循环中运行，生成自我导向的指令和操作，不依赖人类来指导对话，更加足以让人放开想象。

由此，我们可以让LLM去充当Agent的「大脑」。通过LLM和Agent的结合，能够让AI自动化处理更加复杂的任务。

如此一来，Agent智能助手就可以变身一个「数字打工人」，让我们工作效率大大提升，最终为人类提供更多的实用价值。

而这，也是大模型下一阶段的必然发展方向。

为了扩展LLM的应用，国外的研究人员提出了以AutoGPT，GPT-Engineer和BabyAGI等项目为代表的全新形式——集成大语言模型的Agent。

通过将大语言模型作为Agent的核心大脑，就可以实现复杂任务的分解，并在每个子步骤实现自主决策，无需用户参与即可解决问题。

比如，今年4月爆火的Auto-GPT，现在已经在GitHub上狂揽了147k星。

这个项目的意义在于，Auto-GPT就像是给GPT-4模型装了一个身体。在接到用户提交的任务之后，自己就能提出并执行相应的计划。不到5分钟，一个网站就搭建好了。

接入GPT-4大模型的GPT-Engineer也是同样的原理，只需动动嘴，给出一个提示，开发者就可以构建整个代码库。

然而，这些新晋顶流的Agent却有着不少自身的局限性，比如使用GPT-4 API费用高昂、需要一定的编程基础、应用范围也相对较窄。

甚至，因为GPT-4固有的局限性，比如胡说八道、犯推理错误，有时也会导致Auto-GPT等并不可靠。

除了学术上的探索外，在硅谷，已经有人找出了让Agent商业化落地的答案。

今年3月，由前OpenAI工程副总裁成立的初创企业Adept，一举狂揽3.5亿美元融资，除了General Catalyst和Spark Capital联合领投，还有众多机构和硅谷明星创业者跟投。

简单来说，Adept创造了一个名为Action Transformer（ACT-1）的「AI队友」，能够将文本命令转化为一系列行动。

比如，通过连接到Chrome浏览器的扩展程序，在人类的提示下进行某些操作，或者与Salesforce和电子表格配合，以往需要点击10次以上的复杂操作，一句话即可完成。

业界首家推出大模型Agent的公司

虽然，必须借助API才能实现软件调用的形式极大地限制了ACT-1的使用场景，但Adept依然拿到了强有力的融资。由此也可以看出，行业内对Agent办公的强大信心，和这种趋势的一致认可。

现在，随着技术的进一步发展，AI Agent更是成为了业界公认LLM落地的有效方式之一。

而国内公司的脚步，自然也没有落下。

作为国内首家推出大模型Agent的企业，实在智能才成立5年，就荣誉傍身。

连续3年获评AI准独角兽企业，通过国家高新技术企业及CMMI-5全球软件成熟度最高级别认证（全球不到1800家），拥有200余项独立自主知识产权、实际授予的发明专利53项，位列行业第一。

数十人的高水平算法团队，NLP、CV、以及OCR技术在国内均为第一梯队。

实在智能不断蝶变创新的背后，是技术研发实力深厚的体现，以及倍增的实际效益。

2020年，这家公司首次推出了RPA产品，并在业界首次提出「融合拾取」技术，让RPA拾取精度实现跨越式发展。

2022年，智能屏幕语义理解技术ISSUT的发布，让RPA戴上了「眼镜」，从「拖拉拽」过渡到「点选用」。这种更新的IPA模式，也让原本门槛极高的RPA工具变得人人可用。

2023年，实在智能凭借技术沉淀，再一次引领创新，将计算机视觉和大模型结合，推出TARS-RPA-Agent，这在全球的Agent领域也是不多见的，更是RPA领域的首创。

实在智能之所以选择Agent作为产品的下一个发展方向，就是因为人工智能生成为驱动管理系统提供了一种全新的方式，可以直接生成并执行各种可操作的业务流程。

通过整合AIGC，产品能够实现智能化，并为B端用户提供高效、可执行的解决方案。其中，LLM如果与企业管理软件融合好，大模型便能顺利落地。LLM的私有化部署能力，往往意味着厂商们更大的商机。

而TARS-RPA-Agent所依赖的LLM——实在智能的自研垂直TARS大模型，具有优异的文本生成、语言理解、知识问答、逻辑推理等核心能力。

在TARS大模型的加持下，一种全新的「TARS + X」模式应运而生。

如今，我们可以看到，ChatRPA为超自动化产品矩阵带来的变革升级，让未来办公「只动嘴不动手」。

与此同时，实在智能的首款和文档对话的产品Chat-IDP，也开创了文档交互、文档处理的新模式。

基于OCR+NLP的「智能文档审阅」IDP产品，更是已经达到全国领先，广泛应用于金融、教育、工业等各个行业。

从2023年开始，我们使用的电脑的方式，或将被这家起步虽晚但技术雄厚、带领行业弯道超车的AI准独角兽改变。