智能物联2.0提速，边缘智能涌现：云重担下放、NPU加持、Tiny AI注智

这是我的第324篇专栏文章。

人工智能大模型与硬件的融合正在如火如荼地进行，但在B2C消费端似乎遇到了阻力。

据The Information报道，苹果前设计总监Jony Ive和OpenAI的CEO Sam Altman已联手设计一款AI驱动的个人设备，并正在寻求至少10亿美元的融资。然而，过去几周发布的基于最新AI大模型驱动的B2C智能硬件却受到了讽刺和批评，如Humane Pin和Rabbit R1。第一批购买者认为，这些设备的易用性明显不如智能手机。

尽管大模型硬件在B2C领域遇阻，但在B2B领域，大模型与边缘计算的结合却取得了突破性进展，推进了智能物联2.0的演进，朝着“通感智值一体化”迈出了坚实一步。

随着越来越多企业开始将传感器、通信网关、控制器、执行器等整合，形成了“通感智值一体化”，即通信、感知、智能、价值的一体化。

本文将探索大模型与边缘计算结合的最新进展，以及“通感智值一体化”如何创造更大价值。

边缘智能三大趋势：云训练下放、NPU加速、Tiny AI赋能

边缘计算是指在数据产生或消费源附近部署智能计算资源。根据计算能力和部署位置的不同，边缘可分为基础设施边缘（厚边缘）、设备边缘（薄边缘）和终端边缘（微边缘）三种类型。

• 基础设施边缘（厚边缘）：通常位于数据中心内，配备了高性能的中央处理器(CPU)或图形处理器(GPU)，专门用于处理计算密集型任务，如数据存储和分析。典型的厚边缘设备包括蜂窝无线基站、区域性数据中心和某些特定的中央机房。

• 设备边缘（薄边缘）：包括智能控制器、网络设备和计算机，它们负责聚合来自传感器和其他数据生成设备的数据。常见的薄边缘设备有物联网网关、交换机、路由器和本地服务器。

• 终端边缘（微边缘）：指那些直接生成数据的智能传感器和设备。

边缘智能是指将人工智能模型部署在边缘设备上，使其能够在无需持续连接云端的情况下实现AI推理和决策。

当前，边缘智能正呈现出三大发展趋势：厚边缘AI训练、薄边缘和微边缘NPU加速，以及微边缘Tiny AI赋能。

1. 云端重担下放，AI模型训练迁移至厚边缘

随着高性能CPU和GPU的集成，人工智能模型训练正在从集中式云端向边缘服务器或微型数据中心转移。这不仅降低了对云基础设施的依赖和成本，还增强了数据隐私保护，提高了边缘设备上人工智能应用的响应速度。

这一趋势有助于实现数据的就地处理和分析，减少了数据在网络中的传输，从而降低了延迟和安全风险，提高了AI应用的实时性和可靠性。

例如MAINGEAR公司和Phison公司联合推出的PRO AI工作站，以及Aetina公司的AIP-FR68边缘AI训练平台，都体现了这一趋势。

2. NPU芯片加持，微边缘和薄边缘AI推理加速

在微边缘和薄边缘设备中集成专用的神经网络处理器(NPU)，可以显著增强其AI推理能力，同时节省功耗、优化热管理，实现高效的多任务处理。这使得AI能够在可穿戴设备和传感器节点等对功耗和延迟敏感的应用中得到广泛部署。

NPU的加入使得边缘设备具备了强大的AI计算能力，可以在本地完成复杂的推理任务，大大减少了对云端的依赖，提高了数据处理的实时性和隐私性。

NXP的新型MCX N系列微控制器(MCU)和ARM的Cortex A55+Ethos U65 NPU设置，展示了NPU集成带来的性能提升。NXP的MCU机器学习推理速度比单独的CPU内核快42倍；ARM则通过设置将70%的AI推理从CPU卸载到NPU，推理性能提高了11倍。

3. Tiny AI注智，传统设备秒变微边缘AI

微型人工智能/机器学习(Tiny AI/ML)则进一步将AI能力引入资源受限的微边缘设备。通过将小型AI/ML模型集成到日常物品和工具中，使其能够自主执行决策功能，无需云端连接，既增强了数据隐私和安全，又赋予了传统设备智能化的能力。

Tiny AI的出现大大拓展了AI的应用场景和范围，使得传统的“哑”设备也能够变得智能化，具备一定的感知、学习和决策能力，为万物智联2.0时代的到来奠定了基础。

例如MY VOICE AI的NANOVOICE语音验证方案、SensiML的智能钻头异常检测模型，以及Nordic Semiconductor的Thingy:53原型设备，都是微型AI/ML在微边缘设备上的创新应用。比如Thingy:53使用嵌入式微型机器学习模型来感测设备振动，该系统可以在检测到异常情况时切断设备或机器的电源。

蜂窝物联网模组迈向新阶段，AI算力成关键驱动力

随着人工智能与蜂窝物联网的不断融合，将支持AI的芯片组直接集成到物联网设备中已成为一种新兴趋势。这标志着智能、自主的物联网系统正在崛起，能够在本地进行实时决策。

这一趋势有望为智慧城市和工业制造等领域带来革命性的变革，不仅可以实现实时数据处理、降低延迟，还能通过更小巧的设备尺寸提高效率。

在这股浪潮中，智能模组和AI蜂窝物联网模组成为推动市场增长的重要引擎。这类模组搭载了嵌入式计算资源，能够直接在物联网设备上执行复杂的数据分析，甚至是AI推理任务。预计到2027年，这些先进模组的出货量将以76%的年复合增长率持续攀升。

事实上，业界常提及的”算力模组”概念与智能模组和AI蜂窝物联网模组高度重合，代表了蜂窝物联网技术的最新发展方向。市场研究机构Counterpoint也发现，2023年模组厂商出货的产品中，约12%在软硬件层面具备AI功能。这些模组在汽车、路由器/CPE和PC等高端市场越来越受青睐，有助于应对这些领域日益增长的数据负载。

总体而言，蜂窝物联网模组的发展历程可划分为三个重叠的阶段：传统模组、智能模组和AI使能模组。

• 传统物联网模组作为基本的连接模块，主要功能是实现蜂窝通信，仅包含支持通信的芯片组，无需额外功能。

• 智能物联网模组在提供连接功能的同时，还集成了额外的计算硬件，如中央处理器(CPU)和图形处理器(GPU)。

• AI使能物联网模组则在智能模组的基础上，进一步集成了专用的AI加速芯片组，如神经处理单元(NPU)、张量处理单元(TPU)或并行处理单元(PPU)等。

相比传统模组和智能模组，AI使能的蜂窝物联网模组问世时间相对较短。但它有望彻底改变各行各业的面貌。通过将AI直接集成到物联网模组中，AI推理可以在边缘侧实时执行，实现快速、自主的本地决策。这不仅减少了蜂窝网络上的数据传输，节省了带宽和成本，还能满足时间敏感型应用的即时决策需求。

此外，在连接模组中嵌入AI芯片组可以节省空间，简化物联网设备的外形尺寸。简而言之，这些模组正从单纯的数据通信推进器，演变为能够独立处理工作负载的智能边缘节点。

例如广和通公司的智能割草机器人解决方案，就是AI蜂窝物联网模组的一个典型应用。它利用高通智能模块实现强大的设备端计算，不仅能绘制环境图、避开障碍物，还能经济高效地识别割草范围，而无需持续连接云端。这充分展示了支持AI芯片组在物联网设备中的实际价值。

创通联达公司的EB3G2物联网边缘网关，则利用高通SoC执行设备上的AI模型。该SoC可实现即时数据分析，减少延迟和云依赖。网关内置的算法能够进行人体检测和跟踪，对安全和流量管理等场景大有裨益。

通感智值一体化的未来：泛在智能、极致体验、生态共荣

随着边缘智能的不断发展和蜂窝物联网模组的升级迭代，通感智值一体化正迎来更加广阔的发展前景。未来，我们有望看到泛在智能、极致体验和生态共荣成为这一领域的主旋律。

1. 泛在智能：从感知到决策的全面智能化

未来，通感智值一体化将实现从感知到决策的全面智能化。得益于Tiny AI等技术的进步，越来越多的传统传感器和设备将具备微边缘AI能力，能够在本地完成初步的数据分析和决策，真正实现”智慧感知”。

同时，在薄边缘和厚边缘侧，NPU等专用芯片的加持将进一步提升AI推理和训练的速度与效率，推动更多复杂AI应用的落地。随着AI能力向边缘侧的不断下沉，未来的通感智值系统将呈现出无所不在、无时不在的泛在智能特征。

2. 极致体验：实时响应、高效协同的用户体验

通感智值一体化的另一重要发展方向，是为用户带来实时响应、高效协同的极致体验。当前，边缘智能已经能够显著降低数据传输延迟，但仍难以满足工业元宇宙、无人驾驶等延迟敏感型应用的苛刻要求。

未来，通过引入5G/6G等新一代通信技术，并进一步升级边缘侧的计算、存储架构，有望将端到端时延降至毫秒级，甚至是微秒级，从而实现真正的实时交互。

此外，随着异构算力的协同能力不断增强，不同层级的智能设备之间将能够更加高效地协作，提供无缝衔接的沉浸式体验。

3. 生态共荣：开放融合、多方共赢的发展格局

随着通感智值一体化生态日趋成熟，开放融合、多方共赢将成为行业的主旋律。一方面，软硬件开源平台的兴起，将加速边缘智能技术的普及和迭代，让更多中小企业和创新团队参与到生态建设中来。

另一方面，跨界融合将成为常态，芯片厂商、设备制造商、通信运营商、软件服务商等产业链各方将加强合作，充分发挥各自优势，共同推动行业的良性发展。

此外，边缘智能与云计算、区块链等技术的融合创新，也将催生出更多全新的应用场景和商业模式，为通感智值一体化注入新的活力。

总而言之，通感智值一体化正处于从量变到质变的关键时期。随着泛在智能、极致体验、生态共荣等趋势的不断深入，边缘侧智能化将进入一个全新的发展阶段。

写在最后

纵观全文，我们不难发现，通感智值一体化正以前所未有的速度和广度重塑着智能物联网的发展格局。

从云端到边缘，从感知到决策，从芯片到模组，从算法到应用，智能正在渗透和重构物联网的方方面面。这一切，无不昭示着一个全新时代的到来。

在这个时代，边缘不再是云的附庸，而是智能的重要载体和源泉；感知不再是盲目的数据采集，而是具备分析和决策能力的智慧行为；连接不再是简单的数据传输，而是智能协同与融合的纽带。通感、智能、价值，正在深度交融，共同编织出一张覆盖全球的智能物联2.0大网。

参考资料：
Apple’s Jony Ive and OpenAI’s Sam Altman seek funds for new AI personal device，作者：Rachael Davies，来源：readwrite.com
The AI Hardware Dilemma - Why new devices are flopping - and how they might succeed，作者：EVAN ARMSTRONG，来源：every.to
The top 6 edge AI trends—as showcased at Embedded World 2024，来源：IoT Analytics