3D点云的未来

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

点云的不同结果。从左到右依次为原始、阴影、有色、体素化、半角化的点云

接触3D点云以后，我们通常根据Reality Capture的发展进行相应的调整，以获得更加清晰的数据集。相信很多小伙伴都还记得第一次使用激光扫描仪时，对于它的运行速度和获取3D点云结果图都有着非常深刻的记忆。

3D扫描废弃羊毛洗涤设备

但我们是如何开展工作的呢？当时，该处理过程由几个手动步骤组成，例如过滤、配准、清理、分割、分类、划分网格、数字化…… 某些部分（主要是配准，过滤和划分网格）已经得到了很好的发展。但是依旧要为每个应用程序更改数据的性质（例如，从点云到矢量）？

手动数字化过程，可在Flyvast在线点云软件中创建dwg文件

有没有更有效的工作流程？

观察方式

“当我们在熟悉的场景上睁开眼睛时，我们会对可识别的物体产生直接的印象，这些物体在空间框架中连贯地组织着”。

1980年，特赖斯曼用简单的术语定义了人类视觉感知背后的复杂机制。对于正常人来说，这是我们的认知决策系统的主要信息来源。可以通过我们的大脑来扩展，可以迅速适应新的环境，并且通过我们的眼睛捕获的最重要的材料。实际上，大脑每秒仅接收三个“图像”，这些图像经过排序并与先验知识结合在一起，以创建我们所体验的现实。

这个图像有意义吗？

这种机制异常快捷高效，可以在看到红灯时刹车，或者是阅读本文并理解单词的含义。我们的视觉可以 保证“注意力定向”，即大脑无法充分了解周围环境以获得对场景的全面了解。

利用当今的计算能力实现这样的过程是可行的。虽然确实很难模仿这种操作，但是研究我们如何与环境交互信息可以更好地把握发展方向。

比较

首先，它转化为传感器的使用，该传感器可以捕获计算机可用的关键输入。

该图像中的每个矢量都由传感器（人工或自然）引导

然后，我们针对基于收集的数据和可访问的信息存储库的过程，以产生“语义表示”：将概念及其含义整合在一起的场景描述。在这种情况下，空间传感器扮演着我们的眼睛的角色，以获取数字空间资产，并利用现有知识进一步完善为语义表示。

传感器扮演我们眼睛的角色，空间框架成为语义表示，并且标记场景

这种可用性通常是第一个问题。我们的在线认知感知会使用我们的记忆，并且可以在很短的时间内获取所需的证据。使用计算机来镜像此阶段非常复杂，并且寻求一种尽可能多才多艺的解决方案是一项重要的挑战。

尝试虚拟化认知决策系统时的第二个瓶颈是创建语义表示，如下图所示。领域知识的收集和附加到底层空间数据与巨大的集成和挖掘有关数据类型，源或表示形式的复杂性有关。

3D点云表示与3D语义表示

数据

3D点云

主要挑战围绕着传感器收集的数据的特异性。当不需要深度提示时，单个光栅图像或视频流非常有用，但是要模拟我们的3D视觉认知，则需要更丰富的数据基础。现实捕获设备允许获取这样的详尽的3D空间信息，主要是作为点云：{X，Y，Z}（+属性）空间集合，该集合以数字方式代表传感器的强度和局限性所记录的环境。这些工具和获取方法的前景已经足够成熟，可以允许从对象范围到国家范围的真实世界的数字副本，如下所示。

捕获和组合不同数据集的实时多尺度点云

点云大数据

这些所谓的点云的获取变得更加容易，快捷，甚至可以通过非常低成本的解决方案进行访问。不幸的是，所有这些硬件演进都没有跟随其相应的软件演进，这受到5 V大数据问题的严重影响，如下所示。

点云环境下的大数据的五个V

连接大量传感器/方法可创建异构点云数据集（变量），并参与海量数据存储库（卷）的构造。反过来，它降低了处理效率（速度），并提出了将大量点数据转换为可信赖的（准确性）和可操作的信息（价值）的新需求。

可交付成果

在从数据收集到可交付的创建的经典过程中，点云获取和处理工作流通常取决于应用程序。尽管收集步骤可能特定于手头的传感器，但点云即交付的热潮却成为许多行业的实际选择。这种面向任务的场景主要将这些视为空间参考（专家用来创建其他可交付成果），因此是项目与现实的最紧密联系。它带来了准确的现实世界信息，可以基于数字现实进行决策，而不是解释性信息或最新信息。

如今，“大脑”已经成为桌子后面的专家，它将处理点云以提取可交付成果

此外，在特定于应用的交付物中转换点云的过程在时间/人工干预上非常昂贵。对于人类的专业知识来说，要充分地处理大量复杂的信息变得越来越复杂，这些信息通常在一个项目的不同参与者/支持者之间相互矛盾。因此，对于可持续系统而言，关键点是将大的点云数据转换为更有效的流程，从而开启有助于决策和信息提取的新一代服务。

我们需要找到大规模自动化和结构化的方法，以避免特定于任务的手动处理和不可持续的协作。

协同合作

作为人类，我们在大规模合作中collaboration壮成长。我们最大的成就通常是建立在信息，服务等的有效交换上。点云通常非常大，具体取决于收集了多少数据（通常在千兆字节（如果不是TB）的范围内），并且通常注定要存档，以作为创建新型数据和产品的可重用支持。这可能导致指数存储需求陷入僵局，输出之间不兼容，信息丢失以及复杂的协作。

这些实践还表明，没有试图概括框架的尝试，而框架反过来又可以作为进一步互操作性和概括的共同基础。这种缺乏会适得其反，并可能导致参与者之间数据混乱的重新分配，并使对每个独立针对某个应用程序的几个外包服务的依赖性恶化。这强调了研究互操作方案的强烈需求，在该方案中，来自不同域的许多用户可以使用一个点云，每个用户都有不同的需求。

反过来，这将在获取级别引入新的约束，以定义与推理引擎一起使用所需的3D表示的穷举性。当然，这为互连流程以及确保与不同源，卷和其他数据驱动参数的兼容性带来了其他挑战。

自动化

在此连续过程中，反思将从以人为中心的过程转向以自主工作流为导向的研究，以开发自动化和AI来加速推理过程。这对于在需要识别对象的3D捕获工作流中开发点云至关重要。

机器人研究在提供自主3D记录系统方面取得了飞跃，我们无需人工干预即可在其中获得环境的3D点云。当然，遵循这种想法发展自主勘测意味着需要将数据用于决策。没有上下文的收集的点云不允许做出有效的决策，并且需要专家的知识来提取必要的信息并为决策提供可行的数据支持。为完全自主的认知决策系统自动化此过程非常诱人，但提出了许多挑战，这些挑战主要与点云的知识提取，知识集成和知识表示有关。因此，必须专门设计点云结构，以允许计算机将其用作信息提取的基础，

AI驱动的自动对象以无人监督的方式识别的结果。每种颜色代表自动识别的不同类别

结果

所以是的，点云很大。是的，我们需要特定的“技巧”来存储和处理它们，但几十年前的视频也是如此！这对您的特定行业意味着什么？您将很快可以使用3D捕获环境的“大脑表示”，以便您根据自己的意愿进行查询。但是，当然，3D传感器的广阔前景使识别过程成为广阔的研究探索领域！

发展方向

这些想法基于屡获殊荣的论文“智能点云” [1]，其中包含有关解决这些问题的有效解决方案的更多技术细节。但是，当然，正如长期研究工作经常出现的情况一样，一开始就会遇到很多问题。

参考文献

Poux, F., 2019. The Smart Point Cloud: Structuring 3D intelligent point data. Liège, Committee: R. Billen, F. Remondino, P. Van Oosteroom, Y. Cornet, P. Hallot, P. Grussenmeyer. https://orbi.uliege.be/handle/2268/235520

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~