高斯过程相关研究的新进展的8篇论文推荐（统计 +人工智能）-轻识

来源：DeepHub IMBA
本文约2400字，建议阅读10+分钟
本文为你总结今年5月以来，高斯过程相关研究的新进展。

1、Low-Precision Arithmetic for Fast Gaussian Processes

Wesley J. Maddox, Andres Potapczynski, Andrew Gordon Wilson

https://arxiv.org/abs/2207.06856

低精度算法对神经网络的训练产生了变革性的影响，降低了对计算量、内存和算力的需求。但是高斯过程（GPS）中却很少使用低精度的算法，这是因为GPS的复杂线性代数在低精确度中是不稳定的。论文研究了在半精度训练GPs时可能发生的不同的失效模式。为了避免这些失效模式，提出了一种多层面的方法，包括共轭梯度与重新正交化、混合精度和预处理。论文提出的这些方法在大范围设置的低精度下显著提高了共轭梯度的数值稳定性和实际性能，使GPs能够在10小时内在单个GPU上训练180万个数据点，而无需任何稀疏逼近。

2、Markovian Gaussian Process Variational Autoencoders

Harrison Zhu, Carles Balsells Rodas, Yingzhen Li

https://arxiv.org/abs/2207.05543

深度生成模型广泛用于高维时间序列的建模，如视频动画、音频和气候数据等。序列变分自编码器已被成功地应用于许多应用中，许多变体模型依赖于离散时间方法和递归神经网络(RNNs)。连续时间方法最近获得了新的进展，在不规则采样时间序列的情况下，它们可以比离散时间方法更好地处理数据。这里其中一类是高斯过程变分自编码器(GPVAEs)，VAE先验设置为高斯过程(GPs)，允许通过核函数和潜在空间的可解释性对归纳偏差进行显式编码。但是GPVAEs的一个主要限制是它继承了与GPs相同的三次计算开销。在这篇论文中，利用马尔可夫GPs的等效离散状态空间表示，通过卡尔曼滤波和平滑实现线性时间GP求解器。通过测试任务显示，论文的方法表现良好，特别是优于基于rnn的模型。

3、Adaptive Nonlinear Regulation via Gaussian Process

Lorenzo Gentilini, Michelangelo Bin, Lorenzo Marconi

https://arxiv.org/abs/2206.12225

该论文通过提出基于学习的基于内部模型的设计策略来处理非线性系统的输出调节问题。从最近在提出的自适应内部模型设计技术中得到了一些灵感，并通过高斯过程回归器扩展它。基于学习的适应性是通过遵循“事件触发”的逻辑来执行的，这样可以使用混合工具来分析结果闭环系统。与最近中提出的方法不同，在论文方法中友元应该属于一个特定的有限维模型集，并且只需要理想稳态控制动作的平滑性。论文还通过数值模拟证明了所提出的方法如何优于以往的方法。

4、Additive Gaussian Processes Revisited

Xiaoyu Lu, Alexis Boukouvalas, James Hensman

https://arxiv.org/abs/2206.09861

高斯过程模型是一类具有丰富表征能力并且灵活的非参数模型。通过使用加性结构的高斯过程，可以对复杂的响应进行建模，并同时保持可解释性。以前的工作表明，加性高斯过程模型需要高维相互作用项。论文提出了正交加性核(OAK)，它对加性函数施加了一个正交约束，这使可识别的、低维的函数关系表示成为可能。将OAK核连接到函数方差分析分解，并使用改进的收敛速度更快稀疏计算方法。通过使用少量的可加性低维项，证明了OAK模型实现了与黑箱模型相似或更好的预测性能，同时保留了可解释性

5、Gradient-based explanations for Gaussian Process regression and classification models

Sarem Seitz

https://arxiv.org/abs/2205.12797

高斯过程已被证明是一种可靠和有效的概率机器学习方法。由于最近和当前的进展，利用GPs对复杂数据进行建模变得越来越可行。如果你想在神经和深度学习方法找到一个有趣替代方案，高斯过程可以说是目前最先进的机器学习方法。人们对所谓的可解释方法越来越感兴趣——本质上是旨在使机器学习模型的决策过程对人类透明。当不合逻辑或有偏见的推理可能导致对人类实际不利的后果时，特别需要这种能够进行解释的方法。理想情况下，可解释的机器学习应该有助于发现模型中的缺陷，并帮助后续的调试过程。机器学习可解释性的一个活跃的研究方向是基于梯度的方法，它已成功地应用于复杂神经网络。考虑到GPs在差分条件下是封闭的，基于梯度的GPs可解释性是一个有前景的研究领域。本文主要通过梯度来解释GP分类器，与GP回归相反，导数GP并不能够直接获得。

6、Real-Time Trajectory Planning for Autonomous Driving with Gaussian Process and Incremental Refinement

Cheng Jie, Chen Yingbing, Zhang Qingwen, Gan Lu, Liu Ming

https://arxiv.org/abs/2205.11853

动态环境下的实时运动轨迹规划是自动驾驶的关键和挑战。在这篇论文中，通过迭代和增量路径速度优化，提出了一种用于复杂动态场景下自动驾驶的高效轨迹规划系统。利用规划问题的解耦结构，基于高斯过程的路径规划首先考虑静态避障和曲率约束并在Frenét帧中生成一个连续的弧长参数化路径。并引入了一种高效的s-t图搜索方法，在生成的路径上寻找速度剖面，以应对动态环境。最后对路径和速度进行增量和迭代优化，确保动力学可行性。在各种静态障碍物和动态代理的仿真场景验证了所提方法的有效性和鲁棒性。实验结果表明，该方法可以在20 Hz的频率下运行。

7、Bayesian Active Learning with Fully Bayesian Gaussian Processes

Christoffer Riis, Francisco N. Antunes, Frederik Boe Hüttel, Carlos Lima Azevedo, Francisco Camara Pereira

https://arxiv.org/abs/2205.10186

偏差-方差权衡是机器学习中一个众所周知的问题，它会在可用数据越少的情况下变得越明显。在主动学习中，标记数据稀缺或难以获得，忽略这种权衡会导致低效和非最优查询，从而导致不必要的数据标记。在这篇论文中，重点研究了高斯过程的主动学习。对于GP算法，通过对长度尺度和噪声项两个超参数的优化来进行偏方差权衡。考虑到超参数后验的最优模态等价于最优偏差-方差权衡，对该后验进行了近似，并利用它设计了两个新的获取函数。第一个是 Query-by-Committee(B-QBC)的贝叶斯变体，第二个是通过混合高斯过程查询(QB-MGP)公式显式最小化预测方差的扩展。在6个常见的模拟中，以经验证明B-QBC平均而言，实现了最佳的边际似然，而QB-MGP实现了最佳的预测性能。论文研究表明，在获取函数中合并偏差-方差权衡可以减轻不必要和昂贵的数据标记。

8、High-dimensional additive Gaussian processes under monotonicity constraints

Andrés F. López-Lopera, François Bachoc, Olivier Roustant

https://arxiv.org/abs/2205.08528

论文引入了一个考虑单调性约束和可扩展到高维的加性高斯过程框架。首先，证明框架能够满足输入空间中所有的约束。还证明了更普通的的分项线性不等式约束也可以进行类似的处理，例如分项凸性。其次，提出了用于序列降维的加性MaxMod算法。通过连续最大化平方范数准则，MaxMod识别输入维度并优化最重要的维度。这个方法可以用线性代复杂度显式地计算出来。最后，提供了完整框架的开源代码。在单调性约束下，在几个具有数百个维度的综合例子中以及在实际应用中证明了该方法的性能和可扩展性。

编辑：黄继彦

校对：林亦霖