卡内基梅隆大学 | DarkGS: 移动光源3DGS!从泰坦尼克号这一幕说起

点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

本次分享我们邀请到了卡内基梅隆大学计算机学院在读博士Tianyi Zhang，为大家详细介绍他们的工作：DarkGS.如果您有相关工作需要分享，欢迎文末联系我们

DarkGS: Learning Neural Illumination and 3D Gaussians Relighting for Robotic Exploration in the Dark
DarkGS代码：https://github.com/tyz1030/darkgs
光源标定软件代码：https://github.com/tyz1030/neuralight

直播信息

时间

2024年6月25日(周二)晚上20：00

主题

DarkGS: 移动光源3DGS！从泰坦尼克号这一幕说起

直播平台

3D视觉工坊哔哩哔哩

扫码观看直播，或前往B站搜索3D视觉工坊观看直播

3DCV视频号也将同步直播

嘉宾介绍

Tianyi Zhang

卡内基梅隆大学计算机学院在读博士。研究方向为光学感知与三维重建在机器人上的应用。

直播大纲

1. 3D Gaussian Splatting与相关背景
2. DarkGS论文解读
3. 代码讲解
4. 未来方向展望与讨论

参与方式

Demo

背景&摘要

搭载有相机和光源的移动机器人平台常被用于探索黑暗中的未知环境，例如深海探索、地下建图、应急抢险与夜间巡检等等。在机器人移动的过程中，相机视角与光源也随之整体移动，这会在建图过程中导致场景中的亮度发生变化。传统的基于特征点的SLAM和SfM框架可以通过选用对亮度变化鲁棒的视觉特征点来避免受到移动光源的影响。同时，基于重投影误差和光束平差法的传统优化方法具有不受亮度影响的先天优势。但是我们能否进一步将NeRF/3DGS应用于这类应用场景？

在DarkGS出现之前，答案是否定的。NeRF和3DGS的损失函数都基于光度损失（Photometric Loss），在光源移动的情况下会受显著影响。学术界已有的方法都基于辐射（Radiance）假设，既场景亮度不随相机移动而改变；或假设环境光不随相机移动而改变。这些假设在以上探讨的机器人案例中都会失效。

人类大脑在构建地图记忆时，可以通过持续移动的局部照明恢复出全局外观。我们坚信在3DGS的框架下，算法也能够做到这一点。类比多模态多传感器的内外参标定（相机，惯导，激光雷达等），我们首先开发了一个数据驱动的移动光源模拟器（Neural Light Simulator），用于建模和标定相机-光源系统。在此基础上，我们应用了基于反射场的Gaussian Splatting方法，实现了移动光源照明下的场景重建与重照明。我们称之为，DarkGS。

相机-光源标定

类似于相机惯导等传感器的标定，我们也用AprilTag制作了一块标定板：白墙上画一个矩形，四个角贴四个tag，中间留白。假设墙面1）反射率均匀，2）只有漫反射，3）是一个平面。采集数据是通过定位四个角的tag，解PnP可以获得墙面的位置和法向量。如果有光源的位姿，亮度分布函数，亮度衰减函数，环境光强度和相机参数，就可以渲染出光照下的标定墙。反之，通过光度误差，可以以反向传播的方式优化以上所有和光源相关的参数。

高斯模型

完成相机-光源标定之后，我们就可以采集黑暗环境中的图片，构建DarkGS。我们对每个高斯的反射性质进行建模，优化每一个高斯的反射率和法向量。从而能够在光源移动的情况下，构建出一致的三维高斯模型。

实验

注：本次分享我们邀请到了卡内基梅隆大学计算机学院在读博士Tianyi Zhang，为大家详细介绍他们的工作：DarkGS.如果您有相关工作需要分享，欢迎联系：cv3d008