在手机上实现实时的单眼3D重建
目标检测与深度学习
共 3289字,需浏览 7分钟
·
2021-08-02 23:06
点击左上方蓝字关注我们
转载自 | 计算机视觉工坊
一、背景与贡献
本文提出了以中多视图关键帧深度估计方法,该方法即使在具有一定姿态误差的无纹理区域中也可以鲁棒地估计密集深度,消除由姿势误差或无纹理区域引起的不可靠深度,并通过深度神经网络进一步优化了噪声深度。
本文提出了以中有效的增量网格生成方法,该方法可以融合估计的关键帧深度图以在线重建场景的表面网格,并逐步更新局部网格三角。这种增量网格方法不仅可以为前端的AR效果提供在线密集的3D表面重建,还可以确保将网格生成在后端CPU模块上的实时性能。这对于以前的在线3D重建系统来说是有难度的。
本文提出了带有单眼相机的实时密集表面网格重建管线,在手机上实现了单眼关键帧深度估计和增量网格更新的执行速度不超过后端的125ms/关键帧,在跟踪前端6DoF上快速到足以超过每秒25帧(FPS)。
二、算法流程
三、主要结果
原关键帧图像及其两个选定的参考关键帧图像;“室内楼梯”参考帧中的两个代表性像素及其极线绘制出从前端的6DoF跟踪来证明某些相机姿态误差的数据。
通过反投影进行的多视图SGM和相应点云的深度估计结果。
基于置信度的深度滤波后的结果及其对应的结果
在基于DNN的参考及其相应的点云之后的最终深度估计结果。
END
整理不易,点赞三连↓
评论
怎么在手机上剪辑视频?
怎么在手机上做剪辑???
最重要的当然是找到一款功能多、不收费、无水印的剪辑APP啦!新手入门的话,你可能听过VUE和大片;小影、Inshot和快剪辑则功能相对较多;巧影、Videoleap和VLLO则是较为专业的手机剪辑软件,可以实现很多电脑端剪辑软件才能实现的功能!
如果一定要用免费工具,还是推荐大厂的产品叭,例如某音旗下的剪映(可以在设置里关闭结尾的水印)和某手旗下的快影(需要分享到朋友圈关闭水印)!之前也给各位同学推荐过,5款手机端的免费剪辑APP:有什么免费的视频剪辑手机APP?也可以看下我最新的回答:
视频剪辑中的视频素材是从哪里找的?用什么电脑配置做视频剪辑比较好?如何提升自己的剪辑水平?手机上有哪些比较好用强大
章鱼剪辑
0
如何在手机上优雅的阅读 Word 文档
随着移动互联网的发展,我们越来越多的依赖手机。虽然手机甚至是 iPad 还不能完全胜任成为生产力工具,但至少使用手机进行办公已经成为可能。
对于大部分借助电脑进行办公的用户而言,Word 文档是日常工作中必不可少的一部分。由于屏幕尺寸的限制,在手机上查看 Word 文档是一件非常痛苦的事情。而今天要给大家介绍的 Doculus 就是在尝试改善大家在手机上阅读 Word 文档的体验。
安装完成后,应用中会预置3个 doc 文档便于大家了解这款产品。点击预置的文档进入下图右的查看模式。Doculus 提供了 Summary、Read 和 Original 三种阅读形式。
在 Summary 中应用对 Doc 文档的内容进行了提取,
5key
0
Open 3D Engine开源的实时 3D 开发引擎
开放3D引擎(O3DE)是一个Apache2.0许可的多平台3D引擎,起源于Amazon的lumberyard游戏引擎,能够帮助开发者和内容创作者能够制作AAA级游戏、电影级3D世界和高保真模拟,而无
Open 3D Engine开源的实时 3D 开发引擎
0