Shap-E图文转 3D 模型

联合创作 · 2023-09-25 22:57

Shap-E 是 OpenAI 推出的一个用于 3D 资产的条件生成模型。与最近关于三维生成模型的工作不同的是,Shap-E 直接生成隐式函数的参数,这些参数可以被渲染成纹理网格和神经辐射场。

开发团队分两个阶段训练 Shap-E:首先,训练一个编码器,该编码器确定性地将 3D 资产映射到隐式函数的参数;其次,在编码器的输出上训练条件扩散模型。当在配对的 3D 和文本数据的大型数据集上进行训练时,生成的模型能够在几秒钟内生成复杂多样的 3D 资产。

与点云 (point clouds)上的显式生成模型 Point-E 相比,Shap-E 收敛速度更快,并且尽管对更高维度的模型进行建模,但仍能达到相当或更好的样本质量,多表示输出空间。


看起来像鳄梨的椅子
一架看起来
像香蕉的飞机
宇宙飞船
一个生日蛋糕 一把看起来
像树的椅子
一个绿色的靴子
一只企鹅 宇部冰淇淋甜筒 一碗蔬菜

更多详情可参阅 samples.md

浏览 14
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报