抽象
随着一些行业开始对大规模 3D 虚拟世界进行建模，对能够在 3D 内容的数量、质量和多样性方面进行扩展的内容创建工具的需求变得越来越明显。在我们的工作中，我们的目标是训练高性能的3D生成模型，这些模型可以合成纹理网格，这些网格可以直接被3D渲染引擎使用，从而立即可用于下游应用程序。之前关于3D生成建模的工作要么缺乏几何细节，要么在可以生成的网格拓扑中受到限制，通常不支持纹理，要么在合成过程中使用神经渲染器，这使得它们在普通3D软件中的使用变得不平凡。在这项工作中，我们介绍了GET3D，这是一种生成模型，可直接生成具有复杂拓扑，丰富几何细节和高保真纹理的显式纹理3D网格。我们将最近在可微曲面建模、可微渲染以及 2D 生成对抗网络方面的成功结合起来，从 2D 图像集合中训练我们的模型。GET3D能够生成高质量的3D纹理网格，从汽车，椅子，动物，摩托车和人类角色到建筑物，比以前的方法有了显着改进。
纸
生成的 3D 资产
无条件 3D 生成的定性结果。我们重点介绍了我们生成的带有纹理的 3D 网格的多样性和质量，包括：1. 椅子腿上的轮子;2.车轮，汽车的所有灯和窗户;3.动物的老鼠、耳朵、角;4. 后视镜，摩托车轮胎上的线框， 5.高跟鞋，人类的布料
几何体和纹理之间的解开
在每一行中，我们显示从相同的几何潜伏代码生成的形状，同时更改纹理潜伏代码。在每一列中，我们显示从相同的纹理潜在代码生成的形状，同时更改几何代码。我们的模型在几何体和纹理之间实现了良好的解开。
在每一行中，我们显示从相同纹理潜在代码生成的形状，同时从左到右插值几何潜在代码。在每一列中，我们显示从相同的几何潜伏代码生成的形状，同时从上到下插入纹理代码。此结果演示了它们中的每一个的有意义的插值。
潜在码插值
在每个子图中，我们在潜在空间中应用随机游走并生成相应的 3D 形状。GET3D能够在所有类别的不同形状之间生成平滑过渡。
生成新颖的形状
在每一行中，我们通过添加一个小噪声来局部扰动潜在代码。通过这种方式，GET3D能够生成外观相似的形状，但局部略有不同。
无监督材料生成
结合DIBR++，GET3D能够以完全无监督的方式生成材质并产生有意义的与视图相关的照明效果。
文本引导形状生成
Text-guided shape generation. We follow recent work StyleGAN-NADA , where users provide a text and we finetune our 3D generator by computing the directional CLIP loss on the rendered 2D images and the provided texts from the users. Our model generates a large amount of meaningful shapes with text prompts from the users.
Citation
@inproceedings{gao2022get3d,
title={GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images},
author={Jun Gao and Tianchang Shen and Zian Wang and Wenzheng Chen and Kangxue Yin
and Daiqing Li and Or Litany and Zan Gojcic and Sanja Fidler},
booktitle={Advances In Neural Information Processing Systems},
year={2022}
}
Further Information
GET3D builds upon several previous works:
- Learning Deformable Tetrahedral Meshes for 3D Reconstruction (NeurIPS 2020)
- Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis (NeurIPS 2021)
- Extracting Triangular 3D Models, Materials, and Lighting From Images (CVPR 2022)
- EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks (CVPR 2022)
- DIB-R++: Learning to Predict Lighting and Material with a Hybrid Differentiable Renderer (NeurIPS 2021)
- Nvdiffrast – Modular Primitives for High-Performance Differentiable Rendering (SIGRAPH Asia 2020)
Please also consider citing these papers if you follow our work.
@inproceedings{dmtet,
title = {Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D Shape Synthesis},
author = {Tianchang Shen and Jun Gao and Kangxue Yin and Ming-Yu Liu and Sanja Fidler},
year = {2021},
booktitle = {Advances in Neural Information Processing Systems}
}
@inproceedings{nvdiffrec,
title={Extracting Triangular 3D Models, Materials, and Lighting From Images},
author={Munkberg, Jacob and Hasselgren, Jon and Shen, Tianchang and Gao, Jun and Chen, Wenzheng and
Evans, Alex and M{\"u}ller, Thomas and Fidler, Sanja},
booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
pages={8280--8290},
year={2022}
}
Business Inquiries
For business inquiries, please visit our website and submit the form: NVIDIA Research Licensing
数据统计
相关导航
