[论文翻译]Pandora3D: 高质量3D形状与纹理生成的综合框架
本报告提出了一个从多样化输入提示(包括单张图像、多视角图像和文本描述)生成高质量3D形状和纹理的综合框架。该框架包括3D形状生成和纹理生成两部分。(1) 3D形状生成流程采用变分自编码器 (VAE) 将隐式3D几何编码到潜在空间中,并使用扩散网络生成基于输入提示的潜在表示,同时通过修改增强了模型容量。此外,还探索了一种替代的艺术家创建网格 (AM) 生成方法,在简单几何体上取得了良好的效果。(2) 纹理生成涉及多阶段过程,首先生成正面图像,然后生成多视角图像,进行RGB到PBR纹理转换,并进行高分辨率多视角纹理优化。在每个阶段都引入了一致性调度器,以确保推理过程中多视角纹理之间的像素级一致性,从而实现无缝集成。