【3D渲染技术系列】AI 大模型贴图研究总结报告

近年来，AI大模型在贴图多样性生成领域取得了显著进展，尤其在结合扩散模型、多模态生成和几何对齐技术方面表现突出。以下是近三年（2022-2025年）的核心研究成果及成熟产品总结：

一、核心研究进展

1. 基于扩散模型的无光照纹理生成

• 腾讯Paint3D：提出一种两阶段框架，首先通过预训练的2D扩散模型生成多视角图像，反投影到3D网格生成粗糙纹理；然后在UV空间训练无光照扩散模型，利用位置图编码3D邻接信息，细化纹理并消除光照阴影。该方法在FID得分和用户调研中显著优于现有算法，生成的纹理可直接应用于PBR渲染管线。
• Meta Make-A-Texture：通过优化视点选择（仅6个最优视角）和快速反投影方法，在H100 GPU上实现3秒内生成1024x1024纹理，速度比传统方法提升17倍。其深度感知修复扩散模型支持多视图一致性，尤其适用于开放表面物体。

2. 多模态与几何对齐技术

• Text-Driven Diverse Facial Texture Generation：结合GAN和Score Distillation Sampling（SDS），生成符合PBR标准的面部纹理（如反照率、法线、粗糙度）。通过自监督学习克服3D数据依赖，实现文本引导的多样化纹理生成，多视图一致性显著提升。
• 高德MVPainter：构建多视角扩散生成器，融合法线、深度等几何条件，生成与3D模型精确对齐的纹理。其PBR属性提取器可从多视角图像中分离BaseColor、Roughness