当前位置：首页 > news >正文

（论文速读）3DTopia-XL：高质量3D资产生成技术

news 2025/9/2 6:56:20

论文题目：3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion（3DTopia-XL:缩放高质量的3D资产生成通过原始扩散）

会议：CVPR2025

摘要：各行各业对高质量3D资产的需求不断增长，这就需要高效和自动化的3D内容创建。尽管最近在3D生成模型方面取得了进展，但现有方法仍然面临优化速度、几何保真度和缺乏基于物理的渲染(PBR)资产的挑战。在本文中，我们介绍了3DTopia-XL，一个可扩展的原生3D生成模型，旨在克服这些限制。3DTopia-XL利用了一种新颖的基于原始的3D表示PrimX，它将详细的形状、反照率和材料场编码为紧凑的张量格式，便于使用PBR资产进行高分辨率几何形状的建模。在此基础上，我们提出了一个基于扩散转换器(DiT)的生成框架，包括1)原始Patch压缩，2)和潜在原始扩散。3DTopia-XL学习从文本或视觉输入生成高质量的3D资产。进行了广泛的定性和定量评估，以证明3DTopia-XL在生成具有细粒度纹理和材料的高质量3D资产方面显着优于现有方法，有效地弥合了生成模型与实际应用之间的质量差距。

源码链接：https://3dtopia.github.io/3DTopia-XL/

引言

近年来，随着元宇宙、游戏、电影等行业对高质量3D内容需求的激增，自动化3D资产生成技术成为了计算机视觉领域的研究热点。今天，我要为大家详细介绍一篇发表在2025年CVPR会议上的重要论文：《3DTopia-XL: Scaling High-quality 3D Asset Generation via Primitive Diffusion》，这篇论文提出了一个突破性的3D生成框架。

背景：3D生成面临的挑战

在深入了解3DTopia-XL之前，我们先来看看当前3D生成技术面临的主要困难：

现有方法的局限性

目前的3D生成方法主要分为三类：

基于Score Distillation Sampling (SDS)的方法
- 通过逐场景优化将2D扩散先验提升到3D表示
- 问题：优化耗时严重、几何质量差、多视角不一致
稀疏视图重建方法
- 利用大模型从单视角或多视角图像回归3D资产
- 大多基于triplane-NeRF表示
- 问题：参数效率低下，分辨率受限，多样性不足
原生3D生成模型
- 直接建模3D资产的概率分布
- 问题：很少能生成带有物理材料属性的高质量3D对象

关键痛点

这些方法共同面临的核心问题包括：

优化速度慢：生成一个3D模型往往需要数十分钟甚至更长时间
几何保真度低：生成的模型表面粗糙，缺乏细节
缺乏PBR支持：无法生成包含金属度、粗糙度等物理材料属性的完整资产

3DTopia-XL的创新解决方案

为了解决上述问题，研究团队提出了3DTopia-XL，这是一个基于原语扩散的可扩展原生3D生成模型。

核心创新一：PrimX表示法

PrimX是论文提出的关键创新，它是一种新颖的基于原语的3D表示方法。

设计原理

PrimX将3D网格的形状、纹理和材料信息编码到一个紧凑的N×D张量中：

N个原语：分布在网格表面的小体素
每个原语包含：
- 3D位置坐标 (3维)
- 全局缩放因子 (1维)
- 空间变化载荷 (a³×6维，包含SDF、RGB、材料信息)

技术优势

参数高效：在相同参数预算下实现最佳拟合质量
快速张量化：从纹理网格到PrimX的转换仅需1.5分钟，比triplane快7倍
可微分渲染：支持从3D和2D数据中学习

数学表达

PrimX通过加权组合原语来近似纹理网格：

F_V(x) = Σ[w_k(x) · I(X_k, (x-t_k)/s_k)]

其中：

w_k(x)是权重函数
I(X_k, x)是体素网格上的三线性插值
t_k, s_k, X_k分别是原语的位置、缩放和载荷

核心创新二：分层生成架构

3DTopia-XL采用了一个两阶段的生成框架：

1. 原语块压缩 (Primitive Patch Compression)

使用3D变分自编码器（VAE）对每个原语进行空间压缩：

将原语载荷从a³×6维压缩到(a/2)³×1维
采用下采样率为48的压缩策略
独立压缩每个原语块，保留局部细节

2. 潜在原语扩散 (Latent Primitive Diffusion)

基于Diffusion Transformer构建的生成模型：

28层Transformer架构
交叉注意力层整合条件信号
自注意力层建模原语间相关性
自适应层归一化注入时间步条件

核心创新三：高质量资产提取

论文提出了从PrimX到GLB文件格式的高质量转换算法：

几何提取

使用Marching Cubes算法在SDF的零等值面上提取3D形状
获得光滑、高质量的几何表面

纹理材料提取

在高分辨率UV空间（1024×1024）中执行UV展开
查询PrimX获取对应的反照率和材料值
使用膨胀和修复技术确保纹理图的平滑过渡

实验结果与性能分析

表示效率评估

在固定1.05M参数预算下的对比实验显示：

表示方法	运行时间	Chamfer Distance ↓	SDF PSNR ↑	RGB PSNR ↑	Material PSNR ↑
MLP	14分钟	4.502×10⁻⁴	40.73	21.19	13.99
MLP w/PE	14分钟	4.638×10⁻⁴	40.82	21.78	12.75
Triplane	16分钟	9.678×10⁻⁴	39.88	18.28	16.46
Dense Voxels	10分钟	7.012×10⁻⁴	41.70	20.01	15.98
PrimX	1.5分钟	1.310×10⁻⁴	41.74	21.86	16.50