Fine Structure-Aware Sampling（AAAI 2024）论文笔记和启发

本文解决的问题

传统的基于Pifu的人体三维重建一般通过采样来进行学习。一般选择的采样方法是空间采样，具体是在surface的表面随机位移进行样本的生成。这里的采样是同时要在XYZ三个方向上进行。所以这导致了一个问题： 点的位移方向是没有任何约束的，也就是说在任意方向均可采样。可是者在一定的程度上就对确定surface产生了挑战。 因为我们采样的最终目的其实是为了确定目标平面，但是因为方向是随机的就很难准确的找到surface的具体位置，就出现了ambiguity。 就这个问题进行优化的方式比如DOS，限制了XY方向上的采样，只从Z方向上进行采样，标签由离相机方向最近的平面来决定的。这减小了一些模糊的情况，但是不够鲁棒。

本文提出的方法以及启发

FSS在DOS的基础上提出的新的改进，提出的是双样本点的方法，也就是说，在平面内和平面外分别确定两个点，这两个点之间的连线的中间点就必落在 surface在很大的程度上解决了模糊定位的情况，surface的位置就很清晰了。
除此之位的，本文还对较薄的身体位置进行了针对性的设计。对于相对较薄的身体部位而言，根据厚度去调整位移量，从而做到保留住像手指，耳朵，这样的细小的人体结构。并通过设计锚点样本，在这些较薄的区域内，设置一个锚点用于纠正bias。这里的BIAS主要是来自于标签的值，通常情况下，我们会认为大于0.5的值是在surface里面，小于0.5的值是在surface里面，等于0.5的值是surface上面，但是整体统计看来，最大的值也才0.6 所以模型会偏向于将点的值归类为在平面外面。

还有一点可以启发之后的工作，是用tri-pifu的模块代替了MLP 的解码工作。一般的方法都会通过marching cubes来提取网格，这个过程的计算成本特别高而且不可微。 这里改进的是将特征体积视为隐式函数的3D空间（D×H×W），通过Sigmoid激活直接输出0到1的占用值，无需MLP解码。这使得厚度可通过沿z轴求和特征体积来高效计算。