【三维重建工具】NeRFStudio、3D GaussianSplatting、Colmap安装与使用指南

git clone https://github.com/nerfstudio-project/nerfstudio.git
AI写代码javascript
运行
1

cd nerfstudio
pip install --upgrade pip setuptools
pip install -e .
AI写代码javascript
运行
1
2
3

conda create --name nerfstudio -y python=3.8
conda activate nerfstudio
python -m pip install --upgrade pip
AI写代码javascript
运行
1
2
3

pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 -f https://download.pytorch.org/whl/torch_stable.html
AI写代码javascript
运行
1

pip install ninja git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch
AI写代码javascript
运行
1

git clone git@github.com:nerfstudio-project/nerfstudio.git
cd nerfstudio
pip install --upgrade pip setuptools
pip install -e .
AI写代码javascript
运行
1
2
3
4

conda install -c conda-forge ffmpeg
AI写代码javascript
运行
1

conda install -c conda-forge colmap
conda install -c conda-forge mpir
AI写代码javascript
运行
1
2

cd ..
git clone --recursive https://github.com/cvg/Hierarchical-Localization/
cd Hierarchical-Localization/
pip install pycolmap # windows不支持
python -m pip install -e .
AI写代码javascript
运行
1
2
3
4
5

pip install git+https://github.com/NVlabs/tiny-cuda-nn/#subdirectory=bindings/torch
AI写代码javascript
运行
1

sudo apt-get install \git \cmake \ninja-build \build-essential \libboost-program-options-dev \libboost-filesystem-dev \libboost-graph-dev \libboost-system-dev \libeigen3-dev \libflann-dev \libfreeimage-dev \libmetis-dev \libgoogle-glog-dev \libgtest-dev \libsqlite3-dev \libglew-dev \qtbase5-dev \libqt5opengl5-dev \libcgal-dev \libceres-dev
AI写代码javascript
运行
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

git clone https://github.com/colmap/colmap.git
cd colmap
mkdir build
cd build
sudo cmake .. \-D CMAKE_CUDA_COMPILER="/usr/local/cuda-11.3/bin/nvcc" ../CMakeLists.txt \-D CMAKE_CUDA_ARCHITECTURES='89'    
cd ..
sudo make -j24 
sudo make install
AI写代码javascript
运行
1
2
3
4
5
6
7
8
9
10

colmap gui
AI写代码javascript
运行
1

ns-process-data images --sfm-tool hloc --feature-type superpoint --matcher-type superglue --data '/path/to/IMG'  --output-dir '/path/to/IMG' 
AI写代码javascript
运行
1

colmap point_triangulator   
--database_path /home/data/garden/colmap/sparse/0/database.db  
--image_path /home/data/garden/images      
--input_path /home/data/garden/colmap/sparse/0     
--output_path /home/data/garden/colmap/sparse/1    # 新生成的点云保存路径，可以提前创建好，替代原来的sparse/0
AI写代码javascript
运行
1
2
3
4
5

colmap mapper   --database_path /home/xzz/instruct-gs2gs/data/liangcang2-2copy/distorted/sparse/0/database.db  
--image_path /home/data/garden/images    
--input_path /home/data/garden/colmap/sparse/0     
--output_path /home/data/garden/colmap/sparse/0+    # 新生成的0+路径，可以替代原始的sparse/0
--Mapper.fix_existing_images 1
AI写代码javascript
运行
1
2
3
4
5

# 1.windows命令：
E:\COLMAP-3.9.1-windows-cuda\COLMAP.bat model_orientation_alignerhel --help  
# 2.ubuntu命令：
colmap model_orientation_aligner --help
# (大概需要 --image_path arg   --input_path sparse/0   --output path arg  三个输入参数 )
AI写代码javascript
运行
1
2
3
4
5

0.premilinary：input1路径下的图片转fl1.txt

import os

def write_filenames_to_txt(folder_path, output_txt_path):

# 获取文件夹中所有文件（不包含子文件夹里的文件）

filenames = [f for f in os.listdir(folder_path) if os.path.isfile(os.path.join(folder_path, f))]

# 写入到txt文件中

with open(output_txt_path, ‘w’, encoding=‘utf-8’) as f:

for name in sorted(filenames):

f.write(f“{name}\n”)

print(f“已将 {len(filenames)} 个文件名写入 {output_txt_path}”)

# 示例路径（请替换为你自己的）

folder_path = r‘/home/xzz/视频/xytgarden/input1’

output_txt_path = r‘/home/xzz/视频/xytgarden/fl1.txt’

write_filenames_to_txt(folder_path, output_txt_path)

1.对两个文件夹一起跑 特征提取，得到new.db。然后跑colmap mapper 得到稀疏点云（input1 图片路径，fl1.txt为以上perliminary代码生成）

colmap mapper
–database_path /home/xzz/视频/xytgarden/514/new.db
–image_path /home/xzz/视频/xytgarden/input1
–image_list /home/xzz/视频/xytgarden/fl1.txt
–output_path /home/xzz/视频/xytgarden/sparse/1

2.同理跑另一个文件夹input1 ，然后合并两个稀疏点云sparse1与sparse2

colmap model_merger
–input_path1 /home/xzz/视频/xytgarden/sparse/0/0
–input_path2 /home/xzz/视频/xytgarden/sparse/1/0
–output_path /home/xzz/视频/xytgarden/01

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32

四、使用NeRFStudio进行三维重建

4.1.通过colmap生成数据集，也可从网上，如https://data.nerf.studio/nerfstudio/ 下载lego 乐高玩具测试集，并拷贝到nerfstudio的data/nerfstudio目录下，data/nerfstudio需自己创建;

4.2.将colmap数据转化为transforms.json（需要在nerfstudio环境下）：

ns-process-data images --data data/liangcang4k/images --output_dir data/liangcang4k/ns --skip_colmap --skip_image_processing --colmap_model_path colmap/sparse/0

备用命令：

ns-process-data images –data data/nerfstudio/lego/train –output-dir data/nerfstudio/lego –camera-type perspective –matching-method exhaustive –sfm-tool colmap –crop-factor 0.0 0.0 0.0 0.0

• 1
• 2
• 3
• 4

4.3.训练命令如下：迭代产生的checkpoint存储在outputs/lego/nerfacto目录下

ns-train nerfacto --data data/nerfstudio/lego --vis viewer --max-num-iterations 50000
AI写代码javascript
运行
1

参数为数据路路径，迭代次数等。还可添加其他参数，用命令ns-render --help查看官方文档

  训练进度如下图所示：

训练结束后，会显示本地浏览地址。打开web实时预览: https://viewer.nerf.studio/versions/23-04-10-0/?websocket_url=ws://localhost:7007 ,如下图所示:

加载预训练模型，继续训练命令为：

ns-train nerfacto --data data/nerfstudio/person --load-dir outputs/person/nerfacto/2023-08-23_152364/nerfstudio_models
AI写代码javascript
运行
1

加载预训练模型进行可视化查看：

ns-viewer --load-config outputs/person/nerfacto/2023-04-23_152364/config.yml
AI写代码javascript
运行
1

训练结果可以导出为 (1).渲染视频； (2).点云；(3).mesh.

支持的自定义数据集类型：https://docs.nerf.studio/en/latest/quickstart/custom_dataset.html
ns-process-data各参数说明：https://docs.nerf.studio/en/latest/reference/cli/ns_process_data.html
官方提供的数据集：https://drive.google.com/drive/folders/19TV6kdVGcmg3cGZ1bNIUnBBMD-iQjRbG

colmap结果转nerfstudio输入：
一般nerfstudio结果需要有sparse_pc.ply与transforms.json，如何将colmap的结果转成这种格式？只需以下命令：

ns-process-data images   --data liangcang2-2copy/images  --output-dir lc2  --skip-colmap   --colmap-model-path colmap/sparse/0

• 1
• 2
• 3

查看训练好的模型：
ns-viewer --load-config outputs/lc2/splatfacto/2024-09-25_174814/config.yml

四*、gsplat使用

python .\examples\simple_trainer.py _3dgs --enable_viewer --use_bilateral_grid  --data_dir "E:\BaiduNetdiskDownload\uav\$_" --result_dir "E:\BaiduNetdiskDownload\uav\$_" --steps-scaler 1.5
AI写代码javascript
运行
1

五、3D GaussianSplatting安装与使用

5.1 安装

  首先，克隆代码到本地（–recursive是为了添加SIBR的可视化库，用于显示结果）

git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive
AI写代码javascript
运行
1

  然后，cd目录到gaussian-splatting 下，按照yml创建环境：

cd gaussian-splatting
SET DISTUTILS_USE_SDK=1                   # 只有 Windows 需要
conda env create --file environment.yml
conda activate gaussian_splatting
AI写代码javascript
运行
1
2
3
4

安装整体比较简单，基本一键式安装

5.2 使用

  首先，自带的库可以把视频，处理成图片。例如：

ffmpeg -i -qscale:v1-qmin1-vffps C:Users\data\crane.mov -qscale:v 1 -qmin 1-vf fps= %04d.jpg
AI写代码javascript
运行
1

  然后，是用colmap处理图像，获得每张图像的pose：

python convert.py -s data/crane
AI写代码javascript
运行
1

由于我已经用colmap处理好了图像，因此需要修改以上代码。首先，需要创建 ‘ distorted’文件夹，并将 ‘colmap’中的‘spase’ 文件夹复制进去；然后复制 ‘images’文件夹，并重命名为‘input’。然后执行修改后的命令：

python convert.py -s 'data/crane' --skip_matching
AI写代码javascript
运行
1

得到的数据集格式如下：

  最后，开始训练：

python train.py -s 'data/crane' --data_device cpu  --iterations  30000
AI写代码javascript
运行
1

以上参数可选gpu或cpu，一般训练30k就能收敛。想细节更好，建议往100k训练。500张图，4080gup，30k大概需要半小时内（但是colmap需要一小时）。以下是训练截图：

最上面一行output那，显示了保存路径。

  结果可视化：

./SIBR_viewers/install/bin/SIBR_gaussianViewer_app -m ./output/ee33ed94-3
AI写代码javascript
运行
1

以上命令，需要将路径改为自己的。可视化效果如下：

  可以通过键盘的‘wsad’进行移动，‘ikjl’键来切换视角。只要照片拍的好，效果就好。具体数据采集问题，可以咨询博主。

常用命令汇总：

# 拷贝环境
sudo mount machine3:/nfs/gs_env ~/anaconda3/envs/gs

矫正

python convert.py -s ‘data/indoor3’ –skip_matching (必须有input文件夹，以及包含sparse的distorted文件夹)

colmap image_undistorter –image_path –input_path(put “0” into folder) –output_path

train

python train.py -s ‘data/center’ –data_device cpu -r 1 –iterations 100000 –densify_until 60000 –densification_interval 250 –cache-path ‘path’

实时渲染

./SIBR_viewers/install/bin/SIBR_gaussianViewer_app -m ./output/f80f5f1f-3

python render.py -m ./output/4e756cf2-4 –skip_train

遇到错误

OSError: [Errno 24] Too many open files： 在终端执行 ulimit -n 4096

无法识别数据中的子文件夹（比如images下面还有1、2、3等子图像文件夹）

scene/dataset_readers.py中的 line 96，将如下第一行修改为第二行：

image_path = os.path.join(images_folder, os.path.basename(extr.name))

image_path = os.path.join(images_folder, extr.name)

地面校准

colmap model_orientation_aligner –help

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28

五* CUDA安装（附C++编译器说明）

提示：安装cuda前，首先要确保gcc与g++编译器的版本，与cuda版本相匹配。不确定的先看第5节

1、查看已安装的CUDA版本

  所有已安装的CUDA版本默认保存在/usr/local路径下，cd到该路径下通过ls命令查看：

2、查看当前使用的CUDA版本

  在/usr/local路径下通过 stat cuda 命令查看当前使用的CUDA版本：

3、安装新的CUDA版本——CUDA11.3为例

3.1、下载对应版本的CUDA安装包: 链接（选择下载runfile文件）

3.2、在下载文件的目录下，通过命令进行安装：

sudo sh cuda_10.0.130_410.48_linux.run
## 安装时去掉对显卡驱动的安装，如下图中去掉第一行
AI写代码javascript
运行
1
2

3.3、修改环境变量
  系统环境中修改cuda版本。执行以下命令，打开环境路径，在最后添加并保存：

gedit ~/.bashrc
AI写代码javascript
运行
1

## 默认为以上软连接的路径
export PATH=/usr/local/cuda/bin:$PATH  
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH
export CUDA_HOME=/usr/local/cuda

也可以指定具体路径

export PATH=/usr/local/cuda-11.3/bin:$PATHexportL{D}_{L}IBRAR{Y}_{P}ATH=/usr/local/cuda-11.3/lib64:$LD_LIBRARY_PATH

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8

保存环境变量：

source ~/.bashrc
AI写代码javascript
运行
1

4、CUDA版本的切换

4.1、删除原版本的cuda软连接

sudo rm -rf /usr/local/cuda
AI写代码javascript
运行
1

4.2、建立新的指向cuda-10.0的软连接

sudo ln -s /usr/local/cuda-10.0 /usr/local/cuda
AI写代码javascript
运行
1

5.切换gcc与g++版本

  cuda支持的最高版gcc与g++如下表，大部分人都需要降级gcc：

  安装对应版本gcc与g++（这里以cuda11.3对应的9.5为例）：

sudo apt-get install gcc-9
sudo apt-get install g++-9
AI写代码javascript
运行
1
2

  随后，进入/usr/bin目录下删除旧版本gcc/g++文件（这里只是删除了软连接）：

cd /usr/bin
sudo rm gcc g++
AI写代码javascript
运行
1
2

  最后，将gcc/g++和新安装的gcc-9/g+±9关联起来：

sudo ln -s gcc-9 gcc
sudo ln -s g++-9 g++
AI写代码javascript
运行
1
2

  查看最新版本：

gcc -V
AI写代码javascript
运行
1

  其他切换版本方法：gcc版，默认使用优先级最高的版本。设置gcc 10优先级为100，设置gcc 9优先级为70。那么默认使用gcc10。

sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-10 100 --slave /usr/bin/g++ g++ /usr/bin/g++-10 --slave /usr/bin/gcov gcov /usr/bin/gcov-10
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-9 70 --slave /usr/bin/g++ g++ /usr/bin/g++-9 --slave /usr/bin/gcov gcov /usr/bin/gcov-9
AI写代码javascript
运行
1
2

  随后，使用以下命令来选择版本（默认选择第1行的，序号为0）

sudo update-alternatives --config gcc
AI写代码javascript
运行
1

• 批量修改文件名（先cd到对应路径）：
  for i in KaTeX parse error: Expected group after '_' at position 42: …d group after '_̲' at position 2…{i}.png ${i}.png 2>/dev/null; done

1.colmap对齐校正：
colmap model_orientation_aligner --image_path arg   --input_path arg   --output_path arg  三个输入参数 )

2.裁减colmap：
python split_colmap/split_colmap_v2.py –input 0 –output 00 –xmin -6.6 –xmax -2.04 –zmin -13.3 –zmax 8.7 –threshold .5

3.裁减ply：
python clip_model.py –in-path heyangblock2/point_cloud/iteration_60000/point_cloud.ply –out-path heyangblock2/clipped.ply –xmin -2.04 –xmax 1.74

4.合并所有clipped.ply
python merge_models.py –in-paths */clipped.ply –out-path heyang.ply

python trainer/gstrainer/train.py –data.path ‘/home/xzz/Pixel-GS/data/xytdoor’ –save.path /tmp/unused –auto-exp.enable

清理电脑根目录：

df -h
sudo du -ahx / | sort -rh | head -n 20

原文链接：https://blog.csdn.net/qq_45752541/article/details/136658887