通过视频生成实现基于物理的3D对象交互——PhysDreamer

随着虚拟现实(VR)和增强现实(AR)技术的飞速发展,用户对于虚拟体验的真实性提出了更高的要求。在这样的背景下,PhysDreamer应运而生,它是一项创新的技术,能够为静态3D对象赋予逼真的物理交互动态,极大地丰富了虚拟环境的互动性和沉浸感。

PhysDreamer系统旨在解决虚拟体验中逼真3D对象交互动态的合成问题。具体来说,它针对如何使静态3D对象在虚拟环境中对用户交互或外力作用时产生符合物理规律的动态响应进行研究。这一问题的核心挑战在于准确估计物体的物理材质属性,如刚度,而这些属性对于真实物体来说测量困难且数据稀缺。PhysDreamer通过利用视频生成模型学习到的动态先验知识来估计这些物理属性,并采用可微分的模拟和渲染技术,生成逼真的3D动态,从而显著提升了虚拟体验的沉浸感和交互性。

方法

PhysDreamer是一种创新的方法,它通过视频生成技术,为静态3D对象赋予逼真的物理交互特性。这一技术的核心在于模拟物体对外部力或代理操作等新颖交互的响应,进而提升虚拟体验的真实性。

3D对象的高斯表示

PhysDreamer使用3D高斯函数集合来精确表示3D场景中的静态物体。每个3D高斯代表场景中的一个点,携带位置、透明度、颜色和协方差矩阵等信息,这些点合在一起能够描述整个物体的几何和光学特性。通过这种方式,3D高斯不仅能够高效地表示物体的复杂表面,还能为后续的动态模拟和渲染提供必要的数据结构。

静态图像的渲染

在3D高斯表示的基础上,PhysDreamer首先渲染出3D场景的静态图像。这一步骤是后续动态模拟的起点,需要从特定的视角出发,确保光照、遮挡等视觉因素都被精确捕捉。渲染出的静态图像将作为视频生成模型的输入,用于生成物体运动的参考视频。

动态先验知识的提炼与视频生成

视频生成模型负责将静态图像转化为展示物体运动的视频序列。这一步骤是PhysDreamer方法的核心,它利用了大量视频数据训练得到的视频生成模型,该模型隐式地学习了物体外观与动态之间的关系。通过这个模型,PhysDreamer能够生成物体在受力或其他交互下的参考视频,这些视频序列作为后续物理模拟优化的目标。

物理模拟与材质属性的优化

得到了参考视频后,PhysDreamer采用可微分的材质点方法(MPM)来模拟物体的物理动态。MPM是一种用于模拟物体在受力后的变形和运动的计算框架,它通过粒子携带的质量和速度等物理属性来描述物体的动态行为。PhysDreamer通过优化这些物理属性,使得模拟出的动态与参考视频之间的差异最小化。优化过程包括两个阶段:初始速度场的优化和物理材质属性(如杨氏模量)的优化。

子采样策略与模拟加速

由于直接对所有3D高斯粒子进行模拟计算量巨大,PhysDreamer采用了子采样策略来加速模拟过程。通过K-Means聚类算法,从所有3D高斯粒子中选出一组代表性的“驱动粒子”进行模拟。这些驱动粒子的数量远少于全部粒子,从而显著减少了模拟的计算量。在渲染阶段,对于非驱动粒子,PhysDreamer通过插值驱动粒子的运动来推算其位置和旋转,以此重建整个物体的动态。

优化与渲染的闭环

在物理模拟和材质属性优化完成后,PhysDreamer使用可微分渲染技术来生成最终的动态视频。这一步骤将模拟得到的物理状态转换为像素空间的图像,并通过与参考视频的比较来进一步优化材质属性,形成一个闭环的优化流程。通过这种方式,PhysDreamer能够生成与真实物理交互高度一致的动态效果。

实验

数据集构建

研究者们首先构建了一个包含多个真实世界静态场景的数据集,这些场景由多种物体和相应的背景组成。每个场景都通过多视角图像捕获来创建,以确保3D模型的准确性。所选物体包括不同类型的花卉、植物、电话线和帽子等,这些都是在虚拟体验中常见的交互对象。

基线方法选择

为了评估PhysDreamer的性能,研究者们选择了两个基线方法:PhysGaussian和DreamGaussian4D。这两种方法分别代表了不同的动态3D生成技术,可以为PhysDreamer提供一个公平且具有挑战性的比较环境。

用户研究设计

研究者们采用了两种选择被迫选择(2AFC)协议来进行用户研究。在这项研究中,参与者被展示了两个同步视频,一个由PhysDreamer生成,另一个由基线方法生成。参与者的任务是选择他们认为视觉质量更高和动作真实性更强的视频。为了减少偏差,视频的左右顺序是随机的,并且每个场景都有多个样本供参与者评估。

实施细节

在实验的实施阶段,研究者们使用了一系列技术来优化PhysDreamer的性能。例如,为了提高模拟效率,他们采用了子采样策略,通过K-Means聚类来选择一组代表性的“驱动粒子”进行模拟。此外,他们还使用了不同的神经场模型来参数化物质场和初始速度场,并通过正则化技术来增强空间平滑性。

结果分析

用户研究的结果显示,PhysDreamer在动作真实性和视觉质量方面均优于基线方法。相比于PhysGaussian,80.8%的2AFC样本倾向于PhysDreamer;相比于DreamGaussian4D,70.0%的2AFC样本在视觉质量上更倾向于PhysDreamer,而在动作真实性方面,这一比例为63.5%。即使与真实捕获的视频相比,PhysDreamer在动作真实性上也获得了53.7%的偏好率,这表明其合成动态的质量已经接近真实世界的水平。

实验结果表明,PhysDreamer在合成动态的真实性方面显著优于现有的技术。用户研究的反馈也显示,PhysDreamer在动作真实性和视觉质量方面得到了用户的高度评价。这些结果证明了PhysDreamer在创建逼真的虚拟体验方面的潜力。

尽管PhysDreamer在模拟逼真物理交互方面取得了显著进展,但该方法仍存在一些局限性。例如,它需要用户手动分离出要模拟的物体,并为静止部分(如花盆)设定边界条件。此外,尽管采用了子采样策略,PhysDreamer的计算成本依然较高,且目前只适用于没有碰撞的弹性物体。未来的工作将致力于解决这些问题,进一步提高PhysDreamer的效率和适用性。

论文链接:https://arxiv.org/abs/2404.13026

项目地址:https://physdreamer.github.io/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.xdnf.cn/news/1423958.html

如若内容造成侵权/违法违规/事实不符,请联系一条长河网进行投诉反馈,一经查实,立即删除!

相关文章

使用DBeaver的第2天-使用sql导入数据

使用sql导入数据这块我会仔细的说一下 首先位置一定要放在库上(实例),放在表上可不好使用哦 然后点击工具-再点击执行脚本 这样就执行成功了 但是如果你执行失败了,多半可能是因为本地没有部署mysql,记住只有本地有…

5G技术相关部分图解

1、面向5G商用网络的全系列解决方案 面向5G商用网络的全系列解决方案涵盖了从核心网到接入网的各个方面,确保网络的高性能、高可靠性和高安全性 2、2\3\4\5G带宽图解 G带宽的提升将推动许多新型应用的发展,并提供更快速、更可靠的移动通信体验。然而…

【运维自动化-配置平台】如何自动应用主机属性

主要用于配置主机属性的自动应用。当主机发生模块转移或模块新加入主机时,会根据目标模块配置的策略自动触发修改主机属性,比如主机负责人、主机状态。主机属性自动应用顾名思义是应用到主机上,而主机是必须在模块下的,所以有两种…

代码随想录训练营Day31:动态规划3:0-1背包

1.0-1背包基础 有n件物品和一个最多能背重量为w 的背包。第i件物品的重量是weight[i],得到的价值是value[i] 。每件物品只能用一次,求解将哪些物品装入背包里物品价值总和最大。 1.1动态规划五部曲 确定dp数组以及下标的含义:dp[i][j] 表示…

【计算机网络】HTTP协议详解实战抓包分析教程

文章目录 1.HTTP简介2.HTTP报文的结构3.HTTP协议中空行的作用4.uri和url的区别5.HTTP请求5.1 HTTP请求方法5.2 HTTP请求报头 6.HTTP响应6.1 状态码 7.HTTP位于应用层(基于TCP)8.非持久和持久连接8.1 非持久连接8.2 持久连接 1.HTTP简介 HTTP(Hypertext Transfer Pr…

爬虫入门经典(七) | 采集淘宝电场相关信息

大家好,我是不温卜火,昵称来源于成语—不温不火,本意是希望自己性情温和。 PS:由于现在越来越多的人未经本人同意直接爬取博主本人文章,博主在此特别声明:未经本人允许,禁止转载!&a…

BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis 论文阅读

(水一篇博客) 项目主页 BakedSDF: Meshing Neural SDFs for Real-Time View Synthesis 作者介绍 是 Mildenhall 和 Barron 参与的工作(都是谷歌的),同时一作是 Lipman 的学生,VolSDF 的一作。本文引用…

VMware17.5与Ubuntu22.04虚拟机环境搭建

VMware17.5安装教程也有参考此链接 简介 Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和Unix的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的Unix工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设…

【面试必看】MySQL部分

MySQL 1. 基础 1. 什么是关系型数据库? 一种建立在关系模型的基础上的数据库。关系模型表明了数据库中所存储的数据之间的联系(一对一、一对多、多对多)。各种表中(比如用户表),表中的每一行就存放着一条…

ARM基于DWT实现硬件延时(GD32)

软件延时的缺点 软件延时的精度差&#xff0c;受系统主频影响&#xff0c;调教困难 硬件延时 DWT数据跟踪监视点单元硬件延时 硬件延时实现代码 delay.c #include <stdint.h> #include "gd32f30x.h"/** *****************************************************…

InfiniGate自研网关实现五

17.核心通信组件管理和处理服务映射 引入模块api-gateway-core 到 api-gateway-assist 中进行创建和使用&#xff0c;并拉取自注册中心的映射信息注册到本地的网关通信组件中。 第17节是在第15节的基础上继续完善服务发现的相关功能&#xff0c;把从注册中心拉取的网关映射信…

Qt qt5.3集成mqtt模块

参考 【Qt官方MQTT库的使用&#xff0c;附一个MqttClient例子】 - 叶小鹏 - 博客园 (cnblogs.com)MQTT&#xff1a;windows最简单搭建mqtt服务端及本地客户端测试_emqx-windows-4.3.6-CSDN博客MQTTX 下载 编译 我从Github下载的是Release v5.12.5 qt/qtmqtt (github.com)版…

达梦(DM) SQL基础操作

达梦DM SQL基础操作 用户与模式SQL基础操作查看表结构基础查询语句 在进行DM数据库SQL开发之前&#xff0c;首先需要了解一下DM数据库用户与模式的关系&#xff0c;因为这将直接影响到你后续对DM数据库的操作。那么DM数据库用户与模式的关系怎么理解呢&#xff1f; 用户与模式 …

【Linux系统编程】基本指令(二)

目录 1、mv指令 2、cat指令 输出重定向 ​编辑 追加重定向 输入重定向 3、more指令 4、less指令 5、head指令 6、tail指令 与时间相关的指令 7、date指令 8、cal指令 9、find指令 10、grep指令 11、zip/unzip指令 1、mv指令 mv文件是用来对文件或目录进行重命名…

vue3专栏项目 -- 五、权限管理(上)

一、登录部分 1、第一部分&#xff1a;获取token 前面我们主要是在获取数据上下功夫&#xff0c;到目前为止我们已经能获取首页和详情页的数据了&#xff0c;现在我们将数据转移到权限管理上来&#xff0c;也就是说我们要处理用户登录、注册等一系列的行为&#xff0c;在这部…

##20 实现图像风格迁移:使用PyTorch深入学习的艺术之旅

文章目录 前言项目概述准备阶段图像处理模型选择风格和内容特征提取风格迁移算法优化过程结果展示完整代码与实验项目结论参考文献 前言 图像风格迁移是一种使一幅图像呈现另一幅画作风格的技术&#xff0c;通过深度学习&#xff0c;我们能够捕捉到内容图像的结构信息和风格图…

react的多级路由定义

在写实验室项目的时候&#xff0c;有一个需求&#xff0c;在二级路由页面点击按钮&#xff0c;跳转到详情列表页面&#xff0c;同时三级路由不用在导航栏显示&#xff0c;效果图如下&#xff1a; 前期的尝试&#xff1a; 在route,js文件这样定义的&#xff1a; {path: music,…

【Linux】进程间通信(一)---- 匿名管道

【Linux】进程间通信&#xff08;一&#xff09;---- 匿名管道 一.序1什么是进程间通信2.进程间通信的标准3.为什么需要进程通信 二.匿名管道1.原理2.使用3.四种情况4.五个特点 一.序 1什么是进程间通信 进程间通信 通信我们大致知道是啥&#xff0c;就是互相传递信息 那进程…

pcdn边缘云常见sla有哪些?如何避免被白嫖

PCDN&#xff08;Point-to-Point Content Delivery Network&#xff09;边缘云常见的SLA&#xff08;Service Level Agreement&#xff09;规则包括高峰期离线、服务时间、重传延时、限速等。这些规则是为了保证服务质量和用户体验。下面将详细解释这些规则&#xff0c;并提供一…

win10共享文件夹到ubuntu22

win10共享文件夹 新建用户 新建用户、设置密码。避免共享给EveryOne&#xff0c;导致隐私问题。 点击左下角的开始菜单&#xff0c;选择“设置”&#xff08;WinI&#xff09;打开设置窗口。在设置窗口中&#xff0c;搜索或直接点击“账户”进入账户设置。在账户设置中&…