文献阅读笔记【物理信息神经网络】：Physics-informed neural networks: A deep learning framework...

出版时间：2019年
作者：M. Raissi, P. Perdikaris, G.E. Karniadakis
期刊：Journal of Computational Physics

Summary

【背景】
传统数值方法（如有限元、谱方法）求解非线性偏微分方程（PDE）需复杂网格生成，且难以整合噪声数据；纯数据驱动的机器学习（ML）虽能处理高维数据，但训练深度神经网络（DNN）需大量数据，且缺乏物理约束易导致预测不满足基本物理定律（如守恒律）。此外，求解含未知参数的PDE逆问题（如识别流体力学方程系数）时，传统方法需复杂公式推导与代码实现，成本极高。因此，需构建“物理信息神经网络（PINNs）”，将PDE约束嵌入DNN，兼顾数据拟合与物理一致性。

【方法】
核心是设计两类PINN算法（连续时间模型、离散时间模型），通过“自动微分+物理约束损失”实现PDE求解与参数识别：

1. 连续时间模型：用DNN近似PDE解$u(t,x)$，通过自动微分计算PDE残差$f=u_t+\mathcal{N}[u]$（$\mathcal{N}[u]$为非线性算子），构建“数据损失（拟合初始/边界数据）+PDE残差损失（约束物理定律）”的总损失，用L-BFGS等优化器训练；
2. 离散时间模型：结合Runge-Kutta时间步长方案，将PDE离散为多阶段迭代格式，用多输出DNN同时近似各阶段解与最终解，通过“阶段约束损失+边界损失”确保离散格式满足物理定律，支持任意高阶隐式Runge-Kutta方案。

两类模型均通过自动微分实现导数计算，无需手动推导PDE残差公式，且可统一用于PDE的“数据驱动求解”（已知参数求解）与“数据驱动发现”（已知数据反演参数）。

【结果】

1. PDE求解验证：在Burgers方程（相对$L_2$误差$6.7\times 10^{-4}$）、Schrödinger方程（相对$L_2$误差$1.97\times 10^{-2}$）、Allen-Cahn方程（单步大时间步$\Delta t=0.8$仍保持精度）等经典问题中，PINN仅用少量数据（数百个初始/边界点）即可准确复现PDE的时空解，且无需网格离散；
2. PDE参数识别：在Navier-Stokes方程中，仅用1%流场数据（5000个散点）即可识别未知参数${\lambda }_1$（误差0.078%）与${\lambda }_2$（误差4.67%），且能无数据反演压力场；在Korteweg-de Vries（KdV）方程中，噪声数据（1%高斯噪声）下参数识别误差仍低于0.1%；
3. 鲁棒性与效率：PINN对数据噪声（10%以内）鲁棒，且离散时间模型支持超大步长（如Burgers方程$\Delta t=0.8$），计算效率比传统有限元提升1-2个数量级。

【结论】
PINN通过自动微分与物理约束损失，实现了PDE求解与参数识别的统一框架，解决了传统数值方法的网格依赖与纯ML的物理一致性缺失问题；其优势在小数据、逆问题、非线性PDE场景中尤为显著。但PINN并非替代传统数值方法，而是与经典时间步长方案（如Runge-Kutta）结合，为数据驱动科学计算提供新范式，未来需进一步研究网络架构设计、损失函数优化与不确定性量化。

Research Objective

1. 提出物理信息神经网络（PINNs）框架，将非线性PDE约束嵌入DNN，实现“数据拟合”与“物理一致性”的统一，解决传统数值方法与纯ML的双重局限；
2. 设计两类PINN算法（连续时间、离散时间），分别适用于“全域数据PDE求解”与“小样本数据PDE发现”，覆盖PDE的正问题（已知参数求解）与逆问题（已知数据反演参数）；
3. 通过经典PDE案例（Burgers、Schrödinger、Navier-Stokes、KdV等）验证PINN的精度、鲁棒性与效率，尤其关注小数据、大时间步、噪声数据场景的性能；
4. 探索PINN在高维、强非线性系统中的应用潜力，为流体力学、量子力学、反应扩散系统等领域提供数据驱动的计算工具。

Background / Problem Statement

问题背景

非线性PDE是描述物理、工程系统（如流体流动、量子力学、相变）的核心工具，但传统求解与分析方法存在显著局限：

• 多物理场、高维PDE问题中，网格生成复杂（如不规则几何的有限元网格），且离散后自由度爆炸，计算成本极高；
• 实验数据常含噪声、缺失或稀疏（如流体力学中仅能测量部分流场点），传统方法难以无缝整合此类数据；
• 逆问题（如从观测数据反演PDE参数、发现未知物理项）需手动推导公式与定制化代码，通用性差且易引入误差。

同时，纯数据驱动ML虽在图像、语言领域成功，但在科学计算中面临“数据饥渴”与“物理不一致”问题：DNN需大量标注数据，且预测可能违反守恒律、边界条件等基本物理规则，泛化性差。

研究现状

1. 传统数值方法：有限元、谱方法等已成熟，但依赖网格、难以处理噪声数据，且逆问题需重新推导公式（如 adjoint方法），扩展性差；
2. 早期物理-ML融合：高斯过程（Gaussian Processes）曾用于PDE求解，但需局部线性化非线性项，仅适用于离散时间场景，且鲁棒性差；稀疏识别方法（如SINDy）需准确计算数值导数，对噪声敏感；
3. 神经网络求解PDE：早期研究（如Lagaris 1998）尝试用NN近似PDE解，但未结合自动微分与现代优化器，精度与效率不足，且未覆盖逆问题。

需解决的问题

1. 如何设计通用框架，将任意非线性PDE约束嵌入DNN，无需手动推导残差公式？
2. 如何在小数据场景（如仅少量初始/边界数据）中保证PINN的精度与泛化性？
3. 如何处理PDE的逆问题（参数识别），尤其当数据仅含部分物理量（如仅测速度场反演压力场）时？
4. 如何提升PINN在大时间步、高噪声数据场景的稳定性，避免训练发散或精度下降？

问题出现的原因分析

1. 传统数值方法：基于“离散化PDE”思路，依赖网格划分与手动推导离散格式，难以适应不规则数据与动态系统；
2. 纯ML方法：以“数据拟合”为核心，未利用科学问题中的物理先验（如PDE结构、守恒律），导致解空间过大，小数据下易过拟合或不物理；
3. 技术瓶颈：自动微分（计算PDE残差需高阶导数）在早期科学计算中未普及，导致物理约束难以高效嵌入DNN；且缺乏统一的损失函数设计，难以平衡数据拟合与物理约束的权重。

问题解决思路

核心是“用自动微分链接DNN与PDE，用物理约束损失缩小解空间”：

• 对PDE正问题：用DNN近似解$u(t,x)$，通过自动微分计算PDE残差，构建“数据损失+残差损失”，强制解满足PDE；
• 对PDE逆问题：将PDE参数（如扩散系数、非线性项系数）作为网络可学习参数，通过数据拟合与残差约束共同优化，实现参数反演；
• 对小样本数据：结合经典Runge-Kutta时间步长方案，用多输出DNN近似各阶段解，减少对连续数据的依赖，支持大时间步计算。

Method(s)

问题建模

以一般非线性PDE为核心，统一建模正问题与逆问题：

1. PDE通用形式：
   $$u_t+\mathcal{N}[u;\lambda ]=0,x\in \Omega ,t\in [0,T]$$
   其中$u(t,x)$为PDE解（如流场速度、量子波函数），$\mathcal{N}[\cdot ;\lambda ]$为含参数$\lambda$的非线性算子（如Burgers方程中$\mathcal{N}[u;\lambda ]={\lambda }_{1}u{u}_x-{\lambda }_2{u}_{xx}$），$\Omega$为空间域。
2. 正问题：已知$\lambda$，从少量初始/边界数据$\{(t_u^i,x_u^i,u^i)\}$中学习$u(t,x)$；
3. 逆问题：已知部分$u(t,x)$的观测数据，学习$\lambda$与$u(t,x)$。

作者解决问题的方法/算法

1. 连续时间PINN（适用于全域数据场景）

核心步骤

1. 网络近似：用DNN（如多层感知器MLP）近似PDE解$u(t,x;\theta )$，$\theta$为网络权重/偏置；
2. 残差计算：通过自动微分计算PDE残差$f(t,x;\theta ,\lambda )=u_t+\mathcal{N}[u;\lambda ]$（如Schrödinger方程中$f=i{h}_t+0.5h_{xx}+|h{|}^{2}h$）；
3. 损失函数：构建“数据损失+残差损失”，平衡数据拟合与物理约束：
   $$MSE=MS{E}_u+MS{E}_f$$
   其中：
   • $MS{E}_u=\frac{1}{N_u}{\sum }_{i=1}^{N_u}|u(t_u^i,x_u^i)-u^i{|}^2$：拟合初始/边界数据；
   • $MS{E}_f=\frac{1}{N_f}{\sum }_{j=1}^{N_f}|f(t_f^j,x_f^j){|}^2$：约束PDE残差最小化，$\{(t_f^j,x_f^j)\}$为全域随机采样的配点（用拉丁超立方采样生成）；
4. 优化：用L-BFGS（小数据）或Adam（大数据）优化$\theta$（正问题）或$\theta +\lambda$（逆问题）。

关键特性

• 无网格：配点随机采样，无需离散空间域，适用于不规则几何；
• 自动微分：依赖TensorFlow/PyTorch的梯度计算接口（如tf.gradients），无需手动推导PDE残差的导数公式；
• 通用性：仅需修改$\mathcal{N}[u;\lambda ]$的定义，即可适配不同PDE（如Burgers、Schrödinger）。

2. 离散时间PINN（适用于小样本数据场景）

核心步骤

1. Runge-Kutta离散：将PDE $u_t+\mathcal{N}[u]=0$ 用q阶段Runge-Kutta格式离散：

   $$\{\begin{array}{l}{u}^{n+c_i}=u^n-\Delta t{\sum }_{j=1}^q{a}_{ij}\mathcal{N}[u^{n+c_j}],i=1,...,q\\ u^{n+1}=u^n-\Delta t{\sum }_{j=1}^q{b}_j\mathcal{N}[u^{n+c_j}]\end{array}$$

   其中$u^{n+c_j}=u(t^n+c_j\Delta t,x)$为第j阶段解，$a_{ij},b_j,c_j$为Runge-Kutta参数（如Gauss-Legendre隐式格式）；

2. 多输出网络：用DNN同时近似$[u^{n+c_1},...,u^{n+c_q},u^{n+1}]$，输出为$[u_1^n,...,u_q^n,u_{q+1}^n]$（满足离散约束$u_i^n=u^{n+c_i}+\Delta t{\sum }_{j=1}^q{a}_{ij}\mathcal{N}[u^{n+c_j}]$）；

3. 损失函数：拟合两个时间快照的数据（$t^n$与$t^{n+1}$），约束离散格式满足：
   [SE = SSE_n + SSE_{n+1}]
   其中：

   • $SS{E}_n={\sum }_{j=1}^q{\sum }_{i=1}^{N_n}|u_j^n(x^{n,i})-u^{n,i}{|}^2$：拟合$t^n$时刻数据；
   • $SS{E}_{n+1}={\sum }_{j=1}^q{\sum }_{i=1}^{N_{n+1}}|u_j^{n+1}(x^{n+1,i})-u^{n+1,i}{|}^2$：拟合$t^{n+1}$时刻数据；

4. 优化：通过L-BFGS优化网络参数与PDE参数$\lambda$（逆问题时）。

关键特性

• 大时间步：支持任意高阶隐式Runge-Kutta（如q=100阶段），理论误差$O(\Delta t^{2q})$，可单步跨越长时间间隔（如$\Delta t=0.8$）；
• 少数据依赖：仅需两个时间快照的数据，适用于实验中仅能观测离散时刻的场景；
• A稳定性：隐式Gauss-Legendre格式为A稳定，适用于刚性PDE（如高粘度流体、快速反应系统）。

是否基于前人的方法：是

PINN框架基于前人在“神经网络求解PDE”的研究，核心是整合自动微分与经典数值方法，形成通用框架。

基于了哪些：

1. 神经网络求解PDE的早期研究：Lagaris（1998）用NN近似PDE解，但未结合自动微分与现代优化器；Psichogios（1992）提出“先验物理+NN”的混合模型，但局限于化工过程，未覆盖通用PDE；
2. 自动微分技术：Baydin（2015）系统综述了自动微分在ML中的应用，PINN将其扩展到PDE残差的高阶导数计算（如二阶空间导数$u_{xx}$）；
3. 经典数值方法：Runge-Kutta时间步长方案（Iserles 2009）为离散时间PINN提供基础，实现“NN近似解+经典离散格式”的结合；
4. 高斯过程与稀疏识别：Raissi（2017）用高斯过程求解线性PDE，PINN在此基础上扩展到非线性PDE；Brunton（2016）的SINDy方法为PDE发现提供思路，但PINN无需手动构建候选函数库。

Evaluation

作者如何评估自己的方法：

通过精度验证、鲁棒性测试、效率对比三维度评估PINN，核心是“在传统方法难处理的场景中验证优势”，具体指标与实验设计如下：

评估指标：

1. 精度指标：
   • 相对$L_2$误差：$\text{Relative }{L}_2=\frac{\Vert u_{\text{pred}}-u_{\text{exact}}{\Vert }_2}{\Vert u_{\text{exact}}{\Vert }_2}$，衡量解的整体精度；
   • 参数识别误差：$\text{Error}(\lambda )=\frac{|{\lambda }_{\text{pred}}-{\lambda }_{\text{true}}|}{|{\lambda }_{\text{true}}|}\times 100\%$，评估逆问题性能；
   • 物理一致性检验：验证预测解是否满足边界条件（如Dirichlet、周期边界）、守恒律（如质量守恒）；
2. 鲁棒性指标：
   • 噪声敏感性：在数据中添加0%-10%高斯噪声，监测精度变化；
   • 数据稀疏性：减少训练数据量（如从2000个点降至50个点），评估小数据场景的泛化性；
3. 效率指标：
   • 计算时间：与传统方法（如谱方法、有限元）对比，统计相同精度下的训练/计算时间；
   • 时间步长效率：离散时间PINN在不同$\Delta t$（0.2-0.8）下的精度变化，验证大时间步能力。

实验的setup是什么样的：

参数设置：

1. 网络架构：
   • 基础模型：多层感知器（MLP），激活函数为双曲正切（tanh），无正则化（L1/L2、dropout）；
   • 正问题：连续时间PINN用9层MLP（20神经元/层），离散时间PINN用4层MLP（50神经元/层）；
   • 逆问题：Navier-Stokes案例用9层MLP（20神经元/层），KdV案例用4层MLP（50神经元/层）；
2. 优化器：
   • 小数据（$N_u<1000$）：L-BFGS（准牛顿法，全批量梯度）；
   • 大数据（$N_u>2000$）：Adam（学习率1e-3）+ L-BFGS精细优化；
3. 配点与采样：
   • 连续时间PINN：配点$N_f=10^4$（Burgers）、2×10^4（Schrödinger），用拉丁超立方采样；
   • 离散时间PINN：Runge-Kutta阶段数q=100-500，确保时间误差$O(\Delta t^{2q})<10^{-20}$；
4. 软件工具：基于TensorFlow，依赖自动微分接口计算导数，用Chebfun生成PDE精确解作为基准数据。

实验场景：

覆盖4类经典非线性PDE，均针对传统方法的痛点设计：

1. Burgers方程（流体力学）：验证小数据、强非线性（激波形成）场景的求解与参数识别；
2. Schrödinger方程（量子力学）：验证复值解、周期边界、小数据（仅50个初始点）场景的性能；
3. Navier-Stokes方程（流体力学）：验证2D圆柱绕流的流场反演与压力场无数据预测（仅用速度场数据）；
4. Korteweg-de Vries（KdV）方程（浅水波）：验证少快照（仅2个时间点）、高阶导数（三阶空间导数$u_{xxx}$）场景的参数识别。

感兴趣实验数据和结果有哪些：

1. Burgers方程（正问题）：

   • 输入：100个初始/边界数据点，10^4个配点；
   • 结果：相对$L_2$误差$6.7\times 10^{-4}$，准确捕捉激波形成（$t\approx 0.4$），计算时间60秒（单NVIDIA Titan X GPU），比高斯过程方法精度提升2个数量级；
   • 小数据测试：数据量从200降至50个点，误差仅从$4.9\times 10^{-4}$升至$1.77\times 10^{-2}$，证明小数据泛化性。

2. Schrödinger方程（复值解）：

   • 输入：50个初始数据点（$t=0$），50个边界配点，2×10^4个全域配点；
   • 结果：相对$L_2$误差$1.97\times 10^{-2}$，准确复现量子波函数的时空演化，周期边界满足度误差<1%，证明复值解与边界约束的处理能力。

3. Navier-Stokes方程（逆问题）：

   • 输入：5000个速度场数据点（仅1%的全流场数据），无压力数据；
   • 结果：参数识别误差${\lambda }_1=0.078\%$、${\lambda }_2=4.67\%$，无数据反演的压力场与精确解定性一致（仅差常数偏移，符合不可压缩流体压力特性），噪声1%时误差仍<6%，鲁棒性显著。

4. KdV方程（小样本逆问题）：

   • 输入：两个时间快照（$t=0.2$：199个点；$t=0.8$：201个点），$\Delta t=0.6$；
   • 结果：参数识别误差${\lambda }_1=0.023\%$、${\lambda }_2=0.006\%$（噪声-free），1%噪声下误差<0.1%，证明少快照、大时间步场景的有效性。

有没有问题或者可以借鉴的地方：

存在的问题：

1. 谱偏差（Spectral Bias）：全连接MLP优先学习低频成分，对高频PDE解（如湍流小尺度结构）拟合精度不足，需增加配点密度或设计傅里叶特征网络；
2. 训练不稳定性：当PDE残差损失与数据损失权重失衡时（如残差权重过大），易导致梯度消失，需手动调优或设计自适应权重策略；
3. 理论基础薄弱：缺乏统一的误差分析（近似误差、优化误差、泛化误差），难以确定网络层数、配点数的最优选择，依赖经验调参；
4. 高维扩展性差：三维以上PDE中，配点数量随维度指数增长（维数灾难），需结合稀疏网格或降维方法。

可借鉴的地方：

1. 自动微分的高效应用：通过TensorFlow的tf.gradients自动计算PDE残差的高阶导数（如$u_{xx}$、$u_{xxx}$），避免手动推导，降低PDE适配门槛，可推广至分数阶PDE、积分微分方程；
2. 离散时间模型的创新：将Runge-Kutta与多输出NN结合，实现“单步大时间步”PDE求解，为长时域预测（如气候模拟）提供新思路；
3. 物理约束的灵活设计：残差损失可根据PDE类型调整（如守恒律用弱形式残差），且支持多物理场耦合（如流固耦合的Navier-Stokes方程）；
4. 逆问题的统一框架：将PDE参数作为网络可学习参数，无需定制化代码，可直接应用于材料属性反演、未知物理项发现等场景。

Conclusion

strong conclusions（明确结论）

1. PINN通过“自动微分+物理约束损失”，实现了非线性PDE正问题与逆问题的统一框架，无需网格离散与手动公式推导，在小数据、噪声数据、不规则几何场景中显著优于传统方法；
2. 连续时间PINN适用于全域数据场景，离散时间PINN适用于少快照数据场景，两类模型均支持任意非线性PDE，仅需修改算子$\mathcal{N}[u;\lambda ]$即可适配不同物理系统；
3. PINN对数据噪声（10%以内）与稀疏性（数据量减少90%）鲁棒，且离散时间模型支持超大步长（$\Delta t=0.8$），计算效率比传统谱方法提升1-2个数量级；
4. 在逆问题中，PINN可无数据反演关键物理量（如Navier-Stokes的压力场），且参数识别误差<5%，为实验数据有限的科学问题提供有效工具。

weak conclusions（待验证/局限结论）

1. PINN的精度依赖网络架构与配点密度，但缺乏理论指导：网络层数、神经元数量、配点分布的最优选择仍需经验调参，不同PDE的适配规则未明确；
2. 高维PDE（如3D Navier-Stokes）中，配点数量随维度指数增长，维数灾难问题未解决，需结合降维方法（如流形学习）进一步研究；
3. 强刚性PDE（如快速反应扩散系统）中，PINN的训练易发散，需优化损失函数权重或设计自适应激活函数；
4. 不确定性量化缺失：PINN仅提供点估计，未量化数据噪声、网络近似带来的不确定性，需结合贝叶斯框架（如B-PINNs）完善。

Notes

1. 关键公式与原理补充：

   • PDE残差的自动微分计算：以Burgers方程为例，TensorFlow代码片段如下，体现PINN的实现简洁性：

     def u(t, x):  # 近似PDE解的NNinputs = tf.concat([t, x], 1)return mlp(inputs, weights, biases)
     def f(t, x):  # PDE残差u_val = u(t, x)u_t = tf.gradients(u_val, t)[0]u_x = tf.gradients(u_val, x)[0]u_xx = tf.gradients(u_x, x)[0]return u_t + u_val * u_x - (0.01/tf.pi) * u_xx  # Burgers残差
     

   • 离散时间PINN的Runge-Kutta约束：q阶段隐式格式的核心是“多输出NN同时满足各阶段约束”，理论误差$O(\Delta t^{2q})$，当q=100、$\Delta t=0.8$时，时间误差<10^{-97}，可忽略不计；
   • 逆问题的参数化：将PDE参数$\lambda$作为网络权重的一部分（如Navier-Stokes的${\lambda }_1,{\lambda }_2$），通过损失函数共同优化，无需额外推导参数梯度。

2. 实验设计的启示：

   • 配点采样策略：拉丁超立方采样比随机采样更均匀覆盖全域，可减少配点数量（如从2×10^4降至1×104）而不损失精度；
   • 优化器选择：小数据场景中L-BFGS精度显著优于Adam，因全批量梯度能更好利用物理约束信息；大数据场景需先用Adam快速下降，再用L-BFGS精细优化；
   • 基准数据生成：用Chebfun（谱方法工具）生成PDE精确解，确保基准数据的高精度（误差<10^{-10}），避免基准误差影响PINN评估。

3. 与前序文献的关联：

   • 本文的PINN框架是对Raissi 2017年高斯过程PDE求解的扩展，将线性PDE推广至非线性PDE，且用NN替代高斯过程，提升计算效率；
   • 离散时间PINN与传统Runge-Kutta方法的区别：传统方法需离散空间域，PINN用NN近似解，无需网格，且支持任意高阶阶段，突破传统方法的时间步长限制。

References

1. Raissi, M., Perdikaris, P., Karniadakis, G.E. (2017). Inferring solutions of differential equations using noisy multi-fidelity data. J. Comput. Phys., 335, 736–746（PINN的前身，高斯过程求解线性PDE）；
2. Lagaris, I.E., Likas, A., Fotiadis, D.I. (1998). Artificial neural networks for solving ordinary and partial differential equations. IEEE Trans. Neural Netw., 9, 987–1000（早期神经网络求解PDE的经典工作）；
3. Brunton, S.L., Proctor, J.L., Kutz, J.N. (2016). Discovering governing equations from data by sparse identification of nonlinear dynamical systems. Proc. Natl. Acad. Sci., 113, 3932–3937（SINDy方法，PDE数据驱动发现的经典工作，与PINN形成对比）；
4. Iserles, A. (2009). A First Course in the Numerical Analysis of Differential Equations (Cambridge Univ. Press)（Runge-Kutta方法的理论基础，离散时间PINN的核心参考）；
5. Karniadakis, G.E., Sherwin, S. (2013). Spectral/hp Element Methods for Computational Fluid Dynamics (Oxford Univ. Press)（谱方法工具，用于生成PINN实验的精确解基准）；
6. Wang, S., Perdikaris, P. (2020). When and why PINNs fail to train: a neural tangent kernel perspective. arXiv:2007.14527（PINN训练不稳定性的理论分析，补充本文的局限讨论）。