简介面向科学计算与深度学习交叉领域的Python实践包以PINN物理信息神经网络为核心展示如何将物理定律嵌入神经网络损失函数来求解微分方程。资源覆盖Euler Beam、扩散方程、Poisson方程、圆域Laplace方程、Lorenz系统等多类经典案例并包含Jacobian-Hessian方法对比、PDAE系统等进阶实验便于理解自动微分、边界条件设置与网络训练流程。压缩包共26个文件以17个可运行ipynb笔记为主辅以3个py脚本、4个zbak备份、1个png结果图与1个md说明整体仅891KB轻量易用。当前已有217人学习读者可借助案例笔记快速复现从损失函数构建、网络训练到结果分析的完整链路再通过py脚本理解模型、几何定义与PDE方程构建逻辑适合希望系统掌握PINN编程实现并拓展实验方向的初阶和中阶学习者。1. PINN 是什么把微分方程求解变成一次网络训练大家都解过热传导方程传统做法是差分法或者有限元在网格上一步一步推网格一密计算量就上去了网格一疏数值耗散又压不住。遇到几何形状复杂、边界条件不规则甚至需要从观测数据反推方程参数时传统数值方法往往要反复改造求解器成本很高。PINNPhysics-Informed Neural Network物理信息神经网络换了一条路不去设计求解算法而是构造一个神经网络把微分方程本身和初边值条件写进损失函数通过优化让网络的输出逼近方程解。这个思路的奇妙之处在于它不再依赖网格把“求解方程”变成了“训练网络”同一个框架既可以做正问题也可以做逆问题。这篇文章面向真正要拿 PINN 落地的人想搞清楚原理能不能成立、用 Python 怎么把第一个算例跑通、参数怎么调、失败时看哪里、什么场景下应该放弃 PINN 回到传统方法。我会用一维热方程作为贯穿全文的案例从网络结构、采样点生成、损失函数到训练调度完整走一遍把常见翻车点一条条拆开讲清楚。2. 从方程到损失函数PINN 的数学骨架与三组采样点2.1 为什么用神经网络逼近解从欧拉法到无网格的本质转变理解 PINN 首先要理解一个关键区别传统数值方法比如欧拉法、有限差分直接操作离散网格上的函数值每步迭代都是“根据上一时刻的邻居值算出下一时刻的值”而 PINN 不做这个递推它把所有时空坐标点当作自变量用一个神经网络函数 û(x,t) 直接输出对应位置的解值。这个过程可以这样理解欧拉法是在网格上一点一点“推算”未来PINN 则是在整个时空区域里“拟合”一个满足方程的函数。因为神经网络是可微的我们可以用自动微分autograd直接求出 û 对 x 和 t 的各阶偏导把这些偏导代回原始微分方程就能得到一个残差项。如果 û 恰好是精确解残差处处为零如果不是残差就是一个可以优化的损失。这种方法的第一个好处是无网格采样点可以在求解域内任意撒不需要构建网格拓扑对于高维问题、复杂边界、移动边界场景实现成本远低于传统网格法。第二个好处是天然适合逆问题把方程里某个参数比如热扩散系数也定义成变量训练时一起优化就能从数据反推参数这在传统数值方法里需要额外设计反演算法。第一个要接受的观念转变是PINN 不是另一种差分格式而是一个优化问题。调参对象从“网格密度、时间步长”变成了“网络层数、激活函数、采样点数量、损失权重”。这套思路带来灵活性也带来新的调试难度后面会详细展开。2.2 PINN 的损失函数构成残差、初值、边值与数据项PINN 的损失函数是理解整个方法的核心。以最经典的一维热方程为例u_t - α u_xx 0(x,t) ∈ [0,1] × [0,1]边界条件取 u(0,t) u(1,t) 0初始条件取 u(x,0) sin(πx)。这个方程有解析解 u(x,t) sin(πx) · exp(-π²αt)适合用来验证程序是否正确。损失函数由几个独立部分组成。第一部分是方程残差项在求解域内部随机撒 N_f 个配点对每个配点计算 û_t - α û_xx取平方和再平均。第二部分是边界条件项在 x0 和 x1 两条边上各取 N_b 个点要求网络输出趋近于 0。第三部分是初始条件项在 t0 这条边上取 N_i 个点要求网络输出趋近于 sin(πx)。用数学式表达就是L λ_f/N_f · Σ|û_t - α û_xx|² λ_b/N_b · Σ|û(0,t) - 0|² λ_b/N_b · Σ|û(1,t) - 0|² λ_i/N_i · Σ|û(x,0) - sin(πx)|²各项权重 λ 默认可以都取 1但实际调试时经常需要调整因为三类损失的数量级差异可能很大。如果初始条件要求的值是 1 的量级而方程残差项是 0.01 的量级网络会优先满足初始条件残差项迟迟降不下去。后面第 4 章会专门讲权重的设置策略。如果手头还有部分真实的观测数据点还可以加第四项数据损失 L_data用来约束网络在已知点的输出与观测一致。这也是 PINN 做逆问题和数据同化的关键能力——数值方法很难在求解框架里直接融合数据PINN 只需要加一个损失项就行。2.3 采样点怎么生成随机撒点、LHS 抽样与边界强制采样点生成是 PINN 里看似简单但实际影响很大的环节。最常见、最可靠的做法是分三类独立采样内部点用随机采样或拉丁超立方采样LHS在 [0,1]×[0,1] 区域内部生成边界点在两条边 x0 和 x1 上沿时间方向取随机值初始点在 t0 边上沿空间方向取随机值。我一般在代码里会这样写采样部分import numpy as np import torch def sample_points(n_f2000, n_b200, n_i200): # 内部点LHS 采样比纯随机更均匀收敛更稳定 x_f np.random.rand(n_f, 1) t_f np.random.rand(n_f, 1) # 边界点x0 和 x1 两条边随时间 t 变化 t_b np.random.rand(n_b, 1) x_b0 np.zeros((n_b, 1)) x_b1 np.ones((n_b, 1)) # 初始点t0 上沿 x 均匀取值可用 linspace 或随机 x_i np.random.rand(n_i, 1) t_i np.zeros((n_i, 1)) return (torch.tensor(x_f, dtypetorch.float32, requires_gradTrue), torch.tensor(t_f, dtypetorch.float32, requires_gradTrue), torch.tensor(np.vstack([x_b0, x_b1]), dtypetorch.float32), torch.tensor(np.vstack([t_b, t_b]), dtypetorch.float32), torch.tensor(x_i, dtypetorch.float32), torch.tensor(t_i, dtypetorch.float32))这里有一个关键细节内部点的 x 和 t 必须设置 requires_gradTrue因为后面计算 û_t 和 û_xx 需要对输入求二阶导。边界点和初始点如果只参与计算一阶导比如边界条件本身不含导数可以不开启梯度追踪省一点内存。配点数怎么选经验上先给内部点 2000 个、边界和初始点各 200 个看损失下降情况再做调整。太少了欠拟合太多了单步迭代变慢。有一种常见误区是认为采样点越多越好实际上 PINN 每一个迭代步都要把所有采样点过一遍网络配点从 2000 升到 10000训练时间直接翻五倍误差可能只降一点点性价比很低。3. 用 Python 跑通热方程求解完整实现与训练流程3.1 网络结构、自动求导与训练主循环PINN 的标准网络结构不复杂通常就是一个 35 层的全连接网络每层 2050 个神经元激活函数用 tanh。输入是 x 和 t 两个坐标输出是解 û。网络太浅拟合能力不足太深会带来梯度消失和训练不稳后面第 4 章会详细讲怎么选。第一步要定义网络结构。我会写成独立的类方便后面换方程时复用import torch.nn as nn class PINN(nn.Module): def __init__(self, n_hidden3, n_neurons30, actnn.Tanh()): super().__init__() layers [nn.Linear(2, n_neurons)] for _ in range(n_hidden): layers.append(act) layers.append(nn.Linear(n_neurons, n_neurons)) layers.append(act) layers.append(nn.Linear(n_neurons, 1)) self.net nn.Sequential(*layers) # Xavier 初始化是 PINN 的默认选择tanh 激活下效果稳定 for m in self.net: if isinstance(m, nn.Linear): nn.init.xavier_normal_(m.weight) nn.init.zeros_(m.bias) def forward(self, x, t): return self.net(torch.cat([x, t], dim1))激活函数的选择值得多说一句。ReLU 虽然收敛快但它在 x0 处不可导二阶导恒为零而 PINN 的损失函数需要计算二阶导ReLU 会把残差项直接变成零导致方程约束失效。所以在 PINN 里激活函数必须足够光滑tanh 和 sin 是主流选择其中 tanh 最稳妥sin 在部分高频问题上表现更好但更容易训练发散。接下来是关键的自动求导部分。PyTorch 的 autograd.grad 可以很方便地计算一阶和二阶偏导def compute_residual(model, x_f, t_f, alpha0.01): # 对内部点计算 PDE 残差u_t - alpha * u_xx x_f.requires_grad_(True) t_f.requires_grad_(True) u model(x_f, t_f) # 一阶导u_t, u_x u_t torch.autograd.grad(u, t_f, grad_outputstorch.ones_like(u), create_graphTrue)[0] u_x torch.autograd.grad(u, x_f, grad_outputstorch.ones_like(u), create_graphTrue)[0] # 二阶导u_xx对 u_x 再求一次关于 x 的梯度 u_xx torch.autograd.grad(u_x, x_f, grad_outputstorch.ones_like(u_x), create_graphTrue)[0] residual u_t - alpha * u_xx return residual这里有个坑二阶导计算必须保留计算图也就是 create_graphTrue否则 u_xx 无法继续参与反向传播训练出来的模型会有莫名其妙的误差。另外每次计算残差前要重新设置 requires_grad_(True)因为上一轮迭代的计算图可能已经被释放了。训练主循环的思路是每个 epoch 重新生成一批采样点计算三部分损失合起来反向传播更新参数。我推荐用 Adam 先训练几千步最后再用 L-BFGS 精修这是 PINN 社区公认的收敛套路。下面的代码片段展示了 Adam 阶段的训练循环def train_adam(model, optimizer, n_epochs3000): model.train() for epoch in range(n_epochs): # 每 epoch 重采样避免网络过拟合固定配点 x_f, t_f, x_b, t_b, x_i, t_i sample_points(2000, 200, 200) # 方程残差损失 residual compute_residual(model, x_f, t_f, alpha0.01) loss_f torch.mean(residual**2) # 边界损失 u_b0 model(torch.zeros_like(t_b), t_b) u_b1 model(torch.ones_like(t_b), t_b) loss_b torch.mean(u_b0**2) torch.mean(u_b1**2) # 初始条件损失 u_i model(x_i, torch.zeros_like(x_i)) loss_i torch.mean((u_i - torch.sin(np.pi * x_i))**2) loss loss_f loss_b loss_i optimizer.zero_grad() loss.backward() optimizer.step() if epoch % 500 0: print(fEpoch {epoch}, loss_f: {loss_f.item():.2e}, floss_b: {loss_b.item():.2e}, loss_i: {loss_i.item():.2e})每 500 步打印一次三个损失分量这个习惯能帮你快速判断训练是否健康。正常情况应该是三个损失都在下降残差项下降得最慢如果某一个损失停在高位不动说明对应约束没有被网络学进去需要检查采样点是否覆盖到位、权重是否失衡。3.2 L-BFGS 精修何时切换、为什么有效只靠 Adam 训练损失通常能下降到 10⁻⁴ 量级再往下走就非常缓慢了。这是因为 Adam 是一阶方法收敛后期梯度的方向估计不够精准。PINN 社区的标准做法是训练流程切换到 L-BFGS 做几十到几百轮精修精度能进一步拉到 10⁻⁶ 甚至更低。PyTorch 里 L-BFGS 需要特殊处理因为它不像 Adam 那样直接调用 loss.backward() 就能用而是要在一个 closure 函数里完成前向、反向和损失返回def train_lbfgs(model, n_steps500): optimizer torch.optim.LBFGS(model.parameters(), lr1.0, max_iter50, tolerance_grad1e-8) def closure(): optimizer.zero_grad() x_f, t_f, x_b, t_b, x_i, t_i sample_points(3000, 300, 300) residual compute_residual(model, x_f, t_f, alpha0.01) loss_f torch.mean(residual**2) u_b0 model(torch.zeros_like(t_b), t_b) u_b1 model(torch.ones_like(t_b), t_b) loss_b torch.mean(u_b0**2) torch.mean(u_b1**2) u_i model(x_i, torch.zeros_like(x_i)) loss_i torch.mean((u_i - torch.sin(np.pi * x_i))**2) loss loss_f loss_b loss_i loss.backward() return loss for step in range(n_steps): loss optimizer.step(closure) if step % 50 0: print(fL-BFGS step {step}, loss: {loss.item():.2e})注意 L-BFGS 阶段的配点数我一般会加大一些因为精修阶段对残差更敏感。切换时机是关键参数Adam 至少要训练到损失不再明显下降再切否则 L-BFGS 容易卡在一个不太好的局部极小值。我一般先跑 3000 步 Adam如果损失曲线还在快速下降就继续加跑等曲线平坦了再切 L-BFGS。3.3 解析解对比怎么科学地验证 PINN 算对了训练完以后必须验证结果而不是只看损失函数。因为损失函数只是训练目标的加权平均损失低不代表整体误差低某些角落可能存在局部的大偏差。对于热方程这个案例我们有解析解可以做密集采样验证。在 [0,1]×[0,1] 上均匀铺上 101×101 的网格用训练好的模型逐一预测对比解析解计算最大绝对误差和相对 L2 误差def evaluate(model): x_grid torch.linspace(0, 1, 101) t_grid torch.linspace(0, 1, 101) xx, tt torch.meshgrid(x_grid, t_grid, indexingij) xx, tt xx.reshape(-1, 1), tt.reshape(-1, 1) u_pred model(xx, tt).detach().reshape(101, 101) u_exact (torch.sin(np.pi * x_grid).outer(torch.exp(-0.01 * np.pi**2 * t_grid))) abs_err torch.abs(u_pred - u_exact) rel_l2 torch.norm(abs_err) / torch.norm(u_exact) print(fMax abs error: {abs_err.max().item():.4e}) print(fRelative L2 error: {rel_l2.item():.4e}) return u_pred.numpy()相对 L2 误差低于 1% 说明训练成功在 1%5% 之间说明整体可用但某些区域需要加强超过 5% 基本说明哪里出了问题不建议拿去做后续分析。4. 优化器、激活函数与损失权重让 PINN 收敛的调参路线4.1 网络宽度、深度与激活函数的取舍PINN 对网络结构的要求和普通回归任务不太一样。普通回归任务网络深一点通常问题不大但 PINN 要同时拟合初始条件的非光滑部分和方程残差的光滑部分网络太深时 tanh 的梯度在反向传播过程中会衰减较浅层几乎学不到东西。我常用的起点配置是 3 个隐藏层、每层 30 个神经元、tanh 激活。这个配置跑热方程这种平滑问题很稳。如果要处理 Burgers 方程这类有激波的场景可以考虑把每层神经元提升到 50或者使用 sin 激活函数。sin 激活有一个有趣的性质它的二阶导是一个负的 sin本身不会像 tanh 那样饱和因此在高频信号逼近上更有优势但也更容易在训练初期震荡甚至发散。使用 sin 激活时网络权重初始化需要缩小不然初始输出就会剧烈振荡。下表是几种激活函数在 PINN 场景的对比激活函数二阶导是否可用对平滑解收敛速度对激波/陡梯度解训练稳定性tanh可用稳定需要更多层最稳sin可用快表现好容易发散ReLU二阶导恒零不可用不可用不可用GELU可用但复杂一般一般较稳如果方程的解有很强的振荡特性一个更有效的办法不是换激活函数而是对输入坐标做特征嵌入把 x 和 t 映射到多个频率的正余弦组合类似 NeRF 的做法让网络直接面对低频和高频特征。这个技巧在 Burgers 方程上效果显著值得尝试。4.2 损失权重你以为是同一量级实际差三个数量级损失权重是 PINN 里最容易被忽略但也最容易导致翻车的参数。热方程案例比较温和权重全部设 1 也能收敛。但换成参数 α 较大或者初始条件变化剧烈的问题时方程残差的量级可能只有 10⁻³初始条件的量级是 10⁰直接相加时残差项对损失的贡献几乎为零网络把全部精力花在拟合初始条件上方程约束被晾在一边。判断权重是否失衡有一个简单方法打印三个损失分量的数值看它们是否在同一量级。如果 loss_f 是 10⁻⁴loss_i 是 10⁻¹说明残差项已经被压制需要把残差项的权重调大到 10 或 100让三个分量重新平衡。这个调整可以在训练开始时做一次训练中途如果发现某个分量下降过慢也可以停下来调整。更进一步的做法是把权重设成可学习参数让网络自己决定三项约束的优先级。这类方法在文献里常被称作自适应权重核心思路是让权重随着对应损失的下降速度自动变化。实现上不算复杂但调参门槛更高新手先固定权重跑通一把再用自适应权重做优化就好。4.3 训练策略与复现固定随机种子是基操PINN 的优化面是高维非凸的同样的代码跑两次结果可能有明显差异。为了调试方便训练脚本开头固定好随机种子def set_seed(seed42): np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)固定种子以后每次训练结果一致才能放心地对比调参效果。不然你改了某个参数结果变化了但你分不清是参数影响还是随机波动。训练策略排一个优先级先保证采样点覆盖无死角再调整网络宽度最后才动损失权重。观察到很多刚接触 PINN 的同学一上来就调损失权重结果越调越乱其实问题通常出在采样点太少或者网络太窄。有一个习惯值得养成每一次调参改一行代码就在同一份日志里记录下“改了什么、损失曲线怎么样、最终误差是多少”。PINN 的调试经验很难凭感觉积累数据才是你的盟友。5. PINN 的 5 个高频翻车点现象、原因与解决5.1 损失降下去了解的形态却完全错误现象训练过程中损失函数一路下降到 10⁻⁵可视化预测解却和真实解差得很远比如热方程的解在 t 增大后应该越来越平坦预测结果却出现了不该有的波峰。原因这通常不是训练没收敛而是解的“非唯一性”在作祟。PINN 的损失函数是多个约束的加权和如果某个约束没有被充分满足网络可能找到了一个在加权损失上很小、但物理上不合理的解。常见诱因是采样点数量过少尤其是边界点只在固定几个时间位置取值网络在大部分边界上缺少约束。解决把采样点数量翻倍特别是边界点从每边 100 增加到 300然后看解形态是否改善。另外检查损失分量日志如果某个分量一直比其他分量高一个量级优先增加对应区域的采样点密度而不是调权重。5.2 二阶导计算出的结果是常量零现象计算残差时u_x 的输出不为零但 u_xx 的输出全部为零导致残差项 loss_f 从第一轮起就是 0训练正常但方程约束完全没有参与。原因这个基本上是因为 compute_residual 里对 u 调用 autograd.grad 时 u 的形状是 (N,1)而 grad_outputs 没有给对或者没有设置 create_graphTrue计算图断开后无法继续求二阶导。还有一种可能是激活函数用了 ReLU二阶导恒为零。解决给 autograd.grad 调用加上 create_graphTrue并且确认 grad_outputs 的形状与输出一致。如果代码没问题检查激活函数把 ReLU 换成 tanh。一个快速验证办法是构造一个已知函数 u x² t手动检查 u_xx 是否等于 2。5.3 训练前期一切正常2000 步后损失突然反弹现象损失前 1500 步平稳下降到 2000 步左右突然跳高之后在高低位之间来回震荡完全无法收敛。原因这通常是学习率设置偏大Adam 优化器在靠近极小值区域时步长收不住在局部极小值附近反复跳跃。另一个常见诱因是采样点每轮重采样引入了随机性采样点太少时损失曲线本来就会剧烈波动训练后期梯度已经很小时这种波动会被放大。解决把 Adam 初始学习率从默认的 1e-3 调低到 3e-4 或 1e-4同时把每轮采样点数量提高。如果损失曲线仍然震荡可以加一个简单的学习率衰减策略每 500 步将学习率乘以 0.9。这里有个取舍学习率太低收敛慢太高不稳定1e-3 到 1e-4 之间值得试两三个值再定。5.4 边界和初始条件学得很好内部残差始终降不下去现象loss_b 和 loss_i 都降到了 10⁻⁵ 以下loss_f 卡在 10⁻² 不动训练过程中这个值几乎没有变化。原因局部极小值问题。网络在边界附近拟合得很好但内部区域与方程残差不匹配而且梯度已经被边界损失主导优化器很难把参数从当前位置推出来。这种情形在热方程里不明显在 Burgers 方程等强非线性问题上很常见。解决第一个办法是调整采样点分布内部配点数量远大于边界点保证残差贡献不被稀释。第二个办法是分阶段训练先固定边界和初始条件只优化残差损失若干轮再放开全部损失联合训练。第三个办法是换激活函数sin 激活函数在处理内部残差时搜索能力更强但要注意初始权重缩放把线性层初始权重乘一个 0.1 的系数再训练。5.5 同一套代码换台机器结果差异巨大现象同样的代码在 A 机器上训练误差 1%换到 B 机器误差变成 10%代码逻辑完全没改。原因PINN 的训练过程对数值精度很敏感。CPU 与 GPU 的浮点运算行为不同不同版本的 PyTorch 在 autograd 实现上也有细微差异。更重要的原因是训练初期存在随机性在某些随机种子下网络会落入一个比较差的局部极小值。解决固定随机种子只能保证同一环境下的可复现性跨机器结果差异是 PINN 这类非凸优化问题的本性。实操上我的习惯是训练三个不同随机种子取误差最低的那个模型来用。同时记录训练环境版本方便后续排查。如果三种随机种子误差都很大说明是网络结构或权重设置的问题不是随机性问题。6. 从热方程出发验证技巧与几个进阶方向PINN 学完一个算例以后最容易犯的错误是“会跑热方程就以为会 PINN 了”。热方程平滑、低维、边界规则是 PINN 最容易处理的类型几乎所有相关代码仓库里第一个教程都是它。真正的挑战在高维、高频率和非线性问题。进阶之前先掌握两个实用验证技巧。第一个是残差空间分布可视化训练完成后把求解域铺上密集网格计算每个点的残差绝对值用伪彩色图画出来。这一步能帮助定位方程的哪些区域没学好。如果残差集中在初值附近说明网络表达能力在大梯度区域不足如果残差随机分布在求解域内说明整体欠拟合如果残差集中在个别角落优先怀疑采样点覆盖不足。第二个技巧是沿时间方向切片对比固定几个时间截面画出模型预测值与解析解或有置信度的数值参考解的曲线比只看整体误差指标更直观。进阶方向上值得认真考虑的是贝叶斯 PINN。它把网络参数当作随机变量在训练时输出预测的不确定性范围。很多工程问题里仅给一个解是不够的还需要知道解的可信区间特别是在逆问题中从噪声数据反演参数时不确定性评估直接决定了结果能不能用于决策。贝叶斯 PINN 的做法比标准 PINN 复杂不少可以从简单的 Monte Carlo Dropout 近似开始在网络的线性层之间插入随机失活层训练和预测时都开启多次前向得到一组预测值取其均值和方差作为不确定性的度量。另一个实用方向是时间窗口法。当 PINN 处理长时间演化的问题时单一网络很难在全时间域内保持精度一个更稳的策略是把时间域切成多个窗口先在 [0, T1] 上训练把窗口末端的预测结果作为下一个窗口的初始条件逐个窗口推进。这个思路和传统数值方法的分步积分有些相似但它保持了 PINN 的网格无关性。就我个人经验PINN 的调试习惯比任何网络结构都重要。坚持记录每次实验的损失曲线、误差指标和参数配置遇到失败时先怀疑采样点和权重再动网络结构最后再考虑换更复杂的技巧。这套基本功扎实之后再接触贝叶斯 PINN、时间窗口、自适应采样这些进阶方法时会少走很多弯路。希望上面的思路和代码能帮到你少踩一些坑。本文还有配套的精品资源点击获取
