AI4S / 方法前沿

求解 PDE 时,核几何需要各自学习吗?KAPI-LM 的共享与压缩思路

求解偏微分方程时,一组局部基函数可以共同描绘输运、扩散或陡峭变化。问题在于:每个基函数的位置、尺度和方向,都需要单独学习吗?KAPI-LM 给出的思路是,把大量径向基函数(RBF)的几何组织交给少量共享变量,同时保留全部物理核及各自的展开系数。这样,科研人员可以分别调整局部表达所需的核数量,以及组织这些核所需的几何自由度。1[1]

先把表示写清楚。用 z 表示空间坐标或时空坐标,N 表示物理核数量,cⱼ 表示第 j 个核的展开系数。将共享几何变量记为 g,由解码器 D 为各核生成几何参数,就得到下面的结构:

uc,g(z)=∑j=1Ncj ϕ(z;Dj(g)).u_{c,g}(z)=\sum_{j=1}^{N}c_j\,\phi\bigl(z;D_j(g)\bigr).

KAPI-LM 的父子构造用较少的父组件组织较多的子核,位置、尺度和方向等变量通过几何解码器作用于核字典。共享强度由父组件的配置控制;当每个物理核都拥有自己的父组件时,可以恢复不受共享约束的 RBF 参数化。整个过程中,N 个核及其独立系数仍然保留。1[2]

这使表示复杂度有了两个可以分别讨论的预算。核数量决定可供组合的局部函数有多少;几何自由度决定这些局部函数能以多少种方式移动、伸缩和组织。一个问题可能需要许多核来刻画细节,却只需要少数几组共同变化的几何。实际选型时,先固定核数量研究共享程度,才能看清减少几何变量究竟付出了多少精度代价。

论文的近似理论正是围绕这一表示层面的问题展开:研究父子解码器定义的函数类,并量化几何共享相对于不受约束的 RBF 表示增加的逼近代价。cSPINN 与 cPIELM 使用同一个单任务表示类,因此这部分理论讨论的对象与两者采用哪种优化策略可以分开。1[2]

从表示式本身,还可以直接推导出一个理解共享代价的关系。设目标解为 u,不受共享约束的一个近似为 v=Σⱼcⱼφⱼ;将各核换成共享几何生成的 φ̃ⱼ,并暂时保持同一组系数,得到 ṽ=Σⱼcⱼφ̃ⱼ。由三角不等式,在所选函数范数下有:

∥u−v~∥≤∥u−v∥+∑j=1N∣cj∣ ∥ϕj−ϕ~j∥.\|u-\tilde v\|\leq\|u-v\|+\sum_{j=1}^{N}|c_j|\,\|\phi_j-\tilde\phi_j\|.

第一项是原有近似的误差,第二项衡量这次共享替换带来的变化。

这个关系说明,几何变量减少多少与解精度变化多少之间,并没有脱离问题的固定换算。关键在于共享后的核能否接近任务需要的核,以及系数会怎样放大核的差异。对 PDE 求解,还要关注方程涉及的导数:函数值相近的两种表示,在微分算子作用后可能表现出不同的残差。因此,选择共享程度需要同时考察解的结构和方程对局部变化的敏感性。

论文设置了七个基准,覆盖线性输运与椭圆问题、非线性动力学、参数化方程族、耦合不可压流动,以及奇异摄动边界层。作者在固定物理基底分辨率下报告了较强的几何压缩能力,同时也指出了问题相关的共享上限:Burgers 问题中的压缩拐点,以及尖锐目标实验,都体现了过强共享对局部表达的限制。1[2]

理解这些结果,可以从“哪些变化能够一起发生”入手。若一组局部结构沿相近方向排列,或随物理参数协同移动,共享几何就有机会用少量变量协调许多核。若相邻区域需要不同的尺度、方向或移动方式,同组核的绑定便可能形成冲突。此时,即使每个核仍有自己的系数,幅值调整也未必能补偿几何位置或尺度的不足。

因此,一个有用的实验应当分别改变核数量与几何自由度。在相同核数量下逐步放开共享,可以观察几何约束的影响;保持几何组织方式、增加细尺度局部核,则可以观察局部分辨率的影响。将两种改动放在同一条参数数量曲线上,容易掩盖它们解决的问题。

KAPI-LM 还把“允许怎样的表示”与“怎样找到这个表示”分开,给出了三种实现。它们使用共享几何这一结构,但学习参数的方式不同。1[1]

实现 学习方式 研究时关注的关系
cSPINN 联合优化几何与展开系数 核的几何调整与幅值调整怎样共同降低损失
cPIELM 对系数线性的情形,内层最小二乘求系数,外层优化几何 当前几何在系数充分拟合后能达到怎样的残差
Meta-cSPINN 通过任务条件学习处理参数化 PDE 表示如何随物理任务参数变化

cPIELM 的关键可以借助变量投影来理解。对系数线性的离散约束,将 PDE 与边界等条件组装成 A(g)c≈b。给定几何 g,先求当前几何对应的最小二乘系数,再用所得残差评价几何:

c∗(g)∈arg min⁡c∥A(g)c−b∥22,F(g)=∥A(g)c∗(g)−b∥22.c^*(g)\in\operatorname*{arg\,min}_{c}\|A(g)c-b\|_2^2,\qquad F(g)=\|A(g)c^*(g)-b\|_2^2.

消去线性变量、围绕剩余非线性变量优化,是变量投影的基本思想。2[3]

由这两种优化目标的结构,可以理解论文为何会观察到不同几何。联合优化沿途面对的是当前几何与当前系数构成的状态;变量投影则用经过内层系数拟合后的残差评价几何。两条路径受到的几何更新信号可能不同,也就可能走向不同的核分布。论文确实报告了同一表示类中,不同优化策略得到明显不同几何的现象。1[2]

比较这些分布时,应把核的位置、尺度、系数以及残差图放在一起看。一幅整齐的核分布图,能够显示表示怎样组织;它对当前物理问题是否有效,要看相同评估条件下的方程满足程度和目标物理量。几何差异也值得跨初始化比较:稳定出现的结构,比一次训练中的局部排列更适合作为后续细化的依据。

对参数化 PDE,Meta-cSPINN 将这种组织延伸到解族,支持给定任务参数后的一次前向预测。1[1] 由此可以分别研究两层共享:单个任务内部,多少核能够共享几何;多个任务之间,几何的变化能否由同一个条件映射组织。评估时也应沿任务参数观察局部结构怎样出现、移动和变窄。

决定下一步在哪里增加自由度,可以从 PDE 残差入手。Wu 等人的研究使用残差动态调整训练点分布,说明了将采样资源投向困难区域的一条具体路径。3[4] 对 KAPI-LM 的选型,我建议进一步把残差热点作为局部对照实验的入口,分别检验放开共享、增加局部核和改善训练这三种改动。

具体做法是:先在覆盖整个计算域的一组独立评估点上计算 PDE 残差,并分别记录边界、初值及耦合方程各分量的残差。将各项无量纲化或按固定尺度归一后,观察区域平均值与局部峰值。这样既能找到持续存在的薄层热点,也能保留对域内其他位置的检查,避免一个全局平均数淹没局部困难。

对照改动 保持的条件 用来判断的细化方向
局部拆分父组件,或解除部分核的几何绑定 物理核总数不变 热点是否主要受共享几何限制
在热点补充按既定规则生成的细尺度子核 父组件数量不变 现有局部基底分辨率是否不足
补充残差训练点,或改善优化过程 表示结构不变 当前采样与训练是否尚未充分利用已有表示

这些改动需要用共同的评估指标比较。如果核数不变、只放开局部共享就能持续降低热点残差,新增几何自由度便有了直接用途;如果细尺度子核带来更稳定的改善,局部分辨率更值得增加;如果改善采样或优化已经有效,就可以先继续利用现有表示。每轮同时记录热点变化、全域残差、目标物理量及实际计算成本,逐步选择收益更高的方向。

处理解族时,把同样的比较放到“坐标—任务参数”空间中:找出哪些参数区间反复出现热点,再观察对应几何是否需要额外变化。共享可以在大部分任务与区域继续保留,把新增自由度集中到反复暴露困难的位置。实际使用时,可先固定核数量扫描几何共享强度,再根据残差热点做局部对照,让表示复杂度的增加对应到明确的物理需求。

[1] Dwivedi, V.; Srinivasan, B.; Sigovan, M.; Sixou, B. KAPI-LM: kernel-adaptive physics-informed learning machines for PDEs[2]. Neural Networks, 206, 109740. DOI: 10.1016/j.neunet.2026.109740。2026年10月12日在线发表;卷期日期为2027年2月。PubMed 文献记录[1]。

[2] Golub, G. H.; Pereyra, V. The Differentiation of Pseudo-Inverses and Nonlinear Least Squares Problems Whose Variables Separate[3]. SIAM Journal on Numerical Analysis, 10(2), 413–432, 1973. DOI: 10.1137/0710036。

[3] Wu, C.; Zhu, M.; Tan, Q.; Kartha, Y.; Lu, L. A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks[4]. arXiv:2207.10289, 2022. 期刊 DOI: 10.1016/j.cma.2022.115671。

参考文献

  1. KAPI-LM: kernel-adaptive physics-informed learning machines for PDEs — PubMed

  2. KAPI-LM: kernel-adaptive physics-informed learning machines for PDEs — ScienceDirect

  3. The Differentiation of Pseudo-Inverses and Nonlinear Least Squares Problems Whose Variables Separate

  4. A comprehensive study of non-adaptive and residual-based adaptive sampling for physics-informed neural networks