Non-stationary Diffusion For Probabilistic Time Series Forecasting论文阅读笔记

Non-stationary Diffusion For Probabilistic Time Series Forecasting

摘要

时间序列数据受到潜在的物理动力学和外部影响，其不确定性通常随时间而变化。现有的去噪扩散概率模型（DDPMs）受到加性噪声模型（ANM）的恒定方差假设的限制，往往不能捕捉到这种非平稳性质。本文作者利用位置尺度噪声模型（LSNM）来放宽人工神经网络的固定不确定性假设，设计了一个基于扩散的概率预测框架，称为非平稳扩散（NsDiff），实现对不确定性的变化模式进行建模。具体来说，NsDiff将基于扩散的去噪条件生成模型与预训练的条件均值和方差估计器相结合，实现自适应端点分布建模。此外，还提出了一种不确定性感知噪声调度，该调度动态调整噪声水平以准确反映每一步数据的不确定性，并将时变方差集成到扩散过程中。

引言

时序数据预测工作一般是通过历史时序数据$X$来训练模型，然后预测未来的时序片段$Y$。因此可以看作在拟合分布$\mathbb{E}[Y|X]$。这样的方法忽略了在预测过程中的时序不确定性。

去噪扩散概率模型（Denoising Diffusion Probabilistic Models ，DDPMs）基于加性噪声模型（Additive Noise Model，ANM）在概率时序预测工作中提供了不确定性。其加性噪声为固定的高斯噪声，拟合过程表示为：$Y=f(X)+ϵ,ϵ\sim \mathcal{N}(0,\sigma )$。该方法在计算机视觉和自然语言生成工作中都有较大的贡献，但是对于非平稳时间序列数据的预测还需要进一步研究。

上图利用ILI（流感样疾病）数据集，分别对三种方法的效果进行展示（具有不同的端点分布（左）和估计不确定性（右））：TimeGrad 、TMDM 和NsDiff(本文所提方法)。其中，TimeGrad的端点分布服从标准正态分布$\mathcal{N}(0,I)$，TMDM则使用$\mathcal{N}(f(X),I)$。前者无法获取非稳定特征，后者则可以通过$f(X)$获取时序数据的变化趋势，但是他的协方差限制了其准确预测不确定性的能力。

本文为了更好地处理随不确定性变化的非平稳性，我们在DDPMs中引入了位置尺度噪声模型（Local-Scale Noise Model，LSNM），它通过纳入上下文变化的方差放宽了传统的加性噪声模型（ANM）的限制：$Y=f(X)+\sqrt{g(X)}ϵ$，其中$g(X)$是基于$X$变化的参数。

主要贡献如下：

• 作者观察到ANM不足以捕获变化的不确定性，并提出了一个集成LSNM的新框架，以允许显式不确定性建模。本作品是首次尝试介绍LSNM转化为概率时间序列预测
• 为了从根本上提升DDPM的噪声建模能力，我们通过动态适应每一步噪声方差的不确定性噪声调度，将时变方差无缝地集成到核心扩散过程中
• 实验结果表明，NsDiff在捕获不确定性方面具有较好的性能。具体来说，与最近第二好的基线相比在TMDM中，NsDiff在真实数据集上的改进可达66.3%，在合成数据集上的改进可达88.3%

相关工作

• DDPM：这些方法通常假设固定端点方差，这使得非平稳时间序列难以建模
• 非平稳时间序列预测：概率预测中的非平稳不确定性在很大程度上仍未得到探索

预备工作

问题描述：

• 多元时间序列：$X\in {\mathbb{R}}^{N\times D}$，其中$N$是历史窗口尺寸，$D$是特征维度数量

• 未来的多元时间序列：Y={p(y1),p(y2),...,p(yM)∣y∈RD}\pmb{Y}=\{p(y_1), p(y_2), ..., p(y_M)|y\in\mathbb{R}^D\}Y={p(y1​),p(y2​),...,p(yM​)∣y∈RD}，其中$M$是为未来窗口尺寸

• 以前的工作拟合该过程为：$Y=f_{\varphi }(X)+ϵ,ϵ\sim \mathcal{N}(0,\sigma )$

• 本文的工作：
  $$Y=f_{\varphi }(X)+\sqrt{g_{\psi }(X)}ϵ,ϵ\sim \mathcal{N}(0,\sigma )$$

$f_{\varphi }(X)$和$g_{\psi }(X)$可以被视为具有预训练参数$\varphi$和$\psi$的先验知识，其中$f_{\varphi }(X)$建模条件期望$\mathbb{E}[Y|X]$， $g_{\psi }(X)$建模变化的不确定性。

DDPMs

• 未来序列分布：$p_{\theta }(Y_0):=\int p_{\theta }(Y_{0:T})d{Y}_{1:T}$，其中$Y_1,...,Y_T$是潜变量

• 联合分布被描述为马尔可夫链：$p_{\theta }(Y_{0:T}):=p(Y_T){\prod }_{t=1}^T{p}_{\theta }(Y_{t-1}|Y_t)$，其中端点分布为$p(Y_T):=\mathcal{N}(0,I)$

• 前向过程$Y_0\to Y_T$：
  $$\begin{gathered} q(Y_{1:T}|Y_0):=\prod _{t=1}^{T}q(Y_t|Y_{t-1}) \\ q(Y_t|Y_{t-1}):=\mathcal{N}(Y_t;\sqrt{1-{\beta }_t}{Y}_{t-1},{\beta }_{t}I) \end{gathered}$$
  其中，${\beta }_t\in (0,1)$是一个扩散技巧参数，用于控制端点分布$Y_T\sim \mathcal{N}(0,I)$

• 前向过程可以简化为：$q(Y_t|Y_0)=\mathcal{N}(Y_t;\sqrt{{\bar{\alpha }}_t}{Y}_{t-1},(1-{\bar{\alpha }}_t)I)$，其中${\alpha }_t:=1-{\beta }_t$，且$\bar{\alpha }:={\prod }_{i=1}^t{\alpha }_t$

• 后向过程：
  KaTeX parse error: Can't use function '$' in math mode at position 2: $̲p_\theta(\pmb{Y…

• 优化目标为：
  $${\mathbb{E}}_{Y_0\sim q(Y_0),\eta \sim \mathcal{N}(0,I),t}||\eta -{\eta }_{\theta }{|}^2$$

在这个基本的正向和反向过程之后，许多基于扩散的方法改进了反向过程或先验分布与历史时间序列信息。然而，它们固定了先验分布的方差，关注的是期望匹配。不确定性的先验设置和训练在很大程度上被忽略了。

方法

前向和反向过程

使用不同的噪声模型LSNM形成端点分布
$$p(Y_T|f_{\varphi }(x),g_{\psi }(x)):=\mathcal{N}(f_{\varphi }(X,g_{\psi }(X)))$$
其中，$f_{\varphi }(x)$为条件期望$\mathbb{E}[Y|X]$建模，该条件期望$\mathbb{E}[Y|X]$可以通过任何预测模型参数化,遵循已有的工作（Reversible instance normalization for accurate time-series
forecasting against distribution shift；Adaptive normalization for non-stationary
time series forecasting: A temporal slice perspective）来训练不确定度$g_{\psi }(x)$的先验尺度，用输入方差来预测输出方差。

前向过程逐步修改每一步的噪声以接近端点分布。为了将时变方差无缝地整合到扩散过程中，我们提出了一个不确定性感知的噪声调度，并将数据方差纳入前向过程分布中：$q(Y_t|Y_{t-1},f_{\varphi }(X),g_{\psi }(X),{\sigma }_{Y_0})$。具体来说，给定预训练良好的模型$f_{\varphi }$， $g_{\psi }$和先验状态$Y_{t-1}$，我们控制缩放方差从起点的实际方差${\sigma }_{Y_0}$过渡到端点$g_{\psi }X$。得到的分布为正态分布：
$$\begin{gathered} \mathcal{N}(Y_t;\sqrt{{\alpha }_t}{Y}_{t-1}+(1-\sqrt{{\alpha }_t})f_{\varphi }(X),({\beta }_t^2{g}_{\psi }(X)+{\alpha }_t{\beta }_t{\sigma }_{Y_0}) \\ {\beta }_t^2{g}_{\psi }(X)+{\alpha }_t{\beta }_t{\sigma }_{Y_0}):={\sigma }_t \end{gathered}$$
其中共享系数${\beta }_t$是噪声标度常数。随着噪声步骤$t$的增大，${\beta }_t{g}_{\psi }(X)$项增大，${\alpha }_t{\sigma }_{Y_0}$项减小。当$t=T$时，${\alpha }_t=0$，变量收敛到假设的端点分布$g_{\varphi }(X)$。这使得DDPM能够自适应地调整每一步的噪声水平，以捕获数据的不确定性。正向分布允许一个封闭形式的采样分布$q(Y_t|Y_0,f_{\varphi }(X),g_{\psi }(X),{\sigma }_{Y_0})$具有任意时间步长$t$：
$$\begin{gathered} \mathcal{N}(Y_t;\sqrt{{\bar{\alpha }}_t}{Y}_0+(1-\sqrt{{\bar{\alpha }}_t})f_{\varphi }(X),({\bar{\beta }}_t-{\tilde{\beta }}_t)g_{\psi }(X)+{\tilde{\beta }}_t{\sigma }_{Y_0}) \\ ({\bar{\beta }}_t-{\tilde{\beta }}_t)g_{\psi }(X)+{\tilde{\beta }}_t{\sigma }_{Y_0}):={\bar{\sigma }}_t \end{gathered}$$
其中:
$$\begin{gathered} {\tilde{\alpha }}_t=\sum _{k=0}^{t-1}\prod _{i=t-k}^t{\alpha }_i,{\bar{\beta }}_t:=1-{\bar{\alpha }}_t \\ {\hat{\alpha }}_t:=\sum _{k=0}^{t-1}(\prod _{i=t-k}^t{\alpha }_i){\alpha }_{t-k},{\tilde{\beta }}_t:={\tilde{\alpha }}_t-{\hat{\alpha }}_t \end{gathered}$$
在反向过程中，当以$Y_0$为条件时，$Y_{t-1}$的后验是可处理的，可重述为：
$$q(Y_{t-1}|Y_t,Y_0,f_{\varphi (X),g_{\psi }(X),{\sigma }_{Y_0}}):=\mathcal{N}(Y_{t-1};\tilde{\mu },\tilde{\sigma })$$
这里:
$$\begin{gathered} \tilde{\mu }:=\gamma Y_0+{\gamma }_1{Y}_t+{\gamma }_2{f}_{\varphi }(X) \\ \tilde{\sigma }:=\frac{{\sigma }_t{\bar{\sigma }}_{t-1}}{{\alpha }_t{\bar{\sigma }}_{t-1}+{\sigma }_t} \end{gathered}$$
其中：
$$\begin{gathered} {\gamma }_0:=\frac{\sqrt{{\bar{\alpha }}_{t-1}}{\sigma }_t}{{\alpha }_t{\bar{\sigma }}_{t-1}+{\sigma }_t}, \\ {\gamma }_1:=\frac{\sqrt{{\bar{\alpha }}_t}{\sigma }_t-1}{{\alpha }_t{\bar{\sigma }}_{t-1}+{\sigma }_t}, \\ {\gamma }_2:=\frac{\sqrt{{\alpha }_t}({\alpha }_t-1){\sigma }_{t-1}+(1-\sqrt{{\bar{\alpha }}_{t-1}}){\sigma }_t}{{\alpha }_t{\bar{\sigma }}_{t-1}+{\sigma }_t} \end{gathered}$$
按照DDPM的基本步骤参数化降噪模型$p_{\theta }(Y_{t-1}|Y_t,f_{\varphi }(X),g_{\psi }(X))$，以匹配前向过程后验$q(Y_{t-1}|Y_t,f_{\varphi }(X),g_{\psi }(X),{\sigma }_{Y_0})$。

损失函数

通过优化两个分布的KL散度，将去噪过渡步骤$p_{\theta }(Y_{t-1}|Y_t,f_{\varphi }(X),g_{\psi }(X))$近似为标签去噪过度步骤$q(Y_{t-1}|Y_t,f_{\varphi }(X),g_{\psi }(X),{\sigma }_{Y_0})$​。与经典DDPM一样，只优化对角方差项，分别表示为$\tilde{\sigma }$和${\sigma }_{\theta }$。损失定义为噪声匹配项的KL散度：

$$\mathcal{L}=\mathbb{E}[D_{KL}({\mathcal{N}}_x;\tilde{\mu },\tilde{\sigma }||\mathcal{N}(y;{\mu }_{\theta },{\sigma }_{\theta }))]\propto \mathbb{E}[||\eta -{\eta }_{\theta }|{|}_2^2+\sum _i\frac{{\tilde{\sigma }}_i}{{\sigma }_{\theta ,i}}-\sum _i\log (\frac{{\tilde{\sigma }}_i}{{\sigma }_{\theta ,i}})]$$
其中${\eta }_{\theta }$为估计噪声，$\eta$为真噪声。第一项保证了后验均值的估计，其余项保证了方差的估计。

预训练$f_{\varphi }$和$g_{\psi }$

为了训练$f\varphi$，我们遵循先前的工作（Transformer-modulated diffusion models for probabilistic multivariate time series forecasting），并利用非平稳Transformer（Non-stationary
transformers: Exploring the stationarity in time series forecasting）作为主干模型。训练过程与标准监督时间序列模型的训练过程相同（Informer: Beyond efficient transformer
for long sequence time-series forecasting）。对于$g_{\psi }$的训练，我们使用滑动窗口方法提取估计值的方差，参考（Reversible instance normalization for accurate time-series
forecasting against distribution shift；Adaptive normalization for non-stationary time series forecasting: A temporal slice perspective；Frequency adaptive normalization for non-stationary time series forecasting）。具体来说，给定时间序列标签$Y_0$，估计值的方差定义为：
$${\sigma }_{Y_0}=Var(SlidingWindow(Y_0))$$
该过程为有监督训练过程。

训练NsDiff

NsDiff训练的目标是通过参数化$p_{\theta }$来匹配后验分布$q$​。和传统的DDPM一样，NsDiff可以通过分别从均匀分布和高斯分布中采样随机$t$和噪声$\eta$来端到端训练。

推理

推理阶段的目标是从参数化分布$p_{\theta }(Y_{t-1}|Y_t,f_{\varphi }(X),g_{\psi }(X))$中递归采样：

简化NsDiff

个人总结

本文通过在噪声项中添加$g_{\psi }(X)$实现了对预测不确定性的建模：
$$Y=f_{\varphi }(X)+\sqrt{g_{\psi }(X)}ϵ$$