SparseTSF：用 1000 个参数进行长序列预测建模

论文标题：SparseTSF: Modeling Long-term Time Series Forecasting with 1k Parameters

论文链接：https://arxiv.org/abs/2405.00946

代码链接：https://github.com/lss-1138/SparseTSF

本文要介绍的SparseTSF，是一个极其轻量化的长期时间序列预测（LTSF）模型，旨在以最少的计算资源（1000个参数）应对在长时间跨度内对复杂时间依赖关系进行建模的挑战。SparseTSF的核心是跨周期稀疏预测技术，通过分离时间序列数据中的周期性和趋势，简化了预测任务。

研究背景：时间序列生成的意义与挑战

近年来，长期时间序列预测备受关注，其要求模型能提供更长远的预测视角，以满足前瞻性规划的需求。像基于Transformer的模型，因其参数常达数百万甚至数千万，在计算资源受限场景下实用性大打折扣。

事实上，准确进行长期时间序列预测的基础在于数据固有的周期性和趋势性。

举例来说，家庭用电量能够进行长期预测是因为这类数据具有明显的每日和每周模式。特别是对于每日模式，如果我们将一天中特定时间的用电量重新采样成每日序列，每个子序列都会呈现出相似或一致的趋势。

在这种情况下，原始序列的周期性和趋势性就可以分解和转化。也就是说，周期模式转化为子序列间的动态变化，而趋势模式则被重新解释为子序列内的特征。这种分解为设计轻量化的长期时间序列预测（LTSF）模型提供了新的视角。

本文模型：跨领域时间序列生成

本文探索了利用数据中的这种固有周期性和分解特性来构建专门的轻量化时间序列预测模型。提出了跨周期稀疏预测技术。如图 1 所示，SparseTSF 在使用少于1000 个可训练参数，这使得它比同类模型小 1 到 4 个数量级的情况下，实现了接近最先进水平的预测性能。

SparseTSF建模过程基于时间序列数据常呈现的先验周期性，采用跨周期稀疏预测技术。先对原始序列按已知周期w进行下采样，将其转化为长度为n=L/w的子序列，这一过程通过将原序列重塑为n×w矩阵并转置实现。

接着，使用共享参数的模型（如单线性层）对这些子序列进行预测，预测时相当于对转置后的矩阵应用大小为n×m（m=H/w）的线性层，得到w×m的矩阵。

之后，对预测结果进行上采样，即转置w×m矩阵并重塑为长度为H的完整预测序列。

为解决下采样可能导致的信息丢失和异常值影响问题，在执行稀疏预测前，会对原始序列进行滑动聚合，利用零填充的1D卷积实现。

此外，还采用实例归一化，在数据输入模型前减去序列均值，输出后再加上均值，并以经典的均方误差作为损失函数，以此完成整个建模过程。

基于这项技术，SparseTSF模型使用不到1000个参数，就实现了与最先进模型相媲美甚至更优的性能。此外，SparseTSF展现出卓越的泛化能力，使其非常适合计算资源有限、样本量小或数据质量低的场景。

本文实验：跨领域序列生成效果

本文提出的 SparseTSF 轻量化时序预测模型通过对原始序列下采样，聚焦跨周期趋势预测，有效分离数据的周期性和趋势，在提取周期特征的同时降低模型复杂度和参数数量。模型使用不到 1000 个参数，就实现了与先进模型相媲美甚至更优的预测性能，在多个主流长期时间序列预测数据集上表现出色。

 大家可以关注我【科学最top】，第一时间follow时序高水平论文解读！！！，后台回复“交流”加入讨论群，回复“资源”获取2024年度论文讲解合集