2023-2025 时序大模型相关工作汇总
近年来，时间序列与大语言模型（LLM）的交叉研究取得显著进展，推动该领域从任务专用模型向通用基础模型转型。研究主要聚焦五大方向：基础模型架构、数据生成与处理、跨模态对齐与LLM适配、联邦学习与轻量化模型、应用探索。这些研究通过生成式预训练、跨模态整合突破了数据与架构瓶颈，但LLM的适配性争议与轻量化需求仍待解决。
本文结合上述5个方向系统梳理了近年来时间序列大模型领域的重要工作，精选24篇相关研究整理成合集，供大家学习与参考。
感兴趣的可以 [丝 xin] 我~~
更多论文姿.料【时序之心】
VLDB 2025
ChatTS: Aligning Time Series with LLMs via Synthetic Data for Enhanced Understanding and Reasoning
1. 方法
本文介绍了专为时间序列分析设计的新型多模态大语言模型ChatTS。
ChatTS将时间序列视为一种模态，类似于视觉多模态大语言模型处理图像的方式，使其能够对时间序列进行理解和推理。
为解决训练数据稀缺问题，提出了一种基于属性的方法来生成带有详细属性描述的合成时间序列。引入了Time Series Evol-Instruct这一新型方法，用于生成多样化的时间序列问答，以增强模型的推理能力。
2.创新点
1. 时间序列作为独立模态
区别于传统方法将时间序列视为“数值序列”或文本的简单附加信息，ChatTS将其独立为一种模态（类似图像在视觉MLLM中的角色），实现了时间序列与语言模态的对等融合。
2. 基于属性的合成数据生成方法
提出一种可控的时间序列生成框架，通过解构时间序列核心属性，组合生成多样化数据并自动配属文本描述。
论文链接：[2412.03104] ChatTS: Aligning Time Series with LLMs via Synthetic Data for Enhanced Understanding and Reasoning
代码链接：https://github.com/NetManAIOps/ChatTS
ICLR 2025
Exploring Representations and Interventions in Time Series Foundation Models
1. 方法
文章探讨了时间序列基础模型（TSFM）的学习机制和表示分析，旨在填补对其内部工作原理的理解空白。
通过层级表示分析，识别和定位TSFM中可解释的概念，探讨不同模型是否以相似方式组织知识。此外，提出了一种新方法，通过调整模型的潜在表示来引导预测，允许模型生成更符合概念的预测，而无需额外的训练或微调。
2. 创新点
1. 概念引导预测机制
区别于传统模型依赖数据驱动的预测模式，首次提出通过直接干预模型的潜在表示引导预测结果，无需微调即可将用户定义的概念融入预测流程。
2. 多时间分辨率处理架构
Moirai模型摒弃常规的编解码器结构，采用纯编码器式Transformer，通过多变量注意力机制同步建模不同粒度的时间模式，实现“一模型多分辨率”的通用适配。
3. 层级化可解释性分析方法
首创对时间序列基础模型（TSFM）的层级表示分析框架，揭示模型内部概念存储与知识组织结构。
论文链接：[2409.12915] Exploring Representations and Interventions in Time Series Foundation Models
NIPS 2024
AutoTimes: Autoregressive Time Series Forecasters via Large Language Models
1.方法
本研究聚焦于通用时间序列预测，面对处理可变长度场景、稀缺样本的良好泛化能力、多模态利用及指导性下游提示等挑战。提出了 AutoTimes模型，通过轻量适配将大型语言模型（LLM）转化为时间序列预测器，保持自回归的一致性。
该模型在预测基准测试中实现了最先进的性能，展现出显著的适应速度和参数效率，具备多步生成和上下文学习的高级能力。
2. 创新点
1. 轻量级LLM适配范式革新
提出面向时间序列的“参数冻结式适配”方法，仅通过插入少量可训练参数将通用LLM转化为专用时间序列预测器，突破传统方案需全参数微调的算力瓶颈。
2. 自回归一致性的跨任务泛化
首创基于LLM原生自回归机制的任意长度预测框架，通过时间戳编码统一输入/输出表达形式，使模型无需结构修改即可处理从短期到超长期的连续预测任务。
论文链接：AutoTimes: Autoregressive Time Series Forecasters via Large Language Models | OpenReview
代码链接：https://github.com/thuml/AutoTimes
ICML 2024
Timer: Generative Pre-trained Transformers Are Large Time Series Models
1. 方法
本研究开发了一种通用的时间序列分析模型，旨在处理数据稀缺的场景，帮助社会提前预防风险并做出更好的决策。
提供了一个高质量的数据集，支持可扩展的预训练，促进了时间序列架构和预训练技术的研究。提出的模型在多个任务中展现出良好的泛化能力和多样性，超越了现有的任务特定模型。
2. 创新点
1. 生成式预训练-微调范式
打破传统时间序列模型依赖监督学习的限制，通过大规模无监督预训练构建通用时序表征空间。利用自回归生成机制捕捉跨领域时序模式。
2. 开源多模态时序预训练数据集
构建首个融合物理量数值、事件文本标签、传感器拓扑结构的多模态时序数据集，涵盖能源、医疗、交通等8大领域，包含超过1000万条样本的细粒度对齐数据。
3. 自回归因果掩码的时空建模框架
设计时空分离的混合注意力机制——时间轴使用因果掩码确保预测严格因果性，空间轴采用全连接图注意力，实现时间严格递推、空间全局关联的联合建模。
论文链接：[2402.02368] Timer: Generative Pre-trained Transformers Are Large Time Series Models
代码链接：https://github.com/thuml/Large-Time-Series-Model