#TSer#
时间数据，特别是时间序列和时空数据，在现实世界的应用中普遍存在。这些数据捕获动态系统的测量值，并由物理和虚拟传感器大量产生。分析这些数据类型对于利用它们所包含的丰富信息至关重要，从而有益于各种下游任务。近年来，大语言模型和其他基础模型的进步促使这些模型在时间序列和时空数据挖掘中的使用不断增加。这些方法不仅增强了跨多个领域的模式识别和推理能力，而且为能够理解和处理常见时间数据的人工通用智能奠定了基础。
本文介绍一篇关于时间序列和时空数据的大模型的调查综述。在该论文中， 作者强调了分析这些数据类型的重要性以及对各种下游任务的潜在好处。他们将现有文献分为两大类：时间序列分析的大模型（LM4TS）和时空数据挖掘（LM4STD）。此外，作者还提供了全面的资源收集，包括数据集、模型资产和工具，按主流应用分类。论文强调了以大模型为中心的时间序列和时空数据的最新研究进展，以及该领域的未来研究机会。
论文地址：https://arxiv.org/abs/2310.10196
论文背景
大模型在自然语言处理、计算机视觉和其他领域取得了显著成果，但在传统的时间序列和时空数据分析方法中，大模型的应用相对较少。
尽管最近在为时间序列和时空数据的大模型开发铺平了道路，但在许多情况下，大规模数据集的缺乏仍然是一个重大的障碍。即便如此，我们已经目睹了在不同任务和领域中成功尝试数量的急剧增加，这充分证明了大模型在时间序列和时空数据分析中尚未发掘的潜力。
在本文中，作者通过提供一个统一的、全面的和最新的综述，满足了这个需要，该综述专门针对时间序列和时空数据分析的大模型，包括不同的数据类型、范围、应用领域和代表性任务中的LLMs和PFMs。
此综述的贡献点总结如下：
- 首个全面且最新的综述
- 统一和结构化的分类法
- 丰富的资源编译
- 未来的研究机会
与其他调查相比，这份调查更为全面，不仅涵盖了多个领域和数据模态，还对当前最为热门的大型模型和预训练策略进行了深入的探讨。它为读者提供了一个更为宽广的视野，有助于更全面地理解时间序列、时空数据等领域的最新研究进展。
模型介绍
本文的主要工作集中于回顾近期采用大模型解决时间序列和时空数据任务的进展。具体来说，作者关注大模型中的两个主流：大语言模型和预训练的基础模型。以下是作者对这两个模型及其相关内容的介绍：
01
大语言模型（LLMs）
语言建模是许多自然语言处理任务的基础，而大语言模型（LLMs）的初衷是为了提高语言建模的性能。与传统的神经语言模型（NLMs）和小型预训练的语言模型（PLMs）相比，LLMs以其在解决各种复杂任务时的突发能力、上下文学习能力而为人所知，并重塑了我们使用AI的方式。
随着多模态大语言模型（MLLMs）的发展，LLMs的下游任务远远超出了传统的自然语言范围，小型PLMs无法轻易解决这些问题。在最近的使用LLMs对时间序列和时空数据进行建模的过程中，我们将其分为两大类：可见嵌入型LLMs和不可见嵌入型LLMs。前者通常开源，具有公开可访问的内部状态，典型的例子包括BLOOM、Llama、Alpaca、Vicuna和Falcon等，这些模型通常可以在不同的目标任务上进行微调，并显示出有前途的少样本和零样本能力，无需额外的再训练。后者通常是闭源的，没有公开的内部状态，如PaLM、ChatGPT1和GPT-4，它们通常通过API调用中的提示进行推断。
下图提供了一个关于大模型的简要路线图，概述了它们的发展历程和研究焦点，清晰地揭示了大语言模型和预训练基础模型之间的联系和差异。
见证了多模态大语言模型（MLLMs）的巨大成功后，作者主要的研究兴趣之一是如何调整LLMs来解决时间序列和时空数据分析任务。在现有的文献中，这通常可以通过多模态再利用或基于API的提示来实现。
这种方法通常用于激活嵌入可见LLMs的任务相关功能，通过在目标和预训练（源）任务中对齐不同的模态来实现。这与LLMs的微调密切相关，例如适配器调谐和低秩适应，以及模型重编程，这取决于在适应过程中LLMs是微调还是冻结。这种方法允许更深入地利用LLMs的内部状态和任务相关功能，但可能需要更多的计算资源和访问权限。
另一方面，这种方法更直接，将目标模态包装成自然语言提示，并将其输入到LLMs中进行生成推理。这类似于语言模型即服务（LMaaS）的黑盒调优。证据表明，这种方法在跨多个领域的不同目标任务中都适用，并显示出有希望的结果，包括时间序列和时空数据的学习。
02
预训练基础模型
预训练基础模型是指那些大规模预训练的模型，这些模型可适应解决各种下游任务。从广义上讲，LLMs（以及MLLMs）也属于PFMs，但它们更常用于解决自然语言导向的任务。PFMs构成了一个更广泛的模型类别，其特点是其突发能力和同质化，可有效解决不同任务，并整合了构建AI系统的方法论，与特定任务的模型有显著不同。
PFMs的能力主要表现在三个关键维度：模态桥接、推理和计划以及交互。
- 模态桥接：涉及多模态模型，例如视觉-语言模型等MLLMs，这类模型在统一语言和视觉模态方面取得了显著成果。例如，CLIP最初提出弥合图像和文本之间的差距，SAM进一步扩展了文本提示的概念到视觉提示。其他最近的工作，如NExT-GPT，进一步扩大了边界，甚至允许桥接多种不同的模态。
- 推理和计划：PFMs也被设计用于进行复杂的推理和计划任务。这些模型可以从大量的预训练数据中学习如何推理和解决复杂问题。
- 交互：这些模型还能够以更自然的方式与人类用户进行交互，从而提供更好的用户体验。
在现实世界中，数据本质上是多模态的，例如在临床医学中，经常涉及时间序列和时空数据。这也激发了最近对多模态时间序列和时空数据的研究兴趣。尽管这些研究仍处于早期发展阶段，但它们代表了PFMs的一个重要且充满希望的分支。
第二个方面突出了PFMs的推理和规划能力。LLMs中的典型例子包括CoT、ToT和 GoT，以及任务规划代理。这些模型具备在不同任务和情境中进行逻辑推理和制定计划的能力。
最后一个方面定义了PFMs的交互能力，包括行动和通信。交互能力使得PFMs能够与用户或其他系统进行实时的信息交流，并根据需求进行相应的行动。在本调查中，作者主要关注用于时间序列和时空数据的PFMs。这些模型在发展中大多仍处于早期阶段，远未达到上述的第二和第三方面。对于PFMs的更多细节，我们建议读者参考。
总之，PFMs作为一种前沿的AI技术，它们的多模态桥接、推理规划以及交互能力为我们解决复杂的问题提供了新的可能性。然而，对于时间序列和时空数据的PFMs研究仍处于初级阶段，未来还有很大的发展空间。随着技术的不断进步，我们期待看到更多的创新和突破，以推动人工智能领域的发展。
03
时间序列和时空数据
时间序列和时空数据作为时间相关的数据类别，在无数现实世界应用中作为基础数据出现。时间序列通常被定义为按时间顺序排列的数据点序列。这些序列可以是单变量的，也可以是多变量的。例如，一个城市每天的温度读数将形成一个单变量时间序列，而结合每天的温度和湿度数据将创建一个多变量时间序列。
- 时间序列数据：这是按时间顺序排列的数据，通常用于分析和预测某一现象随时间的变化情况。代表任务包括时间序列预测、异常检测等。
- 时空数据：这类数据不仅包含时间信息，还包含空间信息。它们被广泛用于地理位置相关的研究和应用中。代表任务包括时空数据插补、时空预测等。
1. 时间序列任务
这个领域通常包括四个主要的分析任务：预测、分类、异常检测和填充。在预测中，目标是预测时间序列的未来值，根据预测范围，可以进一步分为短期和长期预测。在分类中，目标是将输入的时间序列分类到不同的类别中。时间序列的异常检测也可以被理解为一种特殊的分类任务，我们的目标是从正常的时间序列中识别出异常的时间序列。在填充任务中，目标是填充时间序列中的缺失值。
2. 时空图任务
时空图的主要下游任务是预测，该任务旨在通过参考历史属性和结构信息来预测未来的节点特征。典型的例子包括交通预测和一些按需服务。其他常见任务包括链接预测和节点/图分类，其中链接预测的目标是基于历史信息预测边的存在，而节点/图分类的目标是将节点或图分类到不同的类别中。
3. 时间知识图任务
时间知识图中有两个重要任务：补全和预测。前者主要旨在填充图中的缺失关系，而后者关注预测未来的关系。
4. 视频任务
在计算机视觉领域，视频数据包含几个核心任务，如检测、标注、预测和查询。检测的目的是识别视频中的特定物体或动作。标注试图为视频内容生成自然语言描述。预测涉及预测视频序列中的未来帧。最后，查询的目的是检索与特定查询相关的视频片段。值得注意的是，这些任务经常跨越多种模态，与前面提到的数据类型相比，它们受到了相当大的关注。
概述与分类
作者对时间序列和时空数据的大模型进行概述和分类。调查结构遵循四个主要维度：数据类别、模型架构、模型范围和应用领域或任务。相关工作的详细概要可以在图3和表2中找到。作者主要将现有的文献分为两大类：时间序列数据的大模型（LM4TS）和时空数据的大模型（LM4STD）。
01
时间序列数据的大模型（LM4TS）
在LM4TS类别中，作者将研究细分为两类：时间序列数据的LLMs (LLM4TS)和时间序列数据的PFMs (PFM4TS)。前者指的是利用LLMs解决时间序列任务，无论在适应过程中LLMs是微调还是冻结。后者，另一方面，关注为各种时间序列任务显式设计的PFMs的开发。值得注意的是，PFM4TS领域相对较新；现有模型可能没有完全封装定义在第2.2节的通用PFMs的潜力。然而，它们为这个领域的未来发展提供了有价值的见解。因此，作者还将它们包括在这个调查中，并将它们分类为PFM4TS。对于这些细分，作者进一步将它们分类为通用或特定领域的模型，取决于这些模型是设计用来解决一般时间序列分析任务还是限于特定领域，包括但不限于交通、金融和医疗保健。
02
时空数据的大模型（LM4STD）
在LM4STD类别中，作者采用类似的分类法，定义时空数据的LLMs (LLM4STD)和时空数据的PFMs (PFM4STD)。与时间序列数据不同，时空数据包含多个领域的更广泛的实体数组；因此作者明确地按照它们相关的领域分类LLM4STD和PFM4STD。在此，作者关注三个最突出的领域/模态，使用它们作为子类别：时空图、时态知识图和视频数据。对于其中的每一个，作者总结代表性的任务作为叶节点，这与LM4TS相似。值得注意的是，与其时间序列对应物相比，PFM4STD已经得到了更广泛的发展。当前的研究主要针对STGs和视频数据，通常具有如多模态桥接和推理等PFMs的增强功能。
时间序列数据大模型
近年来，大语言模型和预训练基础模型在时间序列分析中的应用取得了显著的进展。这些模型具有强大的学习能力和表示能力，能够有效地捕捉时间序列数据中的复杂模式和长期依赖关系。本节中，作者将分别讨论大语言模型和预训练基础模型在时间序列分析中的进展，并进一步根据模型的通用性和领域特异性进行分类讨论。
01
大语言模型在时间序列分析中的应用
1. 通用模型
随着时间的推移，大语言模型（LLMs）逐渐在时间序列分析领域展现出其潜力。作为从LLM角度处理通用时间序列预测的早期努力之一，有研究正式引入了一个新任务：基于提示的时间序列预测——PromptCast。由于输入和输出都是自然语言句子，PromptCast为时间序列预测提供了一种新颖的“无代码”解决方案，这提供了一个全新视角，而不仅仅是专注于设计复杂的架构。此外，为了应对缺乏大规模训练数据的挑战，有研究提出了一个基于部分冻结LLMs的统一框架，即只微调嵌入和归一化层，同时保持自注意力和前馈层不变。这种方法在所有主要的时间序列分析任务中都达到了最先进或可比的性能，包括时间序列分类、短期/长期预测、插补、异常检测、少样本和零样本预测。
其他研究则更专注于时间序列预测的特定方面。例如，TEMPO专注于时间序列预测，但结合了额外的时间序列分解和软提示等精细设计。还有研究利用LLMs进行时间序列预测，采用两阶段的微调过程：首先使用有监督的微调引导LLM朝向时间序列数据，随后转向针对时间序列预测的下游微调。另有研究通过新的嵌入方法激活了LLM在时间序列上的能力，该方法通过实例、特征和文本原型对齐的方式进行数据的token化和编码，然后创建提示传递给LLMs来执行任务。
2. 特定领域模型
交通运输领域：时间序列预测在智能交通系统（Intelligent Transportation Systems，简称ITS）中发挥着关键作用。为了充分发掘大语言模型在交通运输领域的应用潜力，有研究提出了一种新颖的AuxMobLCast管道，利用LLM进行交通数据挖掘，例如人类移动性预测任务。AuxMobLCast将人类移动性数据转化为自然语言句子，使得预训练的LLM可以直接应用于微调阶段来预测人类移动性。这项工作是首次尝试微调现有的LLM，以预测交通运输领域的数据，为LLM在交通运输领域的应用提供了新的思路和方法。
金融领域：近年来，一些专注于金融领域的大语言模型（LLMs）的研究已在文献中报道。其中一项研究提出了一种简单而有效的指令调优方法，用于金融领域的情感分析。通过这种方法，基于分类的情感分析数据集被转化为生成任务，从而使LLMs能够更有效地应用其广泛的训练和卓越的分析能力。除了NLP任务外，利用LLMs的卓越知识和推理能力进行金融时间序列预测也很吸引人。有研究使用GPT-4进行零样本/少样本推理，以及使用Llama进行基于指令的微调来进行可解释的预测，尽管与GPT-4相比性能相对较差，但仍取得了合理的性能。还有研究使用了类似的方法来基于文本数据预测股票价格变动。这些研究展示了LLMs在金融领域的潜力和多样性，为未来的金融应用和研究提供了新的视角和工具。
事件预测：与具有相等采样间隔的同步（规则）时间序列数据不同，事件序列是具有不规则时间戳的异步时间序列。事件序列在现实世界中扮演着重要角色，如金融、在线购物、社交网络等。时间点过程（Temporal Point Processes，简称TPPs）已成为建模此类数据的标准方法。事件预测旨在根据过去预测未来的时间和事件类型。例如，在在线购物领域，作者想要建立用户的时间戳访问序列模型，并根据他们过去的购物评价来预测他们未来的购物行为。大语言模型（LLMs）在这种设置中潜在地有用，因为事件序列通常伴有丰富的文本信息，而LLMs擅长处理这些信息。
医疗健康领域：医疗健康领域是事件序列中最重要的领域之一，临床模型可帮助医生和行政人员在日常实践中做出决策。基于结构化数据的临床模型使用受限，但GatorTron和NYUTron等临床LLM的扩展和改进，为医学提供了与医生一起阅读和在护理点提供指导的潜力。LLMs还可以通过少样本提示调优，将来自可穿戴设备和临床级传感设备的数值时间序列数据作为基础，在健康任务上带来大的改进。
02
预训练基础模型在时间序列分析中的应用
除了利用LLMs进行时间序列分析外，时间序列预训练和相关基础模型的发展也充满了希望。这些模型有助于识别在各种领域和后续任务中保持一致的一般时间序列模式。
1. 通用模型
自2021年以来，已经提出了大量的预训练基础模型，其中大多数是通用模型。Voice2Series利用了预训练的语音处理模型的表示学习能力，使用语音数据作为单变量时间信号进行时间序列分类，它是能够为时间序列任务进行重新编程的第一个框架。
继Voice2Series之后，基于对比学习技术的时间序列数据的预训练基础模型相继涌现，包括TF-C、TS2Vec和CLUDA。TF-C包含一个基于时间的组件和一个基于频率的组件，每个组件都通过对比估计进行单独训练，自监督信号由时间和频率组件之间的距离提供，即时间-频率一致性。TS2Vec提出了一种通用的对比学习框架，用于学习时间序列领域中任意子序列在各种语义级别的上下文表示，通过分层方式对增强的上下文视图进行处理。该框架支持多元输入，可用于时间序列领域的各种任务。
CLUDA是一种基于对比学习的无监督时间序列域适应模型。CLUDA有两个新颖的组件，定制对比学习和最近邻对比学习。使用对抗学习将它们在源域和目标域之间进行对齐。CLUDA的对比学习组件旨在学习一个表示空间，其中语义相似的样本更接近，不相似的样本更远。因此，CLUDA可以学习多元时间序列中的域不变上下文表示，以适应不同的领域。这些模型的出现为时间序列分析提供了更丰富和强大的工具。
除了上述的模型和技术外，该领域还采用了许多其他技术。例如，STEP模型包含了一个预训练模型和一个时空图神经网络（STGNN）。预训练模型被设计用于从长期历史时间序列中高效学习时间模式，并生成片段级表示。这些表示为STGNNs的短期时间序列输入提供了上下文信息，并有助于建模时间序列之间的依赖关系。
MTSMAE是一种多元时间序列预测的自监督预训练方法。基于掩蔽自编码器（MAE）的预训练方法涉及一种新的块嵌入，可以减少内存使用，并允许模型处理更长的序列，以解决处理高信息密度的多元时间序列的挑战。
SimMTM也基于掩蔽建模技术，通过揭示流形的局部结构，将预训练方法扩展到时间序列。为了提高掩蔽建模的性能，掩蔽的时间点通过流形外的多个邻居的加权聚合进行恢复，这使得SimMTM能够从多个掩蔽序列中组合互补的时间变化，并提高重建序列的质量。
PatchTST是一个基于Transformer的长期时间序列预测模型。为了克服其他模型在捕捉局部语义信息方面的局限性，PatchTST引入了一种用于提取局部语义信息的补丁机制，并设计了一种通道独立性，使每个序列都能学习自己的注意力图以进行预测。它也被应用于预训练任务中。
另外，TSMixer是一个轻量级的MLP-Mixer模型，用于多元时间序列预测。它引入了两个新颖的在线调和头，利用分层补丁聚合的内在时间序列属性和跨通道相关性来调整和改进预测。与基于Transformer的模型不同，TSMixer显著增强了简单MLP结构的学习能力。
2. 特定领域模型
PromptTPP 提出了一种通用方法来预训练事件序列的基础模型，并通过采用持续学习（Continual Learning，CL）来解决连续模型监控的问题。这使得 PromptTPP 能够在现实约束下连续学习一系列任务，而不会发生灾难性遗忘。相应地，PromptTPP 将基础模型与连续时间检索提示池相集成。这些提示是可学习的小参数，存储在内存空间中，并与基础模型联合优化，确保模型能够顺序学习事件流，而无需缓冲过去的样本或任务特定属性。
通过这种方式，PromptTPP 不仅能适应不断变化的数据环境，还能有效地利用内存资源，避免在持续学习过程中出现信息遗忘的问题。这种方法的提出为事件序列的连续学习开辟了新的可能性，也为解决相关的实际问题提供了有效的工具。
时空数据的大模型
在本节中，作者探讨了大模型在时空数据分析中的进步，这些进步跨越了三个主要的数据类别：时空图、时间知识图和视频。每一种都具有广泛的现实世界应用。
01
时空图
在深度学习的时代，时空图神经网络（STGNNs）已经成为时空图预测事实上最受欢迎的方法。它们主要利用图神经网络捕捉顶点之间的空间相关性，并利用其他模型（如RNN和CNN）学习不同时间步之间的时间依赖性。
近年来，LLM（大语言模型）和PFM（预训练特征模型）的出现为时空表示学习领域的STGNN（时空图神经网络）提供了宝贵的支持。这些模型在处理和上下文化文本数据方面表现出色，使它们具备从各种文本来源（包括新闻文章、社交媒体内容到报告）中提取洞察力的能力。这些洞察力可以无缝地整合到时空结构中，提高其上下文的丰富性。此外，它们促进了多种模态的融合，包括文本、图像和结构化数据，从而扩大了时空理解的深度和广度。这些模型具有生成人类可解释解释的能力，提高了透明度和可靠性，特别是在城市规划或灾害应对等应用中。此外，它们通过简洁表示编码高级信息，促进了计算效率，简化了训练和推理过程。
1. 大语言模型在时空图中的应用
与PFMs相比，利用LLMs增强STGNNs学习能力的文献相对较少。第一种方法是使用LLMs学习顶点之间的关系。早期的一项研究可以在参考文献[122]中找到，它提出了一个新颖的框架，利用LLM令人赞叹的图推理能力来增强STGNNs对股票价格变动的预测。在这种方法中，ChatGPT被用来从每日财经新闻中提取不断演变的网络结构，这些推断出的图结构然后被无缝集成到GNNs中，为每个公司生成节点嵌入。这些嵌入证明了对提高与股票变动相关的下游任务的性能是有帮助的。
此外，第二系列研究利用LLMs的先验知识来支持STGNNs的下游应用，如用于人类行为识别的LA-GCN。在LA-GCN中，LLM衍生的知识被转化为先验全局关系（GPR）拓扑和先验类别关系（CPR）拓扑，定义了节点之间的互联。GPR作为生成新颖骨骼表示的指导框架，其主要目标是突出从基础数据中提取的关键节点信息。
2. 预训练基础模型在时空图中的应用
我们目前正在目睹为掌握各种现实世界应用中的STGs（时空图）而定制的预训练机器学习模型的激增。这些模型通过知识迁移显著促进了STG学习。换句话说，它们实现了已学习表示形式的迁移，从而提高了STGs捕获复杂模式的能力，导致了更有效和更高效的学习。
- 一般领域的PFMs：
对比学习是一种在图像和文本领域被广泛应用的表示学习方法，它在时空图学习领域也被证明是非常有效的。其中一种代表性方法是STGCL，它通过对比正样本对与负样本对，从复杂的时空图数据中提取丰富和有意义的表示。这种方法使得对比学习在诸如交通预测和电力消耗预测等多样化领域的实际应用中变得可行。为了学习顶点间的有信息量的关系，SPGCL最大化了正邻居和负邻居之间的区分边界，并用一种自我步调策略生成了最优图。
- 气象领域的PFMs：
考虑到计算效率的迫切需求以及及时气候预测的需求，Pathak等人引入了FourCastNet，这是一个利用自适应傅里叶神经算子实现高分辨率预测和快速推断的气候PFM。它的训练过程包括两个阶段——预训练和微调。在预训练期间，FourCastNet接受监督训练，以获得从前一步到后一步的映射。在微调阶段，它基于预训练模型进行构建，将其优化为以自回归方式预测接下来的两个时间步。
PanGu通过多时间尺度模型组合方法，展示了比FourCastNet更强的中期预测能力，利用新颖的3D地球特定Transformer。这个3D深度网络，增强了地球特定先验，有效地处理复杂的气象数据模式。
ClimaX是一个适应性强的深度学习模型，应用于气候和天气科学，训练于多样化数据集。它扩展了Transformer架构，带有创新组件，优化了计算效率。最初在CMIP6气候数据上进行预训练，ClimaX可以针对各种气候和天气任务进行微调，甚至涉及未见过的变量和时空尺度。
W-MAE将自监督预训练方法（即Masked Autoencoder）整合到气候预测任务中。这种整合使得模型能够从大量的无标签气象数据中提取关键的气象相关特征和通用知识，有助于改善对多样化数据源的处理。与上述方法不同，FengWu通过多模态和多任务方法解决中期气候预测问题。它采用了一种深度学习架构，具有模型特定的Transformer和跨模态融合策略。这种设计精心制作，纳入了不确定性损失，用于各种预测器的区域自适应优化。
- 交通运输领域
在交通运输领域，CPPBTR是一个基于Transformer的新框架，用于人群流量预测，其特点是两阶段的解码过程。在第一解码阶段，生成一个初步序列。随后，在第二解码阶段，系统地遮蔽这个初始序列的每一个时间步，并将其输入到Transformer编码器中，以预测每个遮蔽位置的精细流量。
在交通流量预测领域，TrafficBERT利用了受BERT启发的关键特征。它采用与BERT类似的双向Transformer结构，可以预测整体交通流量，而不是单个时间步。与需要对每条特定道路进行单独训练的常规模型相比，TrafficBERT通过使用来自多条道路的数据进行预训练，增强了模型的泛化能力。
此外，Wang等人引入了交通基础模型(TFM)，它将交通模拟纳入到交通预测的领域中。TFM利用图结构和动态图生成算法，巧妙地捕获交通系统内参与者之间的复杂动态和交互。这种数据驱动和无模型的模拟方法有效地解决了传统系统在结构复杂性和模型精度方面长期存在的问题，为使用真实世界数据解决复杂的交通问题奠定了坚实的基础。
02
时间知识图
结构化知识推理的应用，如搜索引擎、问答系统、对话系统和社交网络等一系列应用都需要对基础结构化知识进行推理。特别是，知识图谱(KGs) 、作为研究这类知识的复杂多关系设置的重要模型，已经引起了广泛关注。KGs以三元组(s, p, o)的形式表示事实（事件），通常从文本数据中提取，其中s和o分别表示主体和客体实体，p作为关系类型表示谓词。然而，在现实世界中，知识是不断发展的，这激发了时间知识图谱(TKGs) 的构建和应用，其中事实从三元组(s, p, o)扩展到带有时间戳t的四元组，即(s, p, o, t)。通过有效捕获事实之间的时间依赖性和结构依赖性，TKGs有助于更好地理解实体的行为以及它们如何随着时间的推移促成事实的生成。因此，TKGs的应用和改进对于提高这些系统的性能和准确性具有重要的意义。
由于近年来LLMs在许多文本推理任务中表现出惊人的性能，因此很自然地会主动研究LLMs在TKGs中的有效性。根据所执行的任务，基于LLM的TKG模型可分为两类：预测和补全。
03
视频
视频是视觉信息的数字表示，通常由一系列图像或帧组成，共同传达动作和时间变化。这些数据在各种实际应用中变得无处不在，包括监控系统、娱乐平台、社交媒体和驾驶员辅助系统。对于视频理解的常规深度学习方法主要涉及两个关键范式：
(1) 2D CNNs：在这个范式中，每个视频帧通过2D卷积分别处理，然后在网络顶部沿时间轴聚合。这种方法主要关注空间特征，时间特征的处理较为简单。
(2) 3D CNNs：这种方法通过学习3D卷积来聚合空间和时间特征，从而学习视频的时空表示。与2D CNNs相比，3D CNNs能够更好地捕获视频中的时间动态。
近年来，Transformers也因其捕获长距离依赖的能力而被广泛应用于建模视频的时空依赖，进行视频识别。这种方法不依赖于卷积操作，而是通过自注意力机制来捕获全局的时空依赖关系。
然而，近年来LLMs（大语言模型）和PFMs（多模态模型）的发展为利用视频固有的多模态性质增强视频理解铺平了道路。这些模型，如OpenAI的CLIP和DALL-E，能够通过联合处理视觉和文本模态，有效地从视频数据中提取丰富的上下文信息，实现对复杂场景和事件的更全面理解。此外，这些模型有潜力促进不同领域之间的有效迁移学习，提高视频分析任务的泛化能力和鲁棒性。
资源与应用
本节汇总了与时间序列和时空数据相关的各种应用中常见的数据集、模型和工具。这些数据集、模型和工具在下表中一一列出，为研究人员和实践者提供了宝贵的资源和参考。通过这些数据集、模型和工具，我们能够更深入地理解和分析时间序列和时空数据，进一步推动相关领域的发展和进步。
展望与未来机遇
本节讨论了当前研究的潜在局限性，并突出六个未来研究方向，旨在开发更强大、更透明、更可靠的时序数据分析大模型。
01
大模型的理论分析
由于文本数据和时序数据的顺序性质，最近的研究已经扩展了LLMs以处理时间序列和时空任务。这意味着可以从LLMs的文本数据中学习到的表示可以微调以捕获时序数据的模式。然而，这仍然是一个非常高级的理解。与其他深度学习模型一样，LLMs也由于其复杂性而被视为“黑箱”，这使得人们难以理解是哪些数据影响了其预测和决策。需要对LLMs进行更深入的理论分析，以研究语言和时序数据之间的潜在模式相似性，以及如何有效地将它们用于特定的时间序列和时空任务，如预测、异常检测、分类等。
02
多模态模型的发展
在现实世界的应用中，许多时间序列和时空数据经常附带有补充信息，如文本描述。这在经济和金融领域等场景中尤其有用。例如，经济预测可以利用文本（如新闻文章或推文）和数值型经济时间序列数据的信息来进行。因此，LLMs可以适应学习联合表示，既考虑时序数据的顺序性质，又考虑其他模态的独特特征。此外，不同的模态可能具有不同的时间分辨率。LLMs可以适应处理来自具有不同时间分辨率的多个模态的时序数据差异。因此，来自不同时间分辨率的所有信息都可以被充分利用，以提高性能。
03
持续学习与适应
现实世界的应用经常面临不断变化的场景。因此，有必要研究模型适应非平稳环境的能力，避免对旧知识的灾难性遗忘。尽管一些研究已经在普通的机器学习和深度学习模型中研究了这些问题，但如何使大模型持续适应不断变化的时序数据，包括在线学习策略、适应概念漂移和容纳数据中不断演变的模式等方面的研究仍然是一个探索不足的问题。
04
可解释性和可理解性
理解模型为何做出特定的预测或预报对于时间序列分析也至关重要，尤其是在医疗和金融等关键领域。目前，对LLMs的内部理解仍然有限。因此，为理解LLMs所学内容以及如何将其应用于时间序列数据进行预测，开发理论框架非常重要。可解释性和可理解性可以提高LLMs的透明度，为时间序列分析提供基本原理，例如突出显示为何预测未来值，如何将特定点视为异常，或解释特定分类的原因。研究如何增强大模型以执行时间推理和推断时间序列数据中的因果关系。这包括开发方法来识别因果关系，这对于诸如根本原因分析和干预计划等应用至关重要。
05
大模型上的隐私和对抗性攻击
时序数据可能具有高度敏感性，尤其是在医疗和金融等应用场景中。当LLMs在此类数据上进行训练或微调时，它们可能会记住训练数据中的特定细节，从而带来泄露私有数据的风险。因此，如何利用隐私保护技术，如差分隐私和联邦学习，在确保数据隐私的同时，仍然受益于LLMs在时间序列和时空分析上的强大能力，存在大量的研究机会。
06
模型泛化与脆弱性
LLMs通常在通用数据上进行预训练，然后在特定任务上进行微调。如果微调数据中包含对抗性或噪声样本，这个过程可能会引入脆弱性。如果用于微调的时序数据没有得到仔细的处理，模型可能会从这些数据中继承偏见或脆弱性，导致在现实应用中的鲁棒性受损。此外，尽管LLMs在庞大的数据集上进行训练，但它们可能无法很好地泛化到未见过的或分布外的数据。时间序列和时空数据可能会表现出突然的变化或趋势。如果LLM在训练过程中没有遇到过类似的模式，它可能会产生不可靠的输出，这就强调了对鲁棒泛化的需求。
总结
本文对适用于时间序列和时空数据分析的大模型进行了广泛且最新的综述。作者的目标是通过引入一种新的分类法来分类所审查的模型，为这个动态领域提供一个新的视角。作者不仅仅停留在描述层面，还对每一类中的最突出技术进行了总结，深入探讨了它们的优点和局限性，最后照亮了未来研究的有前途的途径。在这个令人兴奋的话题中，突破性调查的范围是无限的。这项综述将作为催化剂，激发人们的好奇心，并培养对时间序列和时空数据分析领域大模型研究的持久热情。作者希望这篇综述能为研究者们提供一个全面而深入的参考，推动该领域不断向前发展，并催生更多的创新和应用。
