ChatTS：清华联合字节推出的新型多模态大语言模型

0 20

ChatTS项目简介

ChatTS是由清华大学和字节跳动的研究团队共同开发的一种新型多模态大语言模型（MLLM），专门用于时间序列分析。该模型通过合成数据进行训练，能够处理多变量时间序列输入，并在理解与推理任务中表现出色。开发团队提出了一种基于属性的合成数据生成方法和Time Series Evol-Instruct（TSEvol）算法，以生成多样化且准确的训练数据。ChatTS在真实世界数据集上的表现显著优于现有的基于视觉和文本的模型，平均性能提升超过46%。此外，团队还开源了模型代码、训练数据集和评估数据，以支持未来的研究和应用开发。

ChatTS主要功能

时间序列理解：
- 能够对多变量时间序列数据进行详细的特征分析，包括趋势、季节性、噪声和局部波动的识别。
- 可以处理任意长度和数量的时间序列，适应不同场景下的复杂数据结构。
时间序列推理：
- 支持归纳推理、演绎推理、因果推理和比较推理等多种推理任务。
- 能够结合时间序列数据和自然语言描述，进行复杂问题的分析和解答。
多模态对齐：
- 将时间序列数据与自然语言文本对齐，实现时间序列特征与文本描述的精准匹配。
- 通过合成数据生成技术，提供丰富的训练样本，增强模型的对齐能力。
高效的数据处理：
- 采用值保留的时间序列归一化技术，保留原始数值信息，提高数值分析的准确性。
- 通过上下文感知的时间序列编码器，有效处理多变量时间序列数据，减少计算资源消耗。

ChatTS技术原理

合成数据生成：
- 属性选择器：通过详细特征集描述时间序列，并利用LLM选择与实际物理意义对齐的属性子集。
- 基于属性的时间序列生成器：根据属性池中的属性，使用基于规则的方法生成精确匹配的时间序列。
- Time Series Evol-Instruct（TSEvol）：通过属性池中的属性动态生成多样化的问答对，增强模型对时间序列属性的理解和推理能力。
多模态对齐：
- 上下文感知的时间序列编码器：能够处理任意长度和数量的多变量时间序列，并保留原始数值信息。
- 值保留的时间序列归一化：通过在文本提示中包含归一化参数，保留时间序列的原始数值信息。
模型训练：
- 大规模对齐训练：使用合成数据进行大规模对齐训练，建立文本和时间序列模态之间的初始对齐。
- 监督微调（SFT）：通过生成的问答对和指令跟随数据集，进一步提升模型的问答和推理能力。
模型结构：
- 时间序列编码器：采用多层感知机（MLP）对时间序列进行编码，将时间序列特征映射到与文本嵌入相同的空间。
- 文本嵌入：对文本输入进行分词和嵌入处理，确保时间序列和文本在同一个特征空间中对齐。
推理能力提升：
- 多样化问答生成：通过TSEvol算法生成多样化的问答对，增强模型对不同时间序列属性的理解和推理能力。
- 复杂任务处理：支持多种推理任务，如归纳推理、演绎推理、因果推理和比较推理，提升模型在复杂场景下的应用能力。