简读分享 | 龙文韬 编辑 | 王宇哲
论文题目
Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting
论文摘要
在许多实际应用中，时间序列预测是一个关键且具有挑战性的问题。最近，基于Transformer的模型由于在长期依赖学习方面的进步而在时间序列预测中占了上风。此外，一些模型引入了序列分解，以进一步揭示可靠而简单的时间依赖关系。不幸的是，很少有模型可以处理复杂的周期性模式，例如真实数据集中的多个周期、可变周期和相位转移。同时，众所周知的点积型注意力机制（dot-product attentions）的二次方复杂性阻碍了长序列建模。为了应对这些挑战，作者设计了一个创新的框架Quaternion Transformer（Quatformer），以及三个主要组件：1）基于四元数的循环学习（learning-to-rotate attention, LRA），引入可学习的周期和相位信息来描绘复杂的周期模式。2）趋势归一化，考虑到趋势变化缓慢的特点，对模型隐藏层中的序列表示进行归一化。3）使用全局存储器解耦LRA，在不损失预测精度的情况下实现线性复杂性。作者在多个现实世界的时间序列数据集上评估作者的框架，并观察到在最佳最先进基线上MSE平均提高了8.1%和18.5%。
论文链接
https://dl.acm.org/doi/10.1145/3534678.3539234
