论文标题:Efficient and Effective Time-Series Forecasting with Spiking Neural Networks
论文链接:https://arxiv.org/pdf/2402.01533
代码链接:https: //github.com/microsoft/SeqSNN
前言
这篇文章给我们一个发文章的思路:继续在transformer架构卷改进很难了,换新赛道则竞争相对没有那么激烈,要善于发掘新方法在时序上的应用,比如:如KAN、SNN等。另外,这种类型的文章好难讲清楚,太多额外知识点,还是建议看原文~
脉冲神经网络(SNNs)因其卓越的能效、事件驱动的特性和生物学的合理性,被公认为神经网络发展的第三代技术,为捕捉时间序列数据的细微差别开辟了独特的途径。复旦大学团队提出了一个针对时间序列预测的SNN框架,充分利用脉冲神经元在处理时间信息方面的高效性。作者证明了提出的基于SNN的方法在多样化的基准测试中与传统时间序列预测方法相比,不仅结果相当或更优,而且能耗显著降低。此外,作者还通过分析实验,评估了SNN在捕捉时间序列数据中的时间依赖性方面的能力。该研究不仅为SNN领域的进一步发展做出了贡献,而且为时间序列预测任务提供了一种充满希望的替代方案。
脉冲网络应用到时序难点:
将脉冲神经网络直接应用到时间序列领域面临的难点:1)连续时间序列数据与SNNs离散脉冲周期之间的有效时间同步,这需要对编码机制进行精确的设计;2)SNNs中脉冲值的离散性与时间序列数据的浮点数特性之间存在显著差异,这需要减少浮点数值转换为脉冲序列时可能出现的信息丢失和噪声干扰。3)缺乏标准化的模型选择指南,必须对SNN的架构及其参数进行全面的探索,以便为各种时间序列数据集的特定特征量身定制解决方案。
本文模型
模型框架
如图是作者为时间序列预测构建的SNN框架概览:给定一个输入时间序列样本