时序预测是时间序列领域的经典问题之一。本次NeurIPS带来了8篇研究:
Non-stationary Transformers: Rethinking the Stationarity in Time
Series Forecasting
论文地址:https://nips.cc/Conferences/2022/Schedule?showEvent=55235
论文源码:https://github.com/thuml/Nonstationary_Transformers
论文摘要:transformer
由于其全局范围建模能力,在时间序列预测方面表现出了强大的能力。但是,在非平
稳真实世界数据上,它们的性能可能会严重退化,其中联合分布随时间变化。以前的
研究主要采用平稳化来减少原始序列的非平稳性,以获得更好的可预测性。但是被剥
夺了固有的非平稳性的平稳序列对于现实世界的突发事件预测可能不太有指导意义。
这个问题在本文中称为过度平稳化,导致 transformer
为不同的序列产生无法区分的时间注意力,并阻碍了深度模型的预测能力。为了解决
串联可预测性和模型能力之间的困境,我们提出非平稳变压器作为一个通用框架,具
有两个相互依赖的模块:串联稳态化和非稳态注意。具体来说,串联平稳化统一了每
个输入的统计信息,并将输出与恢复的统计信息进行了转换,以提高可预测性。为了
解决过度平稳化的问题,设计了去平稳注意力,通过近似从非平稳化序列中学到的可
区分注意力,将内在的非平稳信息恢复到时间依赖关系中。
Generative Time Series Forecasting with Diffusion, Denoise and
Disentanglement
论文地址:https://nips.cc/Conferences/2022/Schedule?showEvent=53118
论文源码:https://github.com/ramber1836/d3vae
论文摘要:时间序列预测是一项被广泛探索的任务,在许多应用中都非常重要。然而
,真实世界的时间序列数据记录在短时间内是很常见的,这导致深度模型与有限且噪
声的时间序列之间存在较大差距。在这项工作中,我们建议使用生成建模解决时间序
列预测问题。并提出了一种配备扩散、去噪和解纠的双向变分自动编码器(BVAE)
,即D3VAE。具体而言,该文提出一种耦合扩散概率模型,在不增加数据随机不确定
性的情况下,对时间序列数据进行扩充。为了确保生成的序列朝着真实目标移动,我
们进一步建议将多尺度去噪得分匹配调整并集成到扩散过程中,以进行时间序列预测