CAMul：校准和准确的多视图时间序列预测

3174CAMul概述校准和准确的预测来自Latent的多个视图嵌入不同的数据源分布捕获和方式每个视图信息和不确定性整合来自所有视图的CAMul：校准和准确的多视图时间序列预测Harshavardhan Kamarthi，Lingkai Kong，Alexander Rodríguez，Chao Zhang，B.阿迪蒂亚·普拉卡什美国佐治亚理工学院计算学院{harsha.pk，lkkong，arodriguezc，chaozhang，badityap}@gatech.edu摘要概率时间序列预测可以在许多领域进行可靠的决策大多数预测问题都有不同的数据来源，包含多种模式和结构。 从这些数据源中提取信息以进行准确和校准良好的预测是一个重要但具有挑战性的问题。大多数以前的作品多视图时间序列预测聚合功能从每个数据视图通过简单的求和或concatena- tion，并没有明确地模型的不确定性，每个数据视图。我们提出了一个通用的概率多视图预测框架CAM UL，它可以从不同的数据源中学习表示和不确定性。它以动态的特定于上下文的方式集成来自每个数据视图的信息和不确定性，为有用的视图分配更多的重要性，以模拟校准良好的预测分布。我们使用CAM的多个域与不同的来源和方式，并显示CAM的ul优于其他国家的最先进的概率预测模型的准确性和校准超过25%。CCS概念• 计算方法学→机器学习;·信息系统→数据挖掘;Web挖掘。关键词多源多模态数据，概率预测，不确定性量化，时间序列预测ACM参考格式：Harshavardhan Kamarthi，Lingkai Kong，Alexander Rodríguez，ChaoZhang，B. 阿迪蒂亚·普拉卡什2022年CAMul：校准和准确的多视图时间序列预测。在ACM Web Conference 2022（WWW'22）的会议记录中，2022年4月25日至29日 ， 虚 拟 活 动 ， 法 国 里 昂 。 ACM ， 纽 约 州 纽 约 市 ， 美 国 ， 12 页 。https://doi.org/10.1145/3485447.35120371介绍时间序列预测是一个经典的机器学习问题，其应用涵盖了广泛的领域，包括零售，生物学，经济学，流行病学和能源。 对于这些应用中的许多应用，我们有各种各样的数据集，代表要预测的现象的不同观点或观点。这些观点在结构和形式上可能有所不同，本作品采用知识共享署名国际协议（Creative Commons AttributionInternational）授权4.0 执照WWW©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9096-5/22/04。https://doi.org/10.1145/3485447.3512037图1：CAMUL建模并集成视图特定信息和不确定性。质量和可靠性，由于收集和处理的差异。由于这些预测可能提供的高风险决策 医院资源分配的COVID-19，规划城市能源基础设施），设计ML模型，可以利用这些多个数据源，提供不仅准确，而且校准良好的预测分布是一项重要的任务。最先进的时间序列预测方法采用序列神经模型，可以自然地整合多个随时间变化的外源特征[35，42，47]。然而，它们不适合摄取多种形式的数据，例如网络、序列和固定大小的特征。此外，来自多个视图的信息的有效整合是具有挑战性的，因为来自各个视图的信息可能是嘈杂的、冲突的、冗余的或有时不可靠的。 最近的工作试图通过使用如图神经网络和卷积网络的架构（例如用于疾病[41]和销售预测[11]，多模态情感分析[53]）来整合多源和多模态数据以进行准确的序列预测，但这些工作并没有全面解决这一挑战。 他们建议通过直接级联[19，50，56]或简单求和[41]来组合来自多个数据源的嵌入。其他最近的方法[5]学习特定于视图的重要性参数，并使用它以加权的方式组合然而，这些权重是在所有数据点上学习的，并且不是上下文敏感的：它们不考虑每个视图重要性的时间变化和时间序列的方差。此外，这些多模态时间序列预测方法并不专注于学习校准良好的预测分布。这在多视图设置中尤其具有挑战性，因为视图的模糊性和可靠性必须被整合以更好地告知预报的不确定性。多个数据视图中的冗余和高置信度可以为更自信的预测提供信息，而来自动态视图选择概率编码器文本人口数据网络序列WWWHarshavardhan Kamarthi，Lingkai Kong，Alexander Rodríguez，Chao Zhang，B.阿迪蒂亚·普拉卡什3175YI={y一些数据来源可能表明更高的不确定性。 过去关于多视图概率预测的工作[54]没有整合关于来自单个数据视图的信念的随机信息，而是使用来自视图特定嵌入融合的确定性嵌入来学习分布参数。因此，这些方法不对可能导致错误校准的预测的视图特定的不确定性进行建模。因此，在本文中，我们的工作解决了建模以及整合每个数据视图中的信息和不确定性的挑战，以提供准确和校准良好的时间序列预测（图1）。 我们介绍了一个通用的多视图概率时间序列预测框架，CAM UL（C校准和A ccurate多视图预测），联合模型的不确定性，从多个视图独立使用潜在的嵌入分布。然后，它通过考虑特定于给定序列的可靠性，在上下文敏感的机制中组合视图，从而提供校准良好且准确的预测。 为了学习捕获每个数据源的相关信息的特定于视图的分布，我们使用非参数建模框架。 我们直接使用函数空间中每个视图的训练集中的数据点的潜在嵌入，以允许依赖于之前看到的类似模式的预测分布的灵活表示。我们的主要贡献是：a) 概率神经框架联合建模多视图不确定性：我们提出了一个通用框架CAM UL，用于对多模态和多源数据进行概率时间序列预测，而无需对数据结构进行假设。 我们的非参数概率模型利用每个数据视图的数据点的潜在表示之间的概率关系来解释每个视图的不确定性。b)将多视图不确定性集成到校准的预测：CAM UI利用来自每个视图的潜在信息和不确定性，并仔细地将来自多个视图的信念集成在一起，基于输入数据动态地加权每个视图的重要性，以学习良好校准的预测分布。b) CAM UL在多个领域的评估：我们使用CAM UL框架来设计模型，用于使用不同数据源和模态（静态特征，序列，网络）的不同领域的多视图时间序列预测任务。我们将CAM ul与最先进的特定领域以及一般预测基线进行比较，结果表明CAM UL模型在准确性和校准方面明显优于所有基线25%以上。我们还表明，无论是经验和使用案例研究，我们的建模和集成的方法，从个别数据源的不确定性确实导致这些改进。2相关工作概率时间序列预测经典时间序列预测将有用的先验分配给参数并且需要高计算资源用于学习。最近一些受空间状态模型启发的工作明确地使用深度学习模块对跃迁和发射分量进行建模，例如深度马尔可夫模型[29]和最近的深度状态空间模型[35，42]。其他人将随机性引入递归神经网络的状态动力学中，如Stochastic RNN [12]，Variational RNN[8]和状态空间LSTM [55]。神经过程（NP）[14]对整个数据集的全局潜在变量进行建模，以捕获不确定性，并与输入数据的嵌入一起用于对分布参数进行建模。递归神经过程[40]利用NP处理序列数据。函数神经过程（FNP）捕捉输入数据和训练分布中的数据点之间的随机映射，提供一种灵活的非参数机制，使用函数空间中的相关训练数据点EpiFNP[24]是最先进的校准疾病预测模型，最接近我们的工作，并利用功能神经过程（FNP）[38]，它使用输入数据和数据点之间的随机相关性来建模单变量序列的灵活非参数分布。我们的工作利用FNP对每个单独视图的不确定性建模，然后我们联合建模预测分布，组合来自不同视图的分布。多视图时间序列预测最近的进展是深度学习架构允许我们从各种数据源中提取表示，如图像[36]，序列[46]，图形[16]，文本[10]等，并以端到端的方式组合这些模块为了整合这些表示，大多数方法在模型的初始层（早期融合）或最后层（后期融合）[13，32，39，53]采用简单的求和或连接方法[31，37，50，54，56]例如，DeepCovidNet [41]使用时空和静态特征，使用简单求和进行Covid-19预测。伊坎-巴拉姆等人。[11]类似地，整合图像、文本和静态特征来预测消费者销售。此外，这些方法中的大多数并不关注概率预测，而不像[5]那样使用EHR序列数据、静态人口统计和位置数据，并通过在决定患者是否需要治疗的预测任务上预训练聚合嵌入来学习数据源特定权重。然后，他们采用高斯过程方法来学习这些嵌入的预测概率，以捕获不确定性。相比之下，我们通过学习每个视图的潜在分布来对数据视图特定的不确定性进行建模，这允许模型对源特定的不确定性进行推理，因为它将所有视图的不确定性感知随机表示集成到预测分布中。3问题公式化我们描述了多视图概率预测问题，概率预测问题的多模态和多源数据的推广。我们将时间序列数据集指数平滑和基于ARIMA的模型[21]当Y={Yi}N时，单个时间序列是单变量序列。序列，Yi=1=[t]：y[t]∈R，1≤t≤T}。在每个时间步t，特征，并为每个序列独立地学习模型参数。 最近的概率预测模型利用了神经顺序模块的代表能力，如DeepAR [47]，它直接对预测分布的均值和方差参数进行建模，贝叶斯神经网络[57]，它需要我们还可以使用外生数据源来预测未来的值。我们将这些功能从多个来源和模态划分为视图。 假设我们有K个视图用于表示K个数据源/模态的特定问题。视图j的数据集由X（j）={Xi（j）}N0表示。我们不承担任何专注于单变量时间序列与少量的外生我我我CAMul：校准和准确的多视图时间序列预测WWW3176i=0{[]}i我[]i我培训和参考点A. 多视图概率潜在编码器B. 查看特定相关性图C. 上下文特定动态视图选择A. 多视角概率潜在编码器B. 查看特定相关性图：学习每个视图：编码输入数据和参考点之间的随机关系，这些参考点捕获视图的全局信息C. 特定于上下文的动态视图选择：使用上下文敏感的重要性权重，交叉注意解码器使用聚合嵌入来学习输出分布。图2：描述生成过程的所有组件的我们的方法CAMUL的流水线每个视图的特定数据类型但是，假设视图的所有数据点都具有相同的类型。 我们也可以有静态视图，其值不随时间变化：t，x[t]i（j）= x [1]i（j）。在某些情况下，我们也将第t周之前的所有数据表示为X [1：t]i（j）：X [ 1：t]（j）={x [t ']（j）：0 ≤ t'≤ t}。多模态数据，并解决了联合建模和集成来自每个视图的随机表示在高级别上，CAM ul通过以端到端的方式执行以下步骤来实现我们的目标：A）使用多视图潜在概率学习每个视图的潜在表示给定时间序列值{Y [1：t]i}N和外源性FEA-源，B）利用数据点之间随机相似性，从所有视图X 1：t（j）i=1. N，j = 1. K直到当前时间t，我们的目标是建立一个校准良好的预测概率分布模型P（{y[t + τ]i}N |{Y [1：t]i}N，{{X [1：t]（j）}i=1. N}j=1. K）潜在空间，以经由视图特定相关图来学习每个视图的时间序列之间的关系，并利用这些关系来导出视图感知嵌入分布，C）使用学习到的每个视图的重要性，基于i=1i=1i通过上下文相关动态视图选择模块输入序列用于预测未来的时间序列值{y[t+τ]i}N，τ步来导出输出分布。图2显示了完整的管道。i=1我们还假设视图1是序列数据集，即，xi（1）并将其作为默认视图。4方法i，Yi=对于每个视图j，我们在其上学习关于输入点的随机相似性的数据点的集合是视图j的训练集X（j）的子集，其全面地表示整个训练数据 这个集合称为参考集合，用R（j）表示。我们首先给出CAM ul的概述，然后更详细地描述其每个模块。模型概述：CAM ul解决了与联合建模来自多个数据源的有用信息和不确定性相关的挑战。它通过整合每个视图的信息和不确定性来联合建模预测的不确定性。 它基于输入序列动态地考虑每个视图的重要性，以利用更重要的视图并学习输出分布。我们使用功能神经过程（FNP）[38]框架来学习每个视图的非参数潜在嵌入分布，这使得一种灵活的方法能够通过杠杆化与来自每个数据视图的过去训练数据点的潜在相似性来对复杂分布进行建模。与将FNP用于单变量序列的相关方法[24]相比，CAM ul解决了利用来自多源的随机不确定性的更一般和例如，对于表示来自过去的序列数据的视图我们将来自过去训练数据的每个完整时间序列序列X1：t（j）视为参考集中的单个数据点类似地，考虑表示静态时间特定数据（如月）的视图。给定月份的每个训练点包含相同的静态特征。因此，参考集包含每个唯一月份的数据点。请注意，在推理过程中，我们保留这些参考集并使用它们来导出输出分布。4.1多视图概率潜在编码器为了从每个视图中捕获有用的信息和不确定性，我们学习特定视图的数据点的潜在嵌入分布。我们根据模态为每个视图利用适当的神经编码器来学习潜在的分布参数。每个视图j的概率编码器<$θj导出参数序列数据f（t+不产量预测分布静态数据+未来步骤的抽样预测12图数据34+5FFNFFNFFN交叉注意解码器编码器从每个数据WWWHarshavardhan Kamarthi，Lingkai Kong，Alexander Rodríguez，Chao Zhang，B.阿迪蒂亚·普拉卡什3177ZRX（）下一页ZUZUKk=1zi我 j=1我 j=1我我j=1下一篇：GS2000（作为二分图，i=1我Kj=1每个参考点的潜在嵌入分布R（j）={R（j）}Nj并且输入训练点Xi（j）由4.3特定于上下文的动态视图选择并非所有视图对于学习校准良好的预测都同样有用高斯分布：μ（j），σ（j）=<$θ（R（j）），z（j）<$N（μ（j），σ（j））.（一）分布预测分布的每个视图的重要性也因每个时间序列和跨时间而异例如，对于疾病预测，表示与时间相关的特征的视图kkjKk kk（如月份）可能有助于预测季节变化，基于视图j的模态选择由θ j参数化的神经网络模块<$θj。例如，我们使用GRU用于序列数据的视图，图形卷积网络[28]用于编码关系数据，前馈网络用于静态固定大小的特征。补充部分详细讨论了本文中使用的不同视图的编码器架构 参考集R（j）和训练集X（j）的所有潜在编码的集合是分别表示为ZR，（j）和ZX，（j）4.2查看特定相关性图输入数据（j）∈ ZX，（j）的潜在嵌入捕获了在峰值附近的高度波动和不确定的几周期间，其重要性可能降低，其中短期层序历史和实时外生特征更重要。 当特征在收集或测量期间被破坏一小段时间时，视图的重要性也可以动态地改变。因此，我们需要一个动态的机制来衡量每个视图的输入序列的基础上的重要性。我们提出了视图选择模块学习的重要性权重为每个视图输入序列的条件，然后聚合嵌入多个视图的比例学习的权重。给定每个数据点i的所有K个视图的视图感知潜在变量为{u（j）}K，我们在视图j中的输入数据的概率信息，而Ri（j）的潜变量从数据视图j的整体捕获随机信息。为了从以数据点i为条件的整个数据视图j中捕获信息将这些多个视图 我们利用交叉注意机制[52]来学习每个视图的重要性，但也对来自默认视图1的输入序列表示的权重进行调节，该默认视图1将时间序列z i（1）编码为：通过利用相关引用对给定输入数据进行分发{α（j）}K=Softmaxj（{h1（z（1））Th2（u（j））}K），（5）我们首先学习输入数据点之间的概率关系，其中h1和h2是线性层，以转换两个嵌入和潜在空间中的参考点，相同的尺寸。{α（j）}K表示所有视图的重要性创建视图特定相关图（VSCG），然后使用对于序列iij=1参考点连接到VSCG中的输入嵌入，以学习视图感知的潜在嵌入。. 最后，我们使用权重来组合每个视图的潜在表示，.Kk（zi（j），z（j））=e xp（−ρ||2）。||2).（二更）因此，我们将组合视图称为“reepresentscombinedK K对所有的z（j）∈ ZR，（j）和z（j）∈ZX，（j）.来自通过所有视图学习的相关性的知识，这些视图通过它们对于最终预测分布的重要性加权。我们将集合表示为kij）将所有序列的分解结果组合为U={ui}N。（j）和（j），将每个边缘建模为通过RBF相似性参数化的伯努利分布p（（i，k）∈ G（j））=Bern（k（z（j），z（k）.（三）请注意，在训练过程中，我们使用Gumbel-softmax分布[22]从离散伯努利中近似采样最后，我们为每个训练点i聚合采样的相邻参考点N i，以构建视图感知的潜在变量ui（j）（参见图2）为：4.4预测分布解码器从利用潜在编码器、VSCG和视图选择模型的每个视图中提取随机表示后解码器模块使用组合视图嵌入和默认视图X的序列嵌入（1）来学习输出分布的参数。在直接使用仅参考集的选择性聚合嵌入的同时，Xi（1）利用包括新颖信息的输入序列局部它可以用来推断参考资料以外的信息，µ（u（j）），σ（u（j））= .（lµ（z（j）），lσ（z（j）））多个视图的集合最终解码器过程描述为：i i jk jkk ∈ N（i）（四）ei=zi（1）哪里 和ui（j）<$N（μ（ui（j）），exp（σ<$（ui（j），σ是线性层。故观之，知之。μ（yi），σ（yi）=d1（ei），exp（d2（ei））y<$i（t+τ）<$N（μ（yi），σ（yi）），（七）ljlj丁其中，d1和d2以及前馈层，并且是级联的观点。我们选择径向基函数（RBF）作为相似性度量，以将参考集R（j）与训练集X（j）相关联：ui=αi（j）ui（j）.（ule，我们通过Decoder模块学习输出分布。的WWWHarshavardhan Kamarthi，Lingkai Kong，Alexander Rodríguez，Chao Zhang，B.阿迪蒂亚·普拉卡什3178以捕获视图特定的信息。VSCG的随机过程还对视图特定的不确定性进行建模。操作符.在这里，我们使用多元高斯分布来参数化P（yi（t+τ））。|ei）因为我们的目标序列具有实数。3179···xP（G）|Z（），Z（））P（U（）|G（））].（U[]|X）X___________________________________随机潜在编码器图作为GraphDF-Adj基线。·复发性神经前病变Kj=1 P（Z（j），U（j），G（j）|X（j），R（j））P（U|{U（j）}j），其中[5]我们首先预训练一个确定性模型，该模型结合了来自编码器的确定性嵌入和聚合嵌入。我i=1VSCG视图选择输出分布CAMul：校准和准确的多视图时间序列预测WWW然而，通过仔细选择适当的分布及其相关统计量来预测，该框架可以扩展到离散和整数值输出。4.5模型训练与推理CAM ul的生成过程可以概括为例如电力消耗、空气质量、交通预测、健康风险评估、数据中心负载估计等。 SARIMA [21]：一种基于ARIMA的经典时间序列预测基线，它考虑了季节性变化。DeepAR [47]：一种最先进的，广泛使用的基于RNN的概率预测模型，它学习参数分布。深层状态空间模型（Deep State Space Model，DSSM）：一种基于空间状态的模型，它使用神经网络来模拟转换t+τN-是的K十、（j）（j）R，（j）（十）和状态空间的发射分布·深度图因子P（{yi }i=1|X，R）=[xP_（_Z__|__X_______）zP（Z|Rs)（GraphDF）[6]：一个深入的概率预测模型，j X，j R，j j j____________________________将欧氏距离上的核作为时间序列对上的边权重，我们将其用作GraphDF-RBF基线。如果明确P（U |{U（j）}K）P（{yt +τ}N|U，ZX，（1））d{Z（j）}jdU.j=1我i=1邻接图形式的关系数据是可用的（在所有情况x_________________________________除了功率以外的基准），我们还使用这种邻接来评估我们的目标是增加上述方程的对数似然性，这是由于对实值随机变量的积分而难以处理的因此，我们使用变分推理近似cess（RNP）[40]：基于神经过程的时间数据方法，使用对参考点 的 注 意 力 作 为 生成过程的一 部 分 。 · 多 模 态 高 斯 过 程（MMGP）：类似于变分分布：qj（U（j），Z（j），G（j））|X（j）=P（Z）X，（j）|X（j））P（ZR，（j）|R（j））P（G（j））|ZX，（j），ZR， （j）qj（U（j））|X（1）），对于每个视图j，其中qj是用输入序列（1）参数化高斯分布qjj（1）的2层网络。ELBO推导为：L=−Eq（Z（j），G（j），U（j））|X（j））[logP（{yt+τ}N1|U，ZX，（1））用固定的学习权重来预测输出。 然后，我们将嵌入作为特征来训练高斯过程以获得概率预测。对于疾病预测基准，我们还针对使用与CAM ul相同的外源特征集的最我们选择了最好的深度学习模型来预测流感谷歌症状任务：EpiDeep[1]和EpiFNP[24]。对于COVID 19任务，我们也选择CMU-TS[9]和DeepCovid[45]作为基线;这些ji i=.K+j=1利用CovDS数据集[25]，并且是统计性能最好通过随机梯度变分贝叶斯联合学习推理分布qj的参数和生成过程的分量，以最小化ELBO损失[27]。我们对所有采样过程都使用了重新参数化技巧。用于训练的伪代码可在附录中获得。在推断期间，我们从联合分布P（{yt +τ}N，{Z（j），上下文特定视图选择的重要性以及我们的视图特定概率建模方法优于广泛使用的概率建模方法，该方法基于视图特定表示的融合确定性嵌入（参见第5.2节的Q2）。 基准。我们从涉及不同数据的各种领域评估了时间序列预测问题的CAMul框架G（j）}j，U|X，R）以生成用于预测分布的样本。5实验我们在一个工作站上评估了我们的模型，该工作站运行在英特尔至强64核处理器上，内存为128 GB，采用Nvidia Tesla V100GPU。我们的模型需要不到6 GB的内存，每个基准测试需要20- 40分钟的训练时间 我们已经公开发布了代码和数据集1，并在附录中详细描述了超参数。接下来，我们将描述基线、基准数据集和任务以及评估指标。5.1设置基线。我们将我们的模型与最先进的概率预测基线以及一些特定领域的基线进行比较。所选的预测基线在广泛的概率预测任务中表现出最先进的性能，1https://github.com/AdityaLab/CAMul与数据集中使用的特征相对应的视图1. Google-symptoms（根据Google症状预测我们使用Google2从美国各州搜索的流感相关症状的汇总和匿名搜索计数来预测未来1至4周的流感发病率数据集：流感发病率由CDC每周发布的美国8个HHS地区的wILI（加权流感相关疾病）值表示3。自2017年以来，Google每周在县和州一级匿名并公开发布超过400个症状的汇总症状计数[17]。我们选择提取疾病预防控制中心网站4中提到的14种与流感相关的症状。我们为每个HHS地区汇总这些计数，并将其用作外源特征。我们还使用HHS区域之间的空间邻接数据和与时间相关的数据（月和年）作为特征。为2https://pair-code.github.io/covid19_symptom_dataset3https://predict.cdc.gov/post/5d8257befba2091084d47b4c4https://www.cdc.gov/flu/symptoms/symptoms.htmj=1从跨时间序列的图表中筛选关系信息。在没有显式关系信息的情况下，[6]建议使用RBF后logP（U（j）|G（j），Z（j））−log qj（U（j））|X（1））]。CDC组织的Covid-19 Forecast Hub的模型[9]。我们还评估了CAMul的变体，这些变体使我们能够检查意见. 对于每个基准，我们描述了使用的数据集和WWWHarshavardhan Kamarthi，Lingkai Kong，Alexander Rodríguez，Chao Zhang，B.阿迪蒂亚·普拉卡什3180F（）下一页∫1（）下一页（）（（）−{}）为了预测给定年份的wILI值，我们使用过去所有年份的训练集进行模型训练和超参数调整。观点：我们使用以下不同的观点来进行这个基准测试：1. 历史wILI视图：此视图包含所有HHS区域的所有以前预测季节的症状特征的参考点。我们在这个视图中使用GRU编码器二、HHS邻接视图：这是图形特征视图。 我们有8个参考点对应于HHS区域。我们适当地使用基于GCN的潜在编码器，其中特征（j）是独热编码，并且邻接矩阵A（j）对共享边界的HHS区域之间的邻域信息进行3. 月视图：这是一个静态特性视图。我们每个月有12个参考点我们使用一个嵌入层来学习来自one-hot嵌入的每个参考点的编码，并使用前馈潜在编码器。2. covid 19（COVID-19死亡率预测）：我们评估了我们的模型在预测美国50个州的COVID-19死亡率这一具有挑战性的任务上的表现。数据集：我们使用死亡率数据和CovDS数据的外源性特征[25，45]。外生特征包含多种类型的数据，包括医院记录、移动性、暴露和基于Web的调查数据。我们评估了从2020年6月到2020年12月的7个月，并再次使用过去几周的数据进行训练，然后预测1至4周的死亡率。我们遵循[45]的实时预测设置，并使用截至上周的数据作为训练集，在所有状态下每周单独训练模型。浏览次数：1.默认死亡率视图：这是一个序列视图，其中每个参考点都是过去死亡率的时间序列二、这是一个多变量序列视图，包含7个每周收集的传统监测特征，包括住院和检测。3. 流动性和暴露视图类似地，我们使用数字收集的信号测量总流动性，4. tweet（Tweet Topics prediction）：这个任务的目标是评估未来tweet的主题分布，给出过去几周的主题分布，类似于Shi等人。48.数据集：我们收集了15周的Covid-19相关推文，这些推文具有地理标签以识别用户的美国州。从推文文本中，我们使用LDA提取了30个主题[2]，并将给定周的每条推文分配给每个州最有可能相关的30个主题中的每一个因此，我们有一个多变量序列数据集，其中对于50个州中的每一个州，我们有包含每周推文主题分布的序列。与谷歌症状类似，对于每年的每个预测，我们使用过去一年的数据作为训练集。我们为30个主题中的每个主题训练一个单独的解码器模块，并报告所有主题的平均得分浏览次数：1.默认过去序列视图：与其他任务类似，第一个视图包含每个状态的过去序列二、状态邻接视图：我们构造了一个类似于covid19任务的状态邻接视图。3. 月视图：类似于电源和谷歌症状的月视图。4. 人口统计学视图：类似于covid 19的人口统计学视图。评价指标。 考虑到为点预测和概率预测提出的大量评估指标[20，23，51]，我们使用精心选择的在机器学习文献中广泛使用的指标来评估我们的模型和基线。与我们的基准相关，并全面评估模型预测的准确性和校准均方根误差（RMSE）是一种用于评估点预测准确性的流行度量，并且是比MAE或MAPE等度量更好的模型鲁棒性度量，因为它对大误差的实例敏感。区间评分（IS）是用于评估流行病学概率预测准确性的标准评分[43]。IS测量地面周围固定大小间隔的负对数似然性预测分布下的真理：从智能手机收集的个人信息。对于视图1、2和3，ˆ∫y+Llog ˆˆ ˆ使用GRU编码器。四、这是一个静态的视图IS（py，y）=−y−Lpy（y）dy.我们使用8个人口统计特征对50个州中的每个州进行编码，包括平均收入，失业率，人口，平均年龄和投票偏好。编码器采用前馈网络5. 状态邻接视图：我们构建了一个包含50个状态的图形视图，并对空间邻接状态进行编码。我们使用基于GCN的编码器。3. power（电力消耗预测）：我们评估电力[24]中引入的置信度得分（CS）测量了与[30]类似的模型M的预测的总体校准 我们首先计算在每个置信区间c覆盖地面真实的预测分布的分数km c。 完美校准的模型具有非常接近c的km（c）。因此，CS定义为：CS（M）=0|km（c）−c|华盛顿特区一个家庭一年的消费量，使用3米的测量，共有7个功能。 我们的目标是预测未来1分钟的总有功功率消耗。我们使用前9个月的测量数据作为训练集，最后3个月作为预测的测试集。浏览次数：1. 默认过去序列视图我们从过去的每个月中随机抽取单日序列作为参考集。二、 月视图：类似于google-symptoms基准的月视图。3. 时间视图：这是一个静态视图。我们将一天的24小时分为6个相等的时间间隔，并为6个参考点分配一个时间间隔。与Month视图类似，我们在one-hod编码上使用嵌入层来表示每个参考点。这是由小区间的求和近似[24]。累积等级概率得分（CRPS）是一种广泛使用的概率预测评估标准，将平均误差推广到概率预测[15]。由于这是一个适当的评分规则，如果预测分布符合预期，则最小化真实分布，CRPS测量准确性和校准。假设地面真实性y和预-给定概率分布p∈Y，设F∈Y为CDF。然后，CRPS定义为：CRPSFy，y=∞Fyy1y> y2dy.−∞5.2结果问题1：CAM ul是否在所有基准测试中提供良好校准的准确概率预测？消费数据是一个标准的预测基准。数据集：数据集[18]包含260，640个功率测量值CAMul：校准和准确的多视图时间序列预测WWW3181.我RMSECOVID19CRPS CS是谷歌症状RMSE CRPSCS是SARIMA91.3±3.769.1±4.20.41±0.0156.67±0.034SARIMA1.72±0.0211.62±0.0160.4±0.0055.04±0.32DeepAR49.1±6.948.5 ±7.10.19±0.0153.72±0.043DeepAR0.68±0.0240.97±0.0210.15±0.0062.89±0.21DSSM54.7±5.758.6±3.50.19±0.0064.13±0.013DSSM0.78±0.0261.03±0.0150.15±0.0073.08±0.16RNP52.9±5.371.8±6.50.32±0.0155.31±0.042RNP0.82±0.0430.95±0.0350.41±0.0043.87±0.18MMGP48.7±4.242.3±2.40.23±0.0154.27±0.022MMGP1.24±0.0771.02±0.0310.26±0.0032.28±0.42GraphDF-RBF51.3±3.743.2±2.10.19±0.0133.41±0.035GraphDF-RBF0.73±0.0311.05±0.0190.11±0.0031.83±0.27GraphDF调整48.5±4.249.1±3.40.23±0.0213.79±0.023GraphDF-调整0.91±0.0271.10±0.0420.12±0.0052.64±0.53DeepCovid38.3±5.239.8±6.60.22±0.0133.63±0.046EpiDeep0.98±0.0531.07±0.0620.29±0.0065.55±0.84CMU-TS32.4±5.330.1±5.20.21±0.0143.31±0.062EpiFNP0.64±0.0480.52±0.0570.05±0.0040.67±0.12CAMUL27.3±3.523.8± 4.10.14± 0.0112.08± 0.015CAMUL0.49± 0.0720.34± 0.0530.04± 0.0060.54± 0.05CAMU l-C34.2±-4.227.7±3.20.18±0.0062.83±0.025CAMU l-C0.53±0.0480.44±0.0310.06±0.0080.6±0.07CAMU l-S31.7±4.626.8±3.10.17±0.0052.75±0.042CAMU l-S0.62±0.0820.42±0.0580.06±0.0030.6±0.03CAMU l-D43.8±5.339.2±6.10.28±0.0124.06±0.032CAMU l-D1.32±0.0670.99±0.0720.19±0.0052.24±0.05功率推文RMSE CRPS CS ISRMSECRPSCS是SARIMA1.51±0.0211.16 ±0.0180.23 ±0.0023.49±0.021SARIMA0.33±0.0311.41 ±0.2620.37±0.0073.87 ±0.74DeepAR1.01±0.0080.72 ±0.0020.04 ±0.0031.57 ±0.046DeepAR0.11±0.0541.06 ±0.1520.15 ±0.0031.35 ±0.31DSSM0.91±0.0240.59 ±0.0180.02±0.0021.32 ±0.054DSSM0.08±0.0360.92 ±0.1730.07 ±0.0020.96 ±0.34RNP1.11±0.0140.85 ±0.0150.19 ±0.0053.31 ±0.018RNP0.11±0.0651.16 ±0.0450.22 ±0.0063. 05± 0.52MMGP1.28±0.0361.19 ±0.0410.15 ±0.0013.03 ±0.013MMGP0.21±0.0521.31 ±0.1620.13 ±0.00261.65 ±0.49GraphDF-RBF0.94±0.0310.92 ±0.030.13 ±0.0041.45 ±0.033GraphDF-RBFGraphDF调整0.12±0.0730.18±0.0250.62 ±0.0520.91 ±0.0310.08 ±0.0100.14±0.0091.91 ±0.762.39 ±0.26CAMUL0.85± 0.0270.46± 0.020.02±0.0010.930.021CAMU L0.07± 0.0050.420.015±0.0150.05±0.0040.680.21±0.21CAMU l-SCAMU l-D0.99±0.0361.31±0.057±0.68±0.051.36±0.07±0.04±0.0020.14±0.001±1.27±0.0142.96±0.0270.012±0.012CAMU l-CCAMUl-SCAMUl-D0.08±0.0530.19±0.0480.18±0.0770.84±0.0270.58±0.0811.15±0.0200.07±0.0020.05±0.0060.19±0.0011.03±0.171.41±0.251.14±0.15表1：所有基准的CAMUL和基线的评估分数（超过20次运行）。我们进行了t检验，α=1%。最佳分数以粗体显示，在统计学上显著优于其他模型。CAMUL始终表现最佳，在最佳基线上，准确度提高了24%以上，校准提高了35%以上我们在5.1节中描述的四个不同的基准点上评估我们的模型和基线。我们对每个模型的所有任务进行了20次实验，并报告了平均得分。具体而言，对于covid 19和谷歌症状，我们提前1-4周对美国所有地区的预测进行了全面评估，并报告了平均结果。 结果总结见表1。 CAM Μ l模型在准确性和校准分数方面均显著优于基线。特别是对于困难的疾病预测任务，我们始终看到RMSE和CRPS评分改善超过25%，间隔评分改善超过50%。 在功率和鸣叫的情况下，我们观察到CRPS评分比第二好的模型提高了28%和24%，间隔评分提高了56%和35%。变体CAMU1-D使用确定性的视图特定潜在变量：我们使用潜在编码器1，并在参考点上使用交叉注意层而不是VSCG来导出视图特定的潜在变量作为参考点的加权