Performer：基于Transformer的PPG到ECG重建用于心血管疾病检测的新型数字生物标志物

19910Performer：一种用于心血管疾病检测的PPG到ECG重建Transformer的新颖数字生物标志物0Ella Lan The Harker School 500Saratoga Ave, San Jose, CA 951290ella2happy@gmail.com0摘要0心电图（ECG）是一种电测量方法，用于捕捉心脏活动，是诊断心血管疾病（CVD）的黄金标准。然而，由于需要用户参与，ECG不适合连续心脏监测。相比之下，光电测量脉搏波形（PPG）提供了易于收集的数据，但其有限的准确性限制了其临床应用。为了结合这两种信号的优势，最近的研究将各种深度学习技术应用于将PPG信号重建为ECG；然而，缺乏上下文信息以及有限的去噪能力最终限制了模型的性能。在这项研究中，我们提出了Performer，一种新颖的基于Transformer的架构，用于从PPG重建ECG，并将PPG和重建的ECG结合为多种模态进行心血管疾病检测。这种方法是首次在生物医学波形重建上执行Transformer序列到序列翻译，结合了PPG和ECG的优势。我们还创建了ShiftedPatch-basedAttention（SPA），一种有效的方法来编码/解码生物医学波形。通过获取不同的序列长度和捕捉跨补丁连接，SPA最大化了对局部特征和全局上下文表示的信号处理。所提出的架构在BIDMC数据库上实现了0.29的重建PPG到ECG的RMSE的最先进性能，超过了以前的研究。我们还在MIMIC-III数据集上评估了该模型，在心血管疾病检测方面达到了95.9%的准确率，并在PPG-BP数据集上实现了75.9%的相关心血管疾病糖尿病检测准确率，表明其具有普适性。作为概念验证，我们设计了一款名为PEARL（原型）的耳环可穿戴设备，用于扩大点对点医疗保健系统。01. 引言0心血管疾病已成为主要死因。根据世界卫生组织的数据，2018年约有1790万人死于心血管疾病，其中四分之三的死亡发生在低收入社区；一个主要原因是无法获得即时的医疗监测基础设施。为了解决这个问题，过去几年中，许多消费级可穿戴设备已经开发出来，通过测量心电图和光电测量脉搏波形来提供家庭心脏监测的解决方案。心电图（ECG）是心血管诊断程序的广泛使用的黄金标准[17]。它包含五个峰值，P、Q、R、S和T，每个组分代表心脏活动的不同电信号。ECG可以用于评估心脏功能的不同指标，从心律到每个冲动的强度，为诊断许多疾病提供关键信息，如心脏肥大、先天性心脏缺陷和心脏炎症。因此，ECG监测已被证明对于早期发现心血管疾病非常有益，这对于提高患者的生存机会至关重要，特别是对于高风险或老年人群体。然而，传统的基于ECG的可穿戴设备可能会限制用户的活动，使得ECG连续监测变得不可行。例如，苹果手表是一种流行的腕式ECG监测解决方案，需要用户将手放在手表上，仅测量信号长达30秒。基于ECG的解决方案需要“闭合电路”，这降低了日常跟踪的便利性。更重要的是，有限持续时间的心脏监测可能会导致错过关键的无症状和不规则信号。另一方面，光电测量脉搏波形（PPG）是一种通过光学获得的信号，可以用于检测组织微血管床的血容量变化。该方法可以提取关键信息，如血氧饱和度和心率。为了结合这两种信号的优势，最近的研究将各种深度学习技术应用于将PPG信号重建为ECG；然而，缺乏上下文信息以及有限的去噪能力最终限制了模型的性能。在这项研究中，我们提出了Performer，一种新颖的基于Transformer的架构，用于从PPG重建ECG，并将PPG和重建的ECG结合为多种模态进行心血管疾病检测。这种方法是首次在生物医学波形重建上执行Transformer序列到序列翻译，结合了PPG和ECG的优势。我们还创建了Shifted Patch-basedAttention（SPA），一种有效的方法来编码/解码生物医学波形。通过获取不同的序列长度和捕捉跨补丁连接，SPA最大化了对局部特征和全局上下文表示的信号处理。所提出的架构在BIDMC数据库上实现了0.29的重建PPG到ECG的RMSE的最先进性能，超过了以前的研究。我们还在MIMIC-III数据集上评估了该模型，在心血管疾病检测方面达到了95.9%的准确率，并在PPG-BP数据集上实现了75.9%的相关心血管疾病糖尿病检测准确率，表明其具有普适性。作为概念验证，我们设计了一款名为PEARL（原型）的耳环可穿戴设备，用于扩大点对点医疗保健系统。19920图1. Performer的整体架构。0氧饱和度、心率、血压、心输出量、呼吸、动脉衰老、内皮功能、微血管血流和自主功能[7]。与ECG相比，PPG设置方便、成本效益高且侵入性较小。对于长期连续心脏监测来说，它也更加用户友好，因为不需要持续的用户参与。然而，由于与外部因素（如个体的肤色和运动伪影）的影响，测量的PPG信号质量波动较大。最近的研究进一步分析了PPG的应用，表明PPG是一种有效的非侵入性数字生物标志物，可用于糖尿病等与心血管疾病相关的疾病。Avram等人[1]使用CNN进行了一项大规模研究，分析了PPG的功能性；研究得出结论：（1）PPG包含临床有价值的信息；（2）尽管数据中存在噪声，但通过深度学习的应用可以进一步扩展其使用。PPG和ECG在生理上是相关的，因为它们以两种不同的信号感知域体现了相同的心脏过程[8]。PPG记录的外周血容量变化受心脏肌肉的收缩和舒张的影响，而心脏肌肉的收缩和舒张受到由窦房结触发的心脏电信号的控制。PPG和ECG之间的内在相关性从根本上激发了这项研究，从而创造了一种新颖的数字生物标志物，即PPG与其重建的ECG相结合，结合了PPG的便利性和ECG的准确性。这使得能够从PPG重建ECG并连接两种信号的丰富信息以进行CVD检测的有效连续心脏监测解决方案成为可能。为了执行波形重建和CVD检测，本文提出了一种基于Transformer的架构，即PPG到ECG重建Transformer（Performer），实现了所描述的数字生物标志物的创建。在这项工作中，我们使用Transformer作为Performer架构的骨干。此外，我们设计了ShiftedPatch-basedAttention（SPA）机制，以优化生物医学波形的编码/解码过程：（1）使用一组不同大小的补丁将不同的序列长度提取到Performer中以捕捉信号特征，（2）设计了一种移位补丁机制，以实现补丁之间的注意力覆盖跨补丁连接。总之，本文的主要贡献是：0图2. PPG到ECG重建编码器/解码器。0工作包括：0•我们引入了一种基于Transformer的架构（Performer），仅使用PPG输入成功重建了ECG信号；这种方法通过结合两种信号的优势实现了连续心脏监测。该架构还提供了一种使用PPG和重建的ECG作为多模态进行CVD检测的解决方案。据我们所知，这是Transformer首次用于生物医学波形重建。0•我们提出了SPA机制，将各种不同的补丁大小作为多个分层阶段集成在一起，以捕捉PPG/ECG的特定方面，从而提供一种有效和通用的处理生物医学波形的方法。0• 我们为CVD检测创建了一种新的数字生物标志物，即PPG与其重建的ECG。0•我们原型化了一款耳环可穿戴设备，作为在日常生活中有效连续心脏监测概念的证明。02. 相关工作02.1. PPG-to-ECG重建0关于基于PPG的ECG推断的研究还处于初级阶段，之前的研究很少专门致力于这个领域。该领域的初步研究使用了基于特征的机器学习。Banerjee等人[3]创建了一个计算参数模型，从PPG中提取特征（如脉冲传输时间PPT），以预测ECG参数。Zhu等人19930等[19]采用数学方法，创建了一个离散余弦模型来研究PPG和ECG之间的相关性。然而，分析有限特征存在缺陷：缺乏非线性信息表示降低了模型对ECG重建的准确性，并限制了其在真实医疗案例中的适用性。随着深度学习的兴起，通过基于CNN的模型来解决这个问题：通过定位关键特征和减少PPG和ECG的噪声来进行信号处理。Avram等人利用基于智能手机的PPG信号和CNN实现了0.75的AUC和95%的置信水平，用于糖尿病预测。然而，在实验后，人们意识到该模型对局部敏感性的上下文信息和长距离依赖性的缺乏是限制因素。Chiu等人使用循环神经网络（RNN）和编码器/解码器架构进行序列到序列学习，但该模型对信号噪声和梯度下降方法的敏感性限制了其在涉及长期记忆的任务上的性能。Sarkar等人应用生成对抗网络（GAN）和生成器/判别器架构来生成人工数据，作为从PPG合成ECG的数据增强。然而，克服不稳定训练的挑战导致偶尔但关键的随机振荡。02.2. Transformer和自我注意机制0尽管Transformer起源于自然语言处理（NLP）领域[18]，但它也在计算机视觉（CV）领域中变得普遍，并且已经超越了许多基于CNN的模型，用于图像分类和分割等任务。Transformer的成功很大程度上来自于其自我注意机制[2]，它不仅通过完全消除卷积来简化了架构复杂性，而且还允许模型捕捉短距离和长距离关系的全局上下文信息。即使在VisionTransformer（ViT）[6]的发展之后，Transformer领域的进展仍在不断进行。Carion等人通过创建DetectionTransformer（DETR）[4]在CV领域继续推进Transformer的发展。DETR在运行时间和准确性方面与成熟的FasterR-CNN相媲美，并且在泛化能力方面优于SOTA FasterR-CNN。Liu等人通过创建Shifted WindowTransformer（SwinTransformer）[14]作为改进的视觉Transformer，创建了一种实现了移位窗口方法的分层结构。随着Transformer的普及，其自我注意机制的应用已经扩展到许多领域。本文的具体任务是创建一个Transformer编码器/解码器架构，使用序列到序列处理进行生物医学波形重建。我们的重点是0图3. Performer的多模态架构。0专注于生物医学波形的有效标记化，以最大化局部特征和全局上下文表示，从而在全球范围内产生一致的训练结果。03. 方法03.1. 目标和设计0除了引入Transformer，当前的临床方法对生物医学波形分析和疾病诊断的启发也促使我们设计了所提出的深度学习架构的各个方面。为了准确分析医学波形，特别是PPG（由于其对运动、光线、皮肤类型等的敏感性），信号去噪变得至关重要。因此，Transformer的自我注意模块为已被证明包含更有价值的上下文信息的序列分配重要性权重，并使用定义的权重来确定是否应该关注序列的每个部分或过滤掉。这种方法使得Performer架构能够自动去噪PPG并将注意力集中在关键特征上，例如ECG复合体中的PQRST波。为了测量心脏活动，临床对ECG/PPG信号的分析评估多个因素，如振幅、时间间隔、方向、比例尺、移动连接、角度和形状。因此，Performer中引入了位置嵌入和多头注意力，以准确捕捉关键信号特征并提供每个医学波形之间的上下文关系。在本研究中，我们还实现了序列到序列训练，以分析短/长距离信号，并创建了一种多模态训练过程，以结合PPG和重建的ECG进行心血管疾病检测。Performer使用其分层设计[12]来处理非线性复杂信息表示。�VN�i=1|yi − ´yi|19940图4. 移动的基于补丁的注意力设计。（a）SPA的比较和实验。（b）不同补丁大小的标记化示例。（c）移动机制示例。03.2. 提出的架构0图1显示了Performer的三个关键部分：PPG和ECG波形的初始数据预处理、重建Transformer和多模态Transformer。首先，原始PPG信号被馈送到波形数据预处理模块进行去噪、标准化和归一化。然后，重建Transformer模块生成重建的ECG信号，并将其与原始PPG信号结合，用于多模态Transformer模块，从而实现模型的CVD分类。03.2.1 重建Transformer0如图2所示，Transformer编码器/解码器架构及其注意力机制被用于从PPG重建ECG。在训练过程中，PPG信号（源）和配对的ECG信号（目标）都被馈送到重建Transformer中作为1D时间序列输入，生成重建的ECG信号作为输出。结合位置嵌入，Performer的多头注意力机制用于序列到序列训练，计算每个序列与其他序列之间的关系。基于上下文关系，模型为每个波形的不同子段分配权重，关注关键信号，同时进行间接去噪处理。注意力计算如下所述：0注意力（Q，K，V）= Softmax � QK T0其中Q、K、V表示查询、键和值，如Transformer的自注意力所定义。由于这种提出的方法是一种端到端的训练，没有复杂的手工超参数来计算重建，所以选择了一个简单的损失函数如下：0损失 =0其中y i 表示位置i处的ECG的真实值，´ y i表示位置i处预测的重建ECG值，N表示每个原始PPG/ECG波形分段的采样值总数。03.2.2 多模态Transformer0鉴于PPG和ECG波形对心血管监测的重要性，Performer利用其多模态能力构建了一个多模态Transformer（图3），该Transformer从PPG和重建的ECG信号中获取输入以进行CVD检测。每个模态表示都被添加到特征向量中，并被馈送到基于SPA的多模态Transformer编码器中。通过多模态Transformer，Performer分析了连接关系19950图5. 移动的基于补丁的注意力框架。0除了同一波形序列内的关系之外，PPG和ECG信号之间的关系也很重要。投影头被添加到编码器的最后一层作为CVD分类器。这种设计可以灵活地采用其他类型的生命体征，例如年龄和体重，作为基于文本的编码器，以继续提高模型性能。0重建Transformer和多模态Transformer中的模型超参数和层将在以下作为SPA框架的一部分进行描述。03.3. 移动的基于补丁的注意力0在波形上应用Transformer的现有研究很少，有效的标记化是新研究的前沿。当将固定长度的波形输入到重建Transformer模型中时，最初出现了许多重复的错误。与单词或文本（通常的Transformer输入）相比，生物医学波形由于波形的尺度变化较大和要标记化的数据输入长度较长而导致显著差异。0算法1 基于移动补丁的注意力算法 输入：生物医学波形参数：补丁大小，神经网络层配置输出：分层标记化波形表示01：初始补丁划分 2：当当前阶段在层配置内时执行3：如果当前阶段输入不等于初始补丁嵌入，则04：执行补丁合并05：结束如果06：通过编码器进行源特征提取07：如果重建标志为真，则08：通过解码器进行目标重建09：结束如果010：进入下一个阶段011：结束循环12：返回基于SPA的波形03.3.1 分层架构0为了捕捉关键模式和关系，波形的标记化对于嵌入是至关重要的。需要一个通用的解决方案来优化性能。在图4(a)中，蓝色波形表示PPG输入，绿色波形表示三个试验的ECG信号预测。在面板(A)中，128个点的固定长度输入（相对较长的序列长度）生成了狭窄范围的曲线。在面板(B)中，32个点的固定长度输入（相对较短的序列长度）导致了随机预测。初始预测结果表明，相同波形的不同长度导致模型对观察结果的不同，使得传统的Transformer模型无法分析生物医学波形的固定补丁大小。为了解决标准Transformer的问题，创建了SPA，并且如面板(C)所示，通过获取不同的序列长度和覆盖交叉补丁连接，大幅提高了ECG重建的准确性。03.3.2 不同补丁大小的合并0SPA的架构由多个分层阶段实现的基于补丁的算法组成。首先对波形进行预处理，并将其转换为包含每个序列的原始值的1D向量，然后在不同的阶段将其分割成各种长度的补丁。在初始补丁划分中，每个补丁的大小为32个值点作为原始值特征；这些补丁作为标记被输入到Transformer编码器/解码器中。然后，在每个阶段中，执行补丁合并操作，将标记数量减半，同时保持每个标记的维度。它产生了图5中所示的分层阶段，分别覆盖32个点、64个点、128个点、256个点和512个点的不同波长。每个阶段包含一对编码器和一对解码器，模型层号为{2, 2, 6, 6,2}。图4(b)展示了同一波形根据SPA的阶段级别被划分为不同的补丁大小的示例，其中绿色波形表示PPG，红色波形表示ECG。In each stage, there are pairs of encoders and pairs of de-coders as attention blocks: on two successive attentionblocks, one block is used to analyze the original sequencecorresponding to the patch size, while the other block rep-resents the sequence resulting from the shifted mechanismof SPA. As can be seen in Figure 4(c), the “shifted” opera-tion shifts the start point of each patch by half of the patchsize. Since it is essential to capture the cross-patch connec-tions between tokens, a shifted patch mechanism allows theattention to focus on key segments between patches. EachSPA block and its consecutive SPA block are computed as´zl = PA(LN(zl−1)) + zl−1zl = MLP(LN(´zl)) + ´zl´zl+1 = SPA(LN(zl)) + zlzl+1 = MLP(LN(´zl+1)) + ´zl+119960图6. 通过SPA生成的注意力图0在每个阶段中，有一对编码器和一对解码器作为注意力块：在两个连续的注意力块上，一个块用于分析与补丁大小相对应的原始序列，而另一个块表示由SPA的移动机制产生的序列。如图4(c)所示，“移动”操作将每个补丁的起始点移动了补丁大小的一半。由于捕捉标记之间的交叉补丁连接是至关重要的，移动补丁机制允许注意力集中在补丁之间的关键片段上。每个SPA块及其连续的SPA块计算为03.3.3 移动补丁机制0其中 ´ z l 表示原始补丁输出的特征，z l表示阶段l处移动的补丁输出的特征。PA代表初始补丁注意力，SPA代表移动的补丁注意力，LN代表层归一化，MLP代表多层感知机。具体实现的完整SPA方法在算法1中说明。04. 实验04.1. 数据集0目前公开可用的同时包含配对的PPG/ECG信号和相应CVD诊断的数据集很少。为了解决这个问题，我们在这项研究中使用了两类数据集。04.1.1 PPG与ECG配对0第一类数据集包含了PPG信号和Lead-IIECG信号的配对，但没有CVD标签。UQVSD数据集大约有3000+分钟[13]，DaLiA数据集大约有1800+分钟[15]，BIDMC数据集大约有400+分钟[9]。这些数据集共生成了5200+分钟的PPG信号与ECG信号配对，用于训练、验证和测试重构Transformer。选择这些数据集的主要原因是它们包含了Lead-IIECG。在所有其他导联中，我们专注于重构Lead-IIECG，因为它位于心脏轴最近的位置，并且提供了重要的心血管信息。Lead-II经常被使用，因为它提供了心脏传导系统活动（P波和R波）的最佳视图。Lead-II位于心脏轴最近，右臂为负极，左腿为正极，意味着它显示了从右心房到左心室的冲动传播。04.1.2 PPG与相应的CVD配对0在优化Performer的重构模块之后，通过使用包含PPG信号与相应CVD诊断的数据集对多模态Transformer进行了改进。选择了MIMIC-III数据集（40,000名患者）[10]，它包含了PPG信号与以下四种CVD之一的配对：冠状动脉疾病（CAD）、充血性心力衰竭（CHF）、心肌梗死（MI）和低血压（HOTN）。它们的类别标签分布比例为7:7:7:12。首先将PPG信号输入重构Transformer以生成重构的ECG。在PPG信号具有相应的CVD标签且成功生成重构的ECG的情况下，将对多模态Transformer进行训练、验证和测试。此外，还利用了PPG-BP数据集（219名患者）[11]，该数据集包含了PPG信号与相应的糖尿病标签（分布为37:182），用于评估Performer模型的扩展性和泛化性。04.2. PPG/ECG数据处理和训练0由于上述数据集来自不同的来源，它们具有不同的采样频率。首先将所有医学波形重新采样为恒定的128Hz频率。应用BioSPPY标准去噪滤波器，并使用一维卷积层放大波形模式；去噪和模式放大对于减少尤其是在PPG信号中普遍存在的噪音至关重要。然后将数据归一化到[-1,1]的范围，并正确分割为4秒的窗口帧，每个切割之间有2秒的重叠。还创建了不同波形长度的补丁，以构建未来的分层SPA。RMSE0.670.390.360.340.510.29RMSE =19970模型 DCT XDJDL CardioGAN 编码器/解码器 Vanilla Transformer Performer0表1. 与SOTA结果的RMSE比较。0冠状动脉疾病 95.1% 1.5% 1.8% 1.6%0瑞士法郎 2.2% 96.5% 0.5% 0.8%0心肌梗死 1.8% 0.9% 96.2% 1.1%0高血压 1.5% 1.6% 1.0% 95.9%0冠状动脉疾病 充血性心力衰竭 心肌梗死 高血压0表2. MIMIC-III数据集上四种CVD的混淆矩阵0正常 71.7% 28.3%0糖尿病 24.1% 75.9%0正常 糖尿病0表3. 糖尿病检测的混淆矩阵0Performer是通过PyTorch实现的，模型在配置为AMI:Deep Learning; GPU: Tesla T4的AWSInstance服务器上进行训练。我们使用Adam作为优化器，学习率为0.0001，在训练过程中进行了50个epochs。05. 性能和医学应用0在本节中，我们使用均方根误差（RMSE）来评估提出的Performer架构与SPA机制的PPG到ECG重建的准确性，并将结果与同一数据集上的其他研究进行比较。然后，我们创建混淆矩阵来评估CVD检测，评估Performer作为连续心脏监测解决方案的有效性。我们还进行了消融研究，以展示多模态Transformer通过利用我们的新数字生物标志物的贡献。此外，我们评估注意力图以展示SPA的有效性。最后，我们提出了一个可穿戴原型作为Performer进行连续心脏监测的解决方案。05.1. PPG到ECG重建的评估0我们使用以下RMSE公式来衡量重建结果。0�� N i =1 ( 预测值 i  −  实际值 i ) 20N0在表1中，我们将传统机器学习（ML）与基于特征的模型（DCT/XDJDL [19]）、当前深度学习（DL）算法（GAN[16]和编码器/解码器[5]）、原始Transformer和提出的Performer模型的RMSE分数进行了统计比较。重建Transformer的RMSE为0.29，大大超过了其他相关工作的结果，这主要归功于其SPA机制。05.2. CVD检测的评估0如表2所示，混淆矩阵显示了Performer架构在MIMIC-III数据集上对四种CVD进行分类和检测的模型性能。通过利用(1)自注意力去噪波形，(2)多头和位置嵌入将波形的序列和关系纳入训练，(3)SPA优化特征信号关系，以及(4)多模态框架将PPG信号及其重建的ECG作为新的数字生物标志物用于心脏疾病预测，Performer架构实现了高度准确性（95%置信度）。为了衡量Performer的普适性，本研究将性能分析扩展到包括糖尿病在内的与CVD相关的疾病。如表3所示，当我们的提出的架构应用于PPG-BP数据集时，模型生成的糖尿病检测结果（95%置信度）与Avram等人[1]的结果相当，后者的团队有一个更具连贯性的数据集作为模型基础。Performer对糖尿病检测的适用性表明该模型的性能在不同数据集之间是一致的，表明Performer可以提供一种通用解决方案。05.3. 多模态Transformer和新的数字生物标志物0在本节中，我们讨论了我们的多模态Transformer和新的数字生物标志物的贡献。为了评估多模态Transformer和生物标志物的好处，我们进行了基本的消融研究，比较了以下信号输入在CVD检测性能方面的表现：原始PPG和ECG信号，仅重建的ECG信号，原始PPG和ECG信号对，以及Performer生成的新的数字生物标志物。结果如表4所示。原始PPG信号的性能最差，其次是单独的ECG信号。有趣的是观察到，重建的ECG信号的结果比原始ECG信号更好。这是由于Performer的嵌入机制所致。19980仅PPG 仅ECG 重构后的ECG 原始PPG和ECG对 PPG和重构后的ECG（提出的方法）0CAD 35.6% 68.9% 79.5% 82.5% 95.1% CHF 36.8% 69.2% 81.6% 86.2% 96.5% MI 40.9% 72.5% 82.9% 88.1%96.2% HoTN 38.6% 75.9% 80.1% 85.9% 95.9%0表4. 不同信号输入下模型性能的消融研究。0将PPG信号信息融入ECG的重构中，从PPG/ECG重构中揭示出额外的信号和隐藏的模式。原始PPG/ECG对的多模态产生了与重构后的ECG信号相似的性能。PPG和重构后的ECG获得了最准确的结果，表明使用Performe通过新颖的数字生物标志物获得了最佳性能。05.4. 通过SPA的注意力图0为了可视化模型对生物医学波形的解释，图6显示了架构最后一层的注意力图。QRS波群周围的亮点表明Performe通过SPA有效地从PPG和ECG波形中获得了“生物理解”，使其自注意机制直接关注关键特征。这种能力是多层次层次设计、不同波长序列的有效计算和串联以及成功覆盖交叉补丁连接的结果。05.5. 医疗应用：PEARL0除了本文提出的架构改进外，还设计了一个医疗可穿戴原型，作为我们提出的架构的概念验证。如图7所示，PEARL（PPG耳环轻型）为连续心脏监测提供了一个无需用户主动参与的潜在解决方案。将可穿戴设备放置在耳垂上不仅适合日常佩戴，而且有利于产生准确的PPG波形信号，因为减少了运动。PEARL将收集到的PPG信号发送到云端的Performe模型，并将检测到的心血管疾病风险返回到可穿戴设备。这个应用将提出的Performe架构的现实世界的好处变为现实。Performe还可以与市场上其他基于PPG的可穿戴设备配合使用，通过其PPG到ECG重构，轻松结合ECG作为心脏监测的金标准的价值。06. 结论和未来工作0图7. PEARL的外观设计和原型。0本研究提出了Performe，一种基于Transformer的新型架构，通过PPG到ECG重构实现了最先进的性能（0.29RMSE），通过结合ECG/PPG信号的优势，为连续心脏监测提供了解决方案。此外，我们创建了Shifted Patch-basedAttention，这是一种有效的标记化机制，能够作为通过Transformer进行生物医学波形分析的通用解决方案。Performe还通过使用PPG和重构后的ECG信号展示了令人鼓舞的心血管疾病检测性能。作为概念验证，我们在我们提出的架构之上设计了一个耳环可穿戴设备-PEARL。未来的工作将通过Performe探索可用的更长范围的PPG数据。从几分钟、几小时到几天的范围可以揭示出在早期阶段指示心血管疾病风险的其他未发现的模式，从而减少心血管疾病和与之相关疾病的伤亡。我们还计划通过Performe重构其他生物医学信号，如心动图（BCG）和心音图（PCG），以扩大该架构的使用范围。患者的其他医疗记录，如体重、年龄、血压和心率，也可以纳入我们未来的实验中，以进一步提高Performe在现实世界中的适用性。0参考文献0[1] Robert Avram, Jeffrey E Olgin, Peter Kuhar, J WestonHughes, Gregory M Marcus, Mark J Pletcher, Kirstin As-chbacher, and Geoffrey H Tison.来自基于智能手机的血管信号的糖尿病数字生物标志物. Naturemedicine , 26(10):1576–1582, 2020.19990[2] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio.通过联合学习对齐和翻译进行神经机器翻译.  arXiv preprintarXiv:1409.0473 , 2014.0[3] Rohan Banerjee, Aniruddha Sinha, Anirban Dutta Choud-hury, and Aishwarya Visvanathan. Photoecg:用于估计心电图参数的光电容积脉搏图. In  2014 IEEE Interna-tional Conference on Acoustics, Speech and Signal Process-ing (ICASSP) , pages 4404–4408. IEEE, 2014.0[4] Nicolas Carion, Francisco Massa, Gabriel Synnaeve,Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko.端到端的目标检测变压器. In  European confer- ence oncomputer vision , pages 213–229. Springer, 2020.0[5] Hong-Yu Chiu, Hong-Han Shuai, and Paul C-P Chao.通过转换关注神经网络从光电容积脉搏图中重建QRS波群. IEEESensors Journal , 20(20):12374–12383, 2020.0[6] Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov,Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner,Mostafa Dehghani, Matthias Minderer, Georg Heigold, Syl-vain Gelly, et al.一幅图像相当于16x16个单词：用于大规模图像识别的变压器.arXiv preprint arXiv:2010.11929 , 2020.0[7] Mohamed Elgendi, Richard Fletcher, Yongbo Liang,Newton Howard, Nigel H Lovell, Derek Abbott, Kenneth Lim,and Rabab Ward. 使用光电容积脉搏图评估高血压.  NPJ digitalmedicine , 2(1):1–11, 2019.0[8] Eduardo Gil, Michele Orini, Raquel Bailon, Jos´e Mar´ıaVer- gara, Luca Mainardi, and Pablo Laguna.光电容积脉搏波变异性作为非稳态条件下心率变异性的替代测量.Phys- iological measurement , 31(9):1271, 2010.0[9] Ary L Goldberger, Luis AN Amaral, Leon Glass, Jeffrey MHausdorff, Plamen Ch Ivanov, Roger G Mark, Joseph E Mi-etus, George B Moody, Chung-Kang Peng, and H EugeneStanley. Physiobank, physiotoolkit, and physionet:用于复杂生理信号的新研究资源的组成部分.  circulation ,101(23):e215–e220, 2000.0[10] Alistair EW Johnson, Tom J Pollard, Lu Shen, Li-wei HLehman, Mengling Feng, Mohammad Ghassemi, BenjaminMoody, Peter Szolovits, Leo Anthony Celi, and Roger G Mark.Mimic-iii, 一个免费可访问的重症监护数据库. Scientific data ,3(1):1–9, 2016.0[11] Yongbo Liang, Zhencheng Chen, Guiyong Liu, and Mo-hamed Elgendi.中国用于血压监测的新的短时记录光电容积脉搏图数据集.Scientific data , 5(1):1–7, 2018.0[12] Tsung-Yi Lin, Piotr Doll´ar, Ross Girshick, Kaiming He,Bharath Hariharan, and Serge Belongie.特征金字塔网络用于目标检测. In  Proceedings of the IEEEconference on computer vision and pattern recognition ,pages 2117–2125, 2017.0[13] David Liu, Matthias G¨orges, and Simon A Jenkins.昆士兰大学生命体征数据集：用于研究的麻醉患者监测数据的可访问存储库的开发.  Anesthesia & Analgesia , 114(3):584–589,2012.0[14] Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin,and Baining Guo. Swin transformer: 分层视觉变压器使用移位窗口.0Hierarchical vision transformer using shifted windows. 在Proceedings of the IEEE/CVF International Conferenceon Computer Vision , pages 10012–10022, 2021.0[15] Attila Reiss, Ina Indlekofer, Philip Schmidt, and KristofVan Laerhoven. Deep ppg:使用卷积神经网络进行大规模心率估计.  Sensors , 19(14):3079,2019.0[16] Pritam Sarkar和AliEtemad。Cardiogan：具有双鉴别器的注意力生成对抗网络，用于从PPG合成ECG。在人工智能AAAI会议论文集中，卷35，页488-496，2021年。0[17] Sulaiman Somani，Adam J Russak，Felix Richter，ShanZhao，Akhil Vaid，Fayzan Chaudhry，Jes