空间转录组学中的基因表达预测方法

5039用于基因表达预测Yan Yang1Md Zakir Hossain1Eric A Stone1沙芬拉赫曼21澳大利亚国立大学BDSI 2孟加拉国北南大学ECE{Yan.Yang，zakir.hossain，eric.stone} @ anu.edu.aushafin. northsouth.edu摘要空间转录组学（ST）对于理解疾病和开发新的治疗方法至关重要。它测量每个细粒区域的基因表达（即，不同的窗口）。本文提出了一个示例引导网络（EGN），以准确和有效地预测基因表达直接从组织切片图像的每个窗口。我们应用范例学习来动态地从给定组织载玻片图像窗口的最近/相似范例我们的EGN框架由三个主要部分组成：1）一个提取器，用于构造一个用于无监督范例检索的表示空间; 2）视觉变换器（ViT）主干，用于逐步提取输入窗口的表示;以及3）示例桥接（EB）块，用于通过使用最接近的示例自适应地修正中间ViT表示。最后，我们用一个简单的基于注意力的预测块完成了基因表达预测任务。标准基准数据集上的实验表明，我们的方法相比过去的国家的最先进的（SOTA）方法的优越性。1. 介绍根据《自然方法》的编辑报告[23]，空间转录组学（ST）是研究疾病的未来，因为它能够测量细粒度区域的基因表达（即，不同的窗口）的组织载玻片。然而，由于候选窗口的并发分析的限制，ST的吞吐量较低[1]。为了从组织切片图像的每个窗口准确预测基因表达（图1）。1），本文提出了一种名为示例引导网络（EGN）的解决方案，同时允许高效和并发的分析。在文献中，以前的工作采用端到端神经网络，即STNet [13]和NSL [8]，以建立基因表达和幻灯片图像之间的映射。基因表达基因表达基因表达图1：字段概述。每个细粒区域（即，窗口）具有不同的基因表达。这里有一个例子，我们有一个组织切片图像，有三个窗口，每个窗口对应四种不同基因类型的表达。我们的目标是预测每个窗口的基因表达。dow。STNet是一种基于迁移学习的方法，可以为该任务微调预训练的DenseNet。相反，NSL通过单个卷积运算将载玻片图像窗口的颜色强度映射到基因表达。虽然由于使用神经网络而具有高吞吐量，但它们的预测性能较差。我们研究了现有方法的两个重要局限性[13，8]。1）局部特征聚合：基因表达预测可以被认为是将来自载玻片图像窗口的每种基因类型的识别特征单独分组。需要识别特征之间的长距离依赖性来推理复杂场景[35，22]，因为这些特征通常在幻灯片图像窗口中分布不均匀（参见第2节）。3为细节）。STNet（即，纯卷积方法）在特征聚集期间强调局部上下文它不能在彼此分离的特征之间产生通过实验与广泛的SOTA架构，我们表明，与长期依赖模型相比，局部特征聚合模型实现低（2）脆弱的假设：鉴别基因5040×通过直接检测幻灯片图像窗口的颜色强度的表达是脆弱的。通过在标准基准数据集上进行实验，我们表明这种方法仅在极端情况下有效（例如，在STNet数据集[13]中，载玻片图像窗口的肿瘤区域通常是pur- ple，这有利于预测肿瘤相关基因表达）。当评估具有最不可靠的基因表达预测的模型时，该方法显示负皮尔逊相关系数（PCC），即，表中的PCC@F1.一、在本文中，我们提出了一个EGN框架，以解决上述限制。EGN使用ViT [9]作为骨干，并将范例学习概念纳入基因表达预测任务。为了实现对给定幻灯片图像窗口的无监督范例检索，我们使用提取器来定义表示空间以计算幻灯片图像窗口之间的相似性。为了简洁起见，我们将提取器的输出命名为全局视图，以避免与ViT表示混淆注意，在实验部分中证明了全局视图的表征然后，我们有一个ViT骨干逐步构建演示文稿的给定幻灯片图像窗口下的远程依赖。同时，我们有一个EB块，通过给定幻灯片图像窗口的全局视图、样本的全局视图和样本的基因表达来修改中间ViT表示除了ViT主干之外，给定幻灯片图像窗口的全局视图还用作促进远程依赖性的优先级。为了允许动态信息传播，我们迭代地更新给定的幻灯片图像窗口的全局视图，并基于中间ViT表示的状态来示例。从语义上讲，前一个更新对应于“已知什么基因表达？”'，后者对应于最后，我们有一个基于注意力的预测块来聚合样本修订的ViT表示和给定的全局视图。滑动图像窗口来预测基因表达。我们的贡献概述如下：• 我们提出了一个EGN框架，一个基于ViT的范例学习方法，从幻灯片图像窗口准确预测基因表达。• 我们提出了一个EB块，通过使用给定的幻灯片图像窗口的最近的样本来修改中间• 在两个标准基准数据集上的实验表明，与SOTA方法相比，我们的优越性。2. 相关工作本部分首先回顾了基因表达预测的研究现状。然后，我们总结了最近的成就，自然语言处理和计算机视觉领域的范例学习。基因表达预测测量基因表达是开发新疗法和监测人类疾病的基本过程[2]。为了提高流程的可访问性，已将深度学习方法引入此任务。现有方法从DNA序列[2]或载玻片图像[13，8，30]预测基因表达。本文探讨了后一种方法。同时，这些基于图像的方法分为两个流。首先，Schmauch等人。 [30]采用多阶段方法，包括预训练的ResNet特征提取[14]和K-Means算法来模拟批量RNA-Seq技术[21]。它可以在一个大的预定义区域内测量细胞间的基因表达，105像素在相应的幻灯片im-年龄[30]。 然而，这种方法对研究这需要精细的基因表达信息，如肿瘤异质性[11]。第二，相反，He等人 [30，15]和Dawood等人 [8]设计了STNet和NSL框架来预测每个窗口的基因表达（即，细粒度区域）。这与ST技术一致[24]。我们对ST进行建模以预测基因表达，因为这可能同时解决批量RNA-Seq预测任务[13]。例如，跨载玻片图像的每个窗口的基因表达预测的聚集导致批量RNA-Seq预测。示范学习。K-最近邻分类器是范例学习的最直接的情况。 它通过考虑类la对输入进行分类- 最近邻居的电话 样例学习是检索任务和学习任务的组合[3]。它已被广泛用于通过引入类似范例的额外知识来增加模型能力[27，7，31，10，5，33，17，12，4，20，32，28，25]。帕特罗和[27]，Chen et al.[7]，Teney et al.[31]，and Farazi et al.[10]使用文本嵌入和/或其他视觉嵌入的最接近匹配来细化给定输入的表示，Borgeaud等人 [5]、Wu等人[33]、Urvashi等人 [4]和Kelvin[12]将示例学习与转换器结合起来用于语言生成任务。他们的核心思想是通过选择范例作为关键和价值的代表来实现一个更有知识的注意机制。类似地，Philippe等人 [4]将注意力机制与范例学习结合起来，带来了一个实时视觉对象跟踪框架。范例学习的其他应用，包括事实检查，事实完成和对话，可以在[20，32，28，25]中找到。然而，由于域转移，上述方法中的大多数并不适用于我们的任务。本文研究了一种基于滑动窗口的基因表达预测方法.因此，我们设计了一个EB块来适应范例学习到我们的任务。5041≤ ≤关于我们∈···K··图2：EGN框架。我们的网络以两阶段的方式进行训练。在无监督的范例检索阶段（Sec. 3.1），我们学习具有图像重建对象i v es的提取器E（·）和解码器G（·）。 在一致性之后，我们使用具有距离度量的提取器E（·）进行无监督的示例检索。例如，giv enXi，我们得到Xi的全局视图，即，ei和ei=E（Xi），构造最近样本集KXi={ej，yj}，其中ej是样本全局视图，yj是样本基因表达式. 在exemplar学习阶段（Sec。3.2），我们训练一个网络C（·，·，·）来从Xi，ei和KXi预测基因表达yi。 我们使用视觉Transformer（ViT）作为我们的骨干。 提出的经验bayes块与视觉Transformer块交错利用投影仪，我们将ei和KXi={ej，yj}细化为h，{r}，并且0 0s0。然后，它们被EB块用来修改ViT补丁表示，并被更新为ht、rt和st，其中1tT，T是层数。 最后，我们有一个预测块，它连接了细化的全局视图hT的Xi和注意力池ViT补丁表示，以实现基因表达预测任务。3. EGN框架问题表述。 我们有一个组织切片图像的数据集，其中每个图像包含多个窗口，每个窗口都用基因表达进行注释。为简洁起见，我们将数据集集合表示为用于样本检索的预测网络和从检索到的样本中学习的预测网络网络在两个阶段进行训练。1）无监督范例检索（第二节）3.1）：我们训练一个提取器E（·）来构建全局视图，幻灯片图像窗口X1，即，ei=E（Xi）且ei∈RD，滑动图像窗口XMiR3×H×W与基因表达N其中D是表示尺寸。 这种全球视野ei用于检索Xi的最近样本以形成yi∈R，即，{（Xi，yi）}i=1，其中N是集合大小，一个集合KX={[ej，yj]|j∈i}，其中i包含-H和W为Xi的高和宽，M为基因型数。我们的目标是训练一个深度神经网络模型来从Xi预测yi。从ST研究来看，存在两个主要挑战。（1）长期依赖性：基因表达相关特征在载玻片图像窗口X1上非均匀分布。参照图[13]第三个证据。需要这些特征之间的相互作用来对相同基因类型的表达进行分组。2）偏斜基因表达分布：某些基因类型的表达具有偏斜分布，类似于不平衡类分布问题。这是一个偏态分布（见图）。3）在预测这些基因类型的表达方面提出了挑战。在本文中，我们试图减轻他们从类似的例子学习。模型概述。基于这些动机，我们设计了EGN框架（图1）。2）含有萃取器我最接近样本的指数，Ej是最接近样本的全局视图，而Yj 是 样 本 的 配 对 基 因 表 达 。 2 ） 示 范 学 习（Sec.3.2）：我们训练一个模型C（，，），它将Xi，ei和Xi映射到yi。我们的C（，，）是基于一个ViT骨干。 我们引入ei和ej之间的交互，以利用yj与建议的EB块。然后，为了准确地预测yi，更新后的ei用于重新计算。ViseXi的中间ViT表示。注意，ei也用作促进长距离相互作用的先验。随着范例的引入，我们的框架在预测基因表达时动态受益。3.1. 无监督范例检索为了以无监督的方式检索给定载玻片图像Xi的样本，我们提出训练提取器（即，编码器）与用于图像重建的解码器后无监督示例检索（第3.1）与检索重构幻灯片图像窗口数据集丢弃范例学习（第二节）3.2）与投影仪愿景Transformer模块基因表达0.150.32EB块愿景Transformer模块EB块预测0.42块0.77幻灯图像窗口贴片嵌入提取器解码器5042··LL··LLLL·KKKLKK···∈ KRH我我用y，j对e，j加细。我们连接ej和2F我我R投影到模型尺寸。我们有SLE= min maxEXiX是初始细化的全局视图，[·，·]是连接HSG、EF奥佩拉托河MLP0（·）和MLP0（·）是两层感知器(a)RPS18（b）S100A8（c）RPS 10表达表达表达图3：STNet数据集的基因表达分布[13]。对每个基因表达进行对数转换。(a)RPS18基因的表达分布均匀。(b)和（c）是基因S100A8和基因RPS10的长尾分布表达收敛时，我们丢弃解码器，并将提取器与距离度量相耦合，以计算每对幻灯片图像窗口之间的相似性，用于范例检索。法StyleGAN [16]应用样式代码（即，低维向量）以在图像生成期间调制卷积操作。如[34]所示，样式代码以无监督的方式捕获训练数据集的细粒度和高级图像属性。同时，在样式代码中，每个标量是高度分解的，即，它们中的每一个倾向于独立地控制图像属性。当在图像之间类似地进行计数时，期望这种属性独立性。因此，我们为我们的无监督样本检索bor-row的风格代码，其中的风格代码是一个给定的图像输入的全局视图传统上，为了获得给定幻灯片图像窗口的样式代码，需要分别训练styleGAN和执行相反，我们联合训练编码器/提取器E（）（其取代GAN反演）和StyleGAN生成器G（），具有图像重建目标。之后，我们可以通过提取器E（）中的简单前向传递直接获得样式代码。Objective. 我们采用最小绝对偏差损失1、LPIPS损失LPIPS和最小绝对偏差损失F来优化，mize图像重建，其中F（）是一个判别器。请注意，重构间接影响样式代码的表示能力 1约束逐像素对应，而LPIPS和F促进更好的重建保真度。我们有图4：范例检索概述。例如，蓝色循环是预编码的全局视图。给定Xi，我们用E（·）提取ei并检索最近的样本。示例检索。收敛后，我们使用抽取器E（）的表示空间进行样本检索. 请注意，我们将提取器输出（样式代码）称为全局视图。通过ei = E（Xi）将幻灯片图像窗口Xi编码为全局视图。然后，我们用欧几里德距离2来度量每个给定的载玻片图像对（例如，Xi和Xj）之间的相似性，以构造最近的样本集Xi。我们经验性地验证了Xi在秒中的最佳大小。四点三。为了推广模型性能，我们限制候选图像对来自不同的患者。整个过程如图所示4.第一章 在实验部分，我们比较了所提出的范例检索与其他检索方法。3.2. 范例学习我们的模型C（，，）是由一个投影仪，一个骨干，一个EB块，和一个预测块. 它将载玻片图像窗口Xi、对应的全局视图ei和检索到的最近样本集Xi映射到基因表达yi，即，yi=C（Xi，ei，Xi）.我们的模型带来了Xi和Ei之间的相互作用，以逐步修改Xi在ViT骨架中的中间表示。投影仪全局视图ei和ejXi总结了广泛的依赖于数据库的属性。我们改进的全局视图集中在基因表达的兴趣，由几个多层感知器（MLP）。首先，给定幻灯片图像窗口Xi的全局视图ei为由MLP0（·）预测。 其次，对于ej∈KX，L1=|Xi−G（E（Xi））|，hiLLPIPS=（X）−（G（E（X），相关基因表达yi∈KXi是可用的，我们em.L= u。F. X+ u.- F. G（E（X））在馈送到MLP0（·）之前。第三，对于MLP0（·），yj其中，u（·）是预训练的LPIPS网络[37]，u（·）为00 0 0j0 0a Softplus函数[16]。设X是幻灯片图像窗口的分布。总体目标是hi=MLPh（ei），rj=MLPr（[e，Yj]），sj=MLPs（yj），其中h0、r0和s0的上标表示它们ΣΣi j j在后面的部分中，我们显示E（·）有效地编码该基因，e表达式相关的特征，通过结合预训练的E（·）一个ReLUaction函数。MLP0（·）共享相同的参数与MLP0（·）but有一个额外的线性层上具有用于基因表达预测的线性层。最重要的是幻灯图像窗口最接近图像预编码密度密度密度L1+ LPIPS + LF。5043我·JJJ·我我·S我L我LHzLJ∈···我O ·O我··我我我J我我JJMzHOhJJOL我·i j ij我基因表达（其从样本接收）和斑块表示状态。整个过程如图所示。五、为了做到这一点，首先，我们连接ht和差ht−rt使ht和rt之间产生相互作用，i j i j不MLPm（）。我们将输出分块为mh ， j和mr ， j。然后，将它们与引物j融合，从t+1开始恢复基因表达（st的投影）。语义上，mh，j概括了从数学上讲我们有ht+1=ht+Avg（[mh，j·st+1|j∈rt+1=rt+mr，j·st+1，mh，j，mr，j=Chunk（σ（ MLPt（ht，ht−rt），st+1=MLPt（st）我我我图5：EB块架构。 输入是hi，{rt|jsjj∈i}，且{st|j∈<$i}，Zt. 首先，我们设计sj电话+1其中MLPt（·）是多层感知器，块（·）到si并且在hi和rj之间具有相互作用。这间-action由st+1辅助，并获得htt+1i和rt+1。秒-运算符将输入平均分为两个输出，并且σ（）是一个Sigmoid函数。为了避免符号重载，我们我我然后，将ht投影到ViT主干中的片的数量，以缩放ViT片表示Zt 的 幅 度。 通过它们的相互作用，ht+1和Zt被更新为ht+1和Zt+1。仍然使用MLPt（）作为单层感知器。其次，ht+1和Zt通过缩放每个补丁表示zt∈ Zt的幅度而彼此往复：Zt+1=Zt+MLPt（Ot），z zht+1=ht+1+MLPt（A vg（Ot）），骨干我们以“我”为“我”，以“我”为“我”。它有一个补丁嵌入层和视觉Transformer块。的伊伊哈Ot，Ot=Chunk（ MLPt（Zt）·σ（ MLPt（ht+1））），H z补丁嵌入层将幻灯片图像窗口Xi平铺为乌赫里在展平和馈送到线性层之前的非重叠贴片。输出为Z0=[z0|l∈1，· · ·，L]，其中MLPt（·）、MLPt（·）、MLPt（·）和MLPt（·）是单层感知器 Ot和Ot是其中L是面片的总数，Z0是矩阵投影面片的表示。 每一次的视觉转换-前一个模块由自关注层和前馈层组成，实现Z0之间的全局交互。假设有T层，设t[1，，T]。我们将第t层的第l个面片表示记为zt.EB座。该块与视觉变换器块交织，这带来了St，即，关于最近样本的基因表达的知识，每个ViT补丁代表-森申海峡首先，我们预测St（即，基因的投射ViT片表示Zt和hiT+1。注意，外-MLPt（t）的放置维度是ViT中的片的数量，并且输出的每个标量用于从MLPt（Zt）缩放相应的片。通过缩放每个ViT补丁表示的幅度，我们间接地注入了关于样本的基因表达的知识，同时更新了改进的全局vi，其中h= 1，以实现与样本和后续层中的ViT表示的交互可以注意到，当前操作是基于单头的，其可以扩展到多头L J示例的表达式）到ST+1。对于t+1，HT和RT之间的相互作用（即，精确的全局视图），通过扩展MLPt（）的输出维度的操作在实践中I j得到ht+1和rt+1。 由于h_t+1和r_t+1是从同一个提取器E（）初始化的，因此它们的交互可以用作修改ViT补丁表示的桥梁。秒-其次，考虑到h_t+1最初由重建执行预测块。在[38]之后，每个ViT补丁表示显示出对基因表达预测任务的不同优先级我们将注意力池层AttPoo l（·）应用于aggr gt ezT∈ZT。更重要的是，T是一个亲-我基于结构的网工作E（），h_t+1被期望包含关于输入图像分布的空间信息与ht+1，我们重新检查ViT片表示zt，得到幻灯片图像窗口的逐步细化的全局视图Xi，它捕获Xi的高级属性。我们将hT和AttPool（ZT）结合起来进行预测. 我们有I lht+1和zt+1。这一过程带来了互动-I l在h_t+1和z_t之间传播关于可能的y=MLP（[hT， AttPool（ZT）]），I II I乙状AvgAvg乙状块块5044LL···表1：在STNet数据集和10xProteomic数据集中使用SOTA方法的定量基因表达预测比较。我们追求最好的结果。我们使用在上述数据集中通过四重交叉验证和三重交叉验证来评估模型。 在MAE ×101、PCC@F×101、PCC@S ×101和PCC@M ×101的数据集上，我们提出的EGN 框架都优于SOTA 方法. CycleMLP 在10xProteomic数据集中找到最佳MSE×102方法STNet [13]NSL [8][9]第九话CycleMLP [6]MPViT [19]复古[5]ViTEXP我们STNet数据集MSE×102MAE×101PCC@F×101PCC@S×101PCC@M×1014.521.700.050.920.93---0.710.250.114.281.670.971.861.824.411.681.111.951.914.491.700.911.541.694.531.710.991.741.794.461.690.871.721.744.101.611.512.252.0210x蛋白质组学数据集MSE×102MAE×101PCC@F×101PCC@S×101PCC@M×10112.402.641.252.262.15---3.731.840.257.542.275.114.644.904.691.555.886.606.325.451.566.407.156.845.251.655.466.356.045.041.665.596.366.005.491.556.787.217.07其中MLPg是单层感知。Objective. 我们用均方损失（即，欧几里德距离）2和分批PCC ppc。我们有Ltotal=L2+Lppc4. 实验数 据 集 。 我 们 在 公 开 可 用 的 STNet 数 据 集 [13] 和10xProteomic数据集1中进行实验。STNet数据集包含大约30，612对幻灯片图像窗口和基因表达。该数据集涵盖了23名患者的68张载玻片图像。在[13]之后，我们的目标是预测在数据集中具有最大平均值的250种基因类型的表达10xProteomic数据集具有32，032个载玻片图像窗口和来自5个载玻片图像的基因表达对。我们以与STNet数据集相同的方式选择目标基因类型我们将对数变换和最小-最大归一化应用于靶基因表达。请注意，我们的归一化方法与[13]不同（他们使用对数转换和自定义归一化，即，对于每个载玻片图像窗口，通过来自所有基因类型的我们的标准化方法允许独立分析基因表达预测。4.1. 实验装置基线方法。我们比较了基因表达预测，ImageNet分类基准和样本学习的广泛SOTA方法。• [13][14][15][16][17] 它 们 是 基 因 表 达 预 测 中 的SOTA1https://www.10xgenomics.com/resources/datasets• [19]我们在任务中使用SOTA ImageNet分类方法。它们是我们任务中的强有力的基线。具体来说，我们使用ViT-B、MPViT-Base和CycleMLP-B2。详情请参阅[9，19，6]• [15]《礼记》云：“礼，礼也。我们探讨了SOTA范例学习方法。然而，Retro最初是为自然语言处理而开发的。我们通过提供提取器输出e作为范例表示来调整它。ViTExp直接将示例表示连接到ViT补丁表示。范例表示被添加有嵌入，以与幻灯片图像窗口的补丁表示区分Retro和ViTExp都基于ViT-B架构[9]。评估指标。我们评估所提出的方法和替代基线与PCC，均方误差（MSE）和平均绝对误差（MAE）。我们使用PCC@F、PCC@S和PCC@M表示PCC的第一个分位数、中位数和均值。PCC@F验证了最少执行的模型预测。PCC@S和PCC@M测量了每种基因类型的相关性的中位数和平均值，给出了所有载玻片图像窗口的预测值和GT。同时，MSE和MAE测量每个基因类型的每个载玻片图像窗口的预测和GT之间的样本偏差请注意，对于MSE和MAE，较低的值意味着更好的性能。相反，对于PCC@F、PCC@S和PCC@M，值越高表示性能越好。实施细节2. 架构和优化-我们的《易经》，是以《易经》为基础的，是以《易经》为基础的。对于范例学习，我们使用Pytorch框架实现了EGN-2代码可在https://github.com/Yan98/EGN5045××·L L(a)复古[4]（PCC@M：0.179）（b）CycleMLP [5]（PCC@M：0.191）（c）仅骨架（PCC@M：0.180）（d）无投影仪（PCC@M：0.185）（e）我们的（PCC@M：0.202）肿瘤正常肿瘤正常肿瘤正常肿瘤正常肿瘤正常图6：表1中表现最好的模型的定量评价1和Tab。4.第一章我们采用t-SNE [29]对模型潜在空间进行降维我们使用额外的标签（即，肿瘤和正常）从STNet数据集进行注释。工作[26]。EGN从头开始训练50个epoch，批量大小为32。我们使用余弦退火调度器将学习率设置为510−4我们的重量衰减是110−4。我们使用具有以下设置的ViT主干：小块大小32、嵌入维度1024、前馈维度4096、注意头部16和深度8。我们将所提出的EB块与频率为2的ViT骨干交织，其中每个块具有16个头部和维度64，即该块具有16个维度为64的唯一操作。我们的EB块使用9个最近的样本。所有的实验都在2个NVIDIA TeslaP100 GPU上进行。4.2. 实验结果我 们 将 我 们 的 EGN 框 架 与 STNet 数 据 集 和10xProteomic数据集的基线进行了比较（Tab.①的人。由于基因表达预测任务强调捕获相关性变化，因此我们偏向于PCC相关的评估度量，即，PCC@F、PCC@S和PCC@M。我们的EGN在MAE、PCC@F、PCC@S和PCC@M方面始终达到SOTA性能我们的研究结果如下：1）值得注意的是，Retro和ViTExp使用ViT作为主干。但是，其性能低于ViT。Retro和ViTExp都使用基于注意力的操作，在与我们的EB块进行比较时，直接在ViT表示和样本的全局视图这验证了使用输入载玻片图像窗口的全局视图作为将样本的知识引入ViT表示的桥梁的必要性;2）CycleMLP和MPViT，ImageNet分类任务中的SOTA同时，CycleMLP在10xProteomic中找到了最好的MSE。请注意，PCC相关的评估指标是我们的任务中最重要的。通过使用范例，我们的模型，使用香草ViT骨干优于他们的原因边际在PCC相关的评估指标，而总体上实现类似的MSE和MAE与他们; 3）我们的模型的PCC@F显著优于基线方法。该方法通过计算所有基因类型中PCC的第一个分位数来评估最差模型能力。请注意，第一个分位数覆盖的大多数基因类型具有倾斜的表达分布，这是预测任务中最具挑战性的部分。我们的方法有0.038- 在PCC@F中比次优方法高0.040; 4）STNet和NSL的性能不理想。再次，基因表达相关特征通常跨载玻片图像窗口输入非均匀地分布。它们不具有从这些特征捕获相同基因类型的表达的长程相互作用。此外，NSL与PCC@F之间还存在负相关关系这验证了我们的主张，即直接用颜色强度预测基因表达①的人。定量评价。我们提出了潜在的空间可视化（图。6），通过考虑表中的顶级性能模型。1和Tab。4（参见第4节中的“仅主干”和“无投影仪”设置的详细信息4.3）。请注意，额外的标签（即，肿瘤和正常）用于注释。为了实现清晰的可视化，我们为每个标签随机抽样256个幻灯片图像窗口的表示，即，肿瘤和正常。通过逐步使用拟议的组件（从图。6（c）图。6（e）），即，作为我们模型的范例，我们的方法通过具有比替代方法改进的基因表达预测，4.3. 消融研究我们通过在STNet数据集中进行详细的消融研究来提取器能力。我们探索检索样本的替代方法（Tab。2）的情况。 我们与AlexNet [18]和ResNet50[14]的代表进行了比较。请注意，它们是在ImageNet上预训练的，我们的E（）是以无监督的方式学习的。我们探索了不同的距离矩阵，包括LPIPS [37]，2，1和余弦（即，余弦相似性）。结果表明：1）LPIPS远距离检索样本导致模型性能不佳该距离是基于人类对常规图像的感知来训练的，其中这些图像不同于常规图像。5046·L······0.2040.1960.1880.180（a）PCC@M0 5 100.04250.04200.04150.0410（b）中小企业0 5 100.1670.1650.1630.161（c）MAE0 5 10表 2 ： 样 本 回 收 的 消 融 研 究 我 们 比 较 了AlexNet和ResNet50的代表性范例检索。图7：EB阻滞中使用的样本数量的消融研究。这个数字从1到15不等，我们在子图（a），（b）和（c）中呈现PCC@M，MSE和MAE。表3：EB阻滞的消融研究。Heads Head Dim Frequency PCC@M×101Ta仅主干不包括EB Block 4.65 1.72 1.70不带投影仪4.22 1.63 1.85我们的4.10 1.55 2.02滑动图像窗口。因此，它检索坏样本并损害模型性能;2）使用ResNet 50检索样本导致良好的性能，尽管预先训练的ResNet 50缺乏基因表达相关的知识。这种检索方法补充了我们从ImageNet中学习到的关于图像纹理的知识，这增强了我们模型表示的通用性，并验证了我们模型的鲁棒性; 3）提取器E（）的距离为2时，提取效果最好。EB 块 设 置 。 首 先 ， 我 们 提 出 PCC@M （ 图 1 ） 。 7（a））、MSE（图7（b））和MAE（图7（c）），通过改变EB块中使用的样本数量从1到15。有九个样本找到最好的PCC@M和MAE，我们有最好的MSE使用十个样本。同样，我们的任务强调捕捉相对变化。因此，我们的最终建议是使用九个样本。其次，我们消除了EB块架构和与视觉Transformer块交错的频率（表1）。（3）第三章。这平衡了模型在构建ViT表示和从示例接收知识方面的能力。通过将磁头、磁头尺寸和频率设置为8、64和2，我们拥有最佳的PCC@M。模型架构。我们在Tab中展示了“预训练的E（）”、"仅主干“、”无EB块“和”无投影仪“的性能4. ‘Pretrained 这也称为线性探测在文献中架构请注意，我们使用的是一个非正规的ViT架构，这是由二进制搜索确定。‘w/o EB block’ is equivalent toconcatenating the pooled ViT“w/o projector”用线性层代替投影仪以统一尺寸。 我们的研究结果如下：1）请注意，此设置比STNet和NSL具有更好的性能①的人。我们的E（）以无监督的方式捕获基因表达相关的特征，显示了我们无监督范例检索的潜力; 2）“w/o EB block”设置比“Back-bone only”设置实现更差的性能。整合基因具有单个线性层的表达式预测禁止全局视图和ViT表示之间的交互。这可能导致不一致的行为并导致性能不佳;以及3）对于所有提出的组件，我们具有最佳性能。5. 结论本文提出了一个EGN框架，以准确地预测基因表达的每个细粒度区域的组织载玻片图像，即，不同的窗户。EGN使用ViT作为主干，同时与范例学习概念相结合我们首先有一个提取器，以无监督的方式检索给定的组织载玻片图像窗口的样本。然后，我们提出了一个EB块，通过与最近的样本进行往复运动来逐步重新定义ViT表示通过大量的实验，我们证明了EGN框架的优越性SOTA方法。EGN有望通过准确的基因表达预测促进疾病和新治疗方法的研究特征距离空间度量MSE×102MAE×101PCC@M×101E（·）L24.101.612.02E（·）L14.131.641.80E（·）cosine。4.241.631.83AlexNet LPIPS 4.461.701.74ResNet50 L24.121.621.89ResNet50 L14.131.621.83ResNet50 余弦4.161.641.94表4：模型结构的消融研究。设置MSE×102 MAE×101PCC@M×101预训练E（·）4.854.311.761.671.561.8043221.8446421.7646431.7883221.8586422.0286431.88163221.86166421.82166431.805047引用[1] 米凯拉·阿斯普，约瑟夫·贝尔根，还有乔·金·伦德伯格.空间分辨转录组-组织探索的下一代工具。BioEssays，42：1900221，2020年5月。[2] ZelvigAvsec 、 VikramAg arw al 、 DanielVisentin 、JosephLed-sam 、 Agnieszka Grabska-Barwinska 、 KyleTaylor、Yannis Assael、John Jumper、Pushmeet Kohli和David Kelley。通过整合远程相互作用从序列有效预测基因表达自然方法，18：1196[3] Miguel Bautista，Artsiom Sanakoyeu，Ekaterina Sutter，and BjoürnOmme r.Cliquecnn：深度无监督的经验学习。2016年8月[4] 菲利普·布拉特，Menelaos Kanakis，Martin Danelljan和Luc Gool。有效的视觉跟踪与范例transformer。2021年12月[5] SebastianBorgeaud、ArthurMensch、JordanHoffmann 、 Trevor Cai 、 Eliza Rutherford 、 KatieMillican 、 George Driess-che 、 Jean-Baptiste Lespiau 、Bogdan Damoc 、 Aidan Clark 、 Diego Casas 、 AureliaGuy 、 Jacob Menick 、 Roman Ring 、 Tom Hennigan 、Saffron Huang 、Loren Maggiore 、 Chris Jones、 Al-binCassirer和Laurent Sifre。通过从数万亿个标记中检索来改进语言模型。2021年12月[6] 陈守法，谢恩泽，葛崇建，丁良，罗平。Cyclemlp：一种类似mlp的密集预测架构CoRR，abs/2107.10224，2021。[7] Zhuo Chen ， Jiaoyan Chen ， Yuxia Geng ， Jeff Pan ，Zonggang Yuan，and Huajun Chen.零射击视觉问题回答使用知识图，第146-162页。2021年9月[8] Muhammad Dawood 、 Kim Branson 、 Nasir Rajpoot 和Fayyaz ul Amir Afsar Minhas。你需要的只是颜色：基于图像的空间基因表达预测神经染色学习。2021年8月[9] AlexeyDosovitskiy、LucasBeyer、AlexanderKolesnikov、Dirk Weissenborn、Xiaohua Zhai、ThomasUnterthiner 、 Mostafa Dehghani 、 Matthias Minderer 、Georg Heigold、Syl-vain Gelly、Jakob Uszkoreit和NeilHoulsby。一张图片相当于16x16个单词：用于大规模图像识别的变压器在第九届国际会议上学习代表，ICLR2021，虚拟活动，奥地利，2021年5月3日至7日。OpenReview.net，2021年。[10] 莫希尔·法拉兹萨尔曼·汗和尼克·巴恩斯从已知到未知：转移知识，回答有关新的视觉和语义概念的问题。图像和视觉计算，103：103985，08 2020。[11] Marco Gerlinger 、 Andrew Rowan 、 Stuart Horswell 、James Larkin、David Endesfelder、Eva Gronroos、PierreMartinez 、 Nik Matthews 、 Aengus Stewart 、 PatrickTarpey、Barracio Varela、Benjamin Phillimore、SharminBegum、Neil Mcdonald、Adam Butler、David Jones、Keiran Raine、Calli Latimer、Claudio Santos和CharlesSwanton。多区域测序显示瘤内异质性和分支演变。新英格兰医学杂志，366：883[12] Kelvin Guu、Kenton Lee、Zora Tung、Panupong Pasupat和Ming-Wei Chang。Realm：检索增强语言模型预训练。2020年2月[13] 布莱恩 他， Ludvig 做个绅士， LinneaStenbeck，Abubakar Abid ， Alma Andersson ， Ake Borg ， JonasMaaskola，Joaki