递归条件高斯：无监督领域自适应排序

cus on the classification or segmentation tasks without con-sidering the inter-class correlations. However, tasks with dis-crete and successively labels are commonly seen in the realworld. For instance, the Diabetic Retinopathy (DR) has fivelabels corresponding to different severity levels: 0→normal,1→mild, 2→moderate, 3→severe, and 4→proliferative DR.In ordinal setting, class y = 1 is closer to y = 2 than y = 4.The misclassification of y = 1 to y = 2 or y = 4 may lead todifferent severity of misdiagnosis. The ordinal labeling sys-tem is widely adopted in medical diagnose, face age groups,and facial expression intensity, etc. Limited by the collectingcost, the UDA has great potential in the medical area, whilethe UDA for the ordinal label is under-presented.A promising solution for UDA is to jointly learn thedisentanglement of class-related/unrelated factors and theadaptation on the class-relevant latent space exclusively [60].The well-performed model is expected to extract the class la-bel informative and domain invariant features [61]. However,17640递归条件高斯用于无监督领域自适应排序0刘晓峰1†�，李斯特2†，葛宇斌3，叶鹏翼1，尤简4，陆军501 美国哈佛大学，剑桥，马萨诸塞州。2 美国卡内基梅隆大学，匹兹堡，宾夕法尼亚州。3美国伊利诺伊大学香槟分校，计算机科学系，伊利诺伊州。4香港理工大学计算系，香港。5美国哈佛医学院贝斯以色列医疗中心，波士顿，马萨诸塞州。0†同等贡献，�通讯作者：liuxiaofengcmu@gmail.com0摘要0无监督领域自适应（UDA）被广泛应用于缓解数据可扩展性问题，然而现有的工作通常集中于独立分类离散标签。然而，在许多任务（例如医学诊断）中，标签是离散且连续分布的。有序分类的UDA需要在潜在空间中引入非平凡的有序分布先验。为此，定义了部分有序集（poset）来约束潜在向量。本文中，我们采用递归条件高斯（RCG）集来进行有序约束建模，该模型具有可处理的联合分布先验。此外，我们可以通过简单的“三西格玛规则”来控制违反poset约束的内容向量的密度。我们将跨域图像明确地分解为一个共享的有序先验引导的有序内容空间和两个独立的源/目标无序空间，并且自训练仅在共享空间中进行，以实现有序感知的域对齐。在UDA医学诊断和面部年龄估计上进行了大量实验，证明了其有效性。01. 引言0深度学习通常缺乏数据，并依赖于训练和测试集的i.i.d假设[5,32]。然而，目标任务在现实世界中的部署通常具有显著的多样性，而目标域数据的大规模标记可能昂贵甚至禁止[29]。为了解决这个问题，发展了无监督领域自适应（UDA），该方法提出从标记的源域和未标记的目标域中学习[12,40,39]。现有的UDA工作通常集中于分类或分割任务，而不考虑类间相关性。然而，离散且连续标签的任务在现实世界中很常见。例如，糖尿病视网膜病变（DR）有五个标签，对应不同的严重程度级别：0 → 正常，1 → 轻度，2 → 中度，3→ 重度，4 →弥漫性DR。在有序设置中，类别y=1比y=2更接近y=4。将y=1误分类为y=2或y=4可能导致不同严重程度的误诊。有序标签系统在医学诊断、面部年龄组和面部表情强度等领域被广泛采用。受到收集成本的限制，UDA在医学领域具有巨大潜力，但对于有序标签的UDA研究还不充分。UDA的一个有希望的解决方案是共同学习与类相关/不相关因素的解缠和仅在与类相关的潜在空间上进行适应[60]。期望表现良好的模型能够提取类别标签信息和域不变特征[61]。然而，0图1.（左）在R2中以偏序形式对齐的4类潜在向量（点）的示意图。对于向量ck，其相邻的水平线和垂直线指定了其上级ck+i（i>0）可以放置的可行象限。（右）3类的条件间距模型p(c1,c2,c3)=p(c1)p(c2|c1)p(c3|c2)。采用的高斯条件密度（4-7）和约束（8）确保从p(c1,c2,...,cK)中采样的样本以高概率满足c1≤c2≤...≤cK[48,10,23]。7650解缠和适应序数因子可能具有挑战性[2]。通常采用独立同分布的高斯分布集作为解缠类相关和不相关潜在空间的先验[2]，这从根本上假设类别是独立的分类。与传统解缠框架MLVAE[2]中的独立同分布的分类假设相反，我们提出了一个不同的设置，即提取的类相关因子c也是相对于相应的序数标签y的有序值。换句话说，类相关因子c的值也是有序的。我们注意到，如果y是一个序数类标签，即y∈{1<2<...K}，我们希望将这种序数结构嵌入到形成序数类相关潜在空间中。具体而言，对于两个类标签彼此接近的实例，它们各自提取的序数类相关潜在向量c1和c2预期是近似的，反之亦然[23]。对于三元组y1 < y2 < y3，我们有：0|| c1 - c3 || > max {|| c1 - c2 || , || c2 - c3 ||}，(1)0将类相关的潜在向量和序数类标签对齐，从而得到一个遵循真实数据因果推断的模型是一项具有挑战性的任务。然而，将序数类间相关性引入到解缠类相关潜在空间中是非常困难的。实际上，直接将三元组约束作为解缠框架变分下界的正则项来强制执行等式1几乎是不可行的。对于D维的c，对于每对(c_i,c_j)，有O(D^2)个不等式，而对于每个不等式，我们可能需要引入一个松弛变量进行优化[23]。此外，这种启发式的正则化不能保证在嵌入的潜在空间中满足等式1。受到上述观点的启发，我们通过构建适当的先验来采用一种有效和原则性的方式来进行序数类相关因子建模。与非序数解缠方法[2]中的独立同分布的标准高斯先验[24]不同，我们的先验是通过递归条件高斯(RCG)集合构建的，它明确地施加了一个限制性的偏序集合(poset)约束[48, 10,23]。由于联合先验是高斯的，尽管具有完全协方差，但继承了变分目标中KL散度项的闭合形式。此外，先验可以在潜在维度上完全因子化，使得框架具有可计算性。此外，用于强制执行K类任务中所有配对的约束的适应先验中所需的参数数量可以是O(D∙K)，进一步增强了模型的可扩展性[23]。这种先验能够通过简单的“三西格玛规则”分配违反偏序约束的可忽略密度。对于带有噪声标签的数据集，可以灵活调整置信区间以实现更保守的序数建模。0我们的贡献总结如下：•我们提出在联合解缠和适应框架中研究序数分类的UDA。•通过递归条件高斯(RCG)集合构建了一种有效和原则性的类相关潜在空间的序数先验[48, 10,23]。更具吸引力的是，我们可以调整违反偏序集合的比例来适应序数标签的噪声。我们适应的先验的KL散度的闭合形式对于大规模任务是可计算的。•我们在医学诊断（例如DR和CHD）和年龄估计方面对我们的方法进行了广泛评估，并观察到与UDA中以前的非序数方法相比有显著改进。02. 相关工作0序数分类/回归可以作为多类分类任务[14]或度量回归任务[11]进行处理。前者将类别视为相互不相关，忽略了类别之间的内在排序相关性[1,45]。后者假设相邻类别之间的距离相等，这可能违反非平稳性属性并容易导致过拟合[4]。基于阈值的方法提出了定义K-1个二进制决策边界[43]。最近，Wasserstein损失被采用作为传统交叉熵损失的替代，以融入类间相关性[30, 38, 16, 34,31, 41,13]。限制性偏序集合(poset)也被用于强制执行序数潜在表示[10,23]。UDA在序数数据上的应用比传统任务更有前景，因为序数数据通常很难标记[43]。我们的方法也与最近的序数分类损失[30]正交。无监督域自适应旨在通过使用标记的源域来提高未标记的目标域的性能[26]。典型的方法主要可以分为统计矩匹配[47]、域风格转换[57, 18]、特征级对抗学习[12, 58,42]和自训练[61, 33,39]。一个表现良好的解决方案是将输入解缠为类相关/不相关因子，并仅对跨域的类相关因子进行对齐[60,3]。此外，通过自训练[61]实现适应，每次迭代中推断目标样本的伪标签，逐渐减少跨域变化。然而，在解缠的潜在空间中引入序数先验可能具有挑战性[30, 28, 10,23]。我们提出了一个基于VAEs的联合解缠和适应框架，并为序数类相关因子(RCG)和类不相关因子(Gaussian)量身定制了先验。我们还尝试了Wasserstein损失[30]与自训练[61,60]的组合，但无法明确强制执行要转移的特征的序数属性。更多-7660此外，将与损失相关的UDA方法[50]与序数损失[30]结合起来通常具有挑战性。解耦表示。学习对标签有信息性且对其他烦人的变化具有鲁棒性的表示是表示学习的主要目标。尽管一些工作[8, 21, 7]表明，可以通过增加VAEs[25]的损失来实现无监督解耦，以强制编码器施加的先验的边际独立性。然而，研究表明，除了引入足够的归纳偏差或规则性约束外，无监督解耦还存在不可识别性[46]。实际上，在基于自训练的UDA设置中，我们具有源域数据的真实类标签，并推断目标域数据的伪标签。群级MLVAE模型[2]是VAEs [25]的扩展，它假设类y =k的样本x是内容和实例特定风格的潜在向量对ck和u的生成结果。因此，所有类y =k的样本x的内容应该具有相同的ck，而u总结了每个样本的其他补充变化。与MLVAE[2]相比，我们的目标是有序值ck，其中内容因素的值是有序的而不是分类的。此外，有序先验引导的VAEs进一步融入了适应性框架。最近的一些VAE研究尝试处理有序标记数据，但是它们的目标和设置与我们的框架从根本上不同。[6]假设有序配对样本可用于训练，这与有序分类任务[43]不同。[22]引入了有序类的变分后验。[15]在目标域中利用视频级标签，并不要求提取的潜在向量能够对齐有序约束。03. 方法论0在有序UDA中，给定源域p(xs, y)和目标域p(xt, y)，从p(xs,y)中独立同分布地抽取标记集DS，从边际分布p(xt)中独立同分布地抽取未标记集DT。UDA的目标是在DS和DT的训练中在目标域中构建一个良好的分类器。y∈{1, 2, ...,K}是离散和有序的类标签。在自训练UDA[61]中，我们在每次迭代中为目标样本推断伪标签ˆy。给定一组源图像{xns} Nsn = 1，其中y = k和目标图像{xnt} Ntn= 1，其中ˆy =k，其中n表示一组跨域数据实例，Ns和Nt分别表示源域和目标域样本数量。我们提出的框架是建立在VAEs [24,2]的骨干上的。0图2.有序UDA提出框架的图形模型表示。灰色阴影圆圈表示样本x及其有序标签y的观察变量。0将样本xns或xnt编码为潜在表示对(cn, uns)或(cn,unt)的配对，其中cn负责有序类相关的特征，而其他变化都被视为与类无关的特征uns或unt分别用于源域或目标域。预期cn的变化仅影响有序类相关的方面，相反，与类无关的特征uns或unt与cn无关。我们注意到与类无关的因素没有标签[36]。03.1. 跨域有序图模型0对于与类别无关的因素的先验，一个自然的选择是独立同分布的标准高斯N(0，I)。具体而言，我们可以设置p({u n s}N s n =1) = ΠN sn =1 N(u n s; 0，I)和p({u n t}N t n =1) = ΠN t n =1 N(u n t;0，I)，遵循vanilla VAEs[24]。至于类别相关的参考向量，一个可能的选择是遵循MLVAE[2]，使用完全分解的标准高斯分布p(c 1，...，c K) = ΠK k =1 N(ck;0，I)。值得注意的是，MLVAE对不同类别的独立同分布先验建模只有在标签值是分类的（即离散和独立的）情况下才有意义。此外，对于序数标签，我们期望编码近似序数类别。然而，独立同分布的高斯先验可能是次优的，因为它无法保持序数特征。为了更合理地建模序数内容先验，我们希望能够施加等式1中的三元排序约束。引入这个约束的一种可能方式是将其简单地作为正则化项。然而，这种启发式设计无法保证等式1中的不等式，并且在大型数据集上不可扩展。根据[10，23]，我们提出通过在序数类别相关的潜变量中引入部分有序集（poset）[48]来施加这个约束。对于每个维度d∈{1，...，D}，我们建议对潜向量中的第d个元素进行排序，即[c 1]d<[c 2]d<...<[cK]d，其中[c k]d是向量c k的第d个条目（即c k=[[c k]1，[ck]2，...，[ck]d]�）。这些向量在一个poset中对齐，并满足等式1中的序数类别相关潜距离约束。2维潜空间的情况如图1左所示。为了在先验中施加poset约束，我们采用了递归条件高斯（RCG）集[10，23]。该框架对K个向量施加了联合高斯分布，对于k∈{1，...，K}完全相关，并对于d∈{1，...，D}的维度完全分解，使得变分推断对于计算是可行忽略的RCG密度以实现这个约束。03.2. 潜先验0我们配置了三个编码器Enc c s,t = q c s,t(c n | x n s,t)，Encu s = q u s(u n s | x n s)和Enc u t = q u t(u n t | x nt)用于潜空间推断，并配置了两个特定于域的解码器Dec u s= p s(x n s | c k，u n s)，Dec u t = p t(x n t | c k，u nt)以生成带有采样的潜变量对的图像，如图3所示。not meet the poset constraints. Specifically, we consider adimension-wise independent distribution,p(c1, . . . , cK) =D�d=1pd([c1]d, . . . , [cK]d),(2)where pd is the density over K variables from d-th dimen-sion of the latent vectors. We model pd by a product ofpredecessor-conditioned Gaussians. For simplicity, we dropthe subscript d in notation, and abuse ck to denote [ck]d,p(c1, . . . , cK) to refer to pd([c1]d, . . . , [cK]d). Following[48, 10, 23], the framework can be formulated as:p(c1, . . . , cK) = p(c1)p(c2|c1) · · · p(cK|cK−1),(3)where the conditionals are defined as:p(c1) = N(c1; µ1, σ21)(4)p(c2|c1) = N(c2; c1 + ∆2� �� �:=µ2, σ22)(5)p(c3|c2) = N(c3; c2 + ∆3� �� �:=µ3, σ23)(6)...p(cK|cK−1) = N(cK; cK−1 + ∆K����:=µK, σ2K).(7)We define p(ck|ck−1) as a Gaussian centered at µk := ck−1+∆k with variance σ2k. That is, ∆k (> 0) is the spread betweenthe predecessor sample ck−1 and the mean µk as shown inFig. 1 right. We consider {σk, ∆k}Kk=1 and µ1 to be the freeparameters of the framework that can be learned from data.To efficiently approximate (in other words, roughly toguarantee) the poset constraint, we make each conditionaldistribution (pillar) separated from its adjacent neighborsthrough the following “three-sigma” constraint:∆k ≥ 3σk,(8)which has > 99.7% probability as near certainty [53]. WithEq. 81, the likelihood that ck ≤ ck−1 is negligible enforc-ing the desired ordering c1 < c2 < · · · < cK. We notethat the label noise is usually significant in many ordinaldataset, and the unimodal label-smoothing is widely usedto achieve conservative prediction [30]. Instead of sophis-ticated ordinal noise modeling [28], we can simply adaptto “one/two-sigma” constraint (i.e., ∆k ≥ 2σk) to toler-ate the noise, which also provides more than 68% or 95%confidence interval [53].1The inequality constraints (8) can be easily incorporated in the conven-tional unconstrained optimizer modules such as PyTorch and TensorFlowthrough trivial reparametrizations [23], e.g., σk := ∆k3 sigmoid(σk) and∆k := exp(∆k), where ∆k and σk are the unconstrained optimizationvariables, and sigmoid(x) = 1/(1 + exp(−x)). Furthermore, we fixσ1 = 1 to make the optimization numerically more stable.7670图3.我们提出的具有递归条件高斯（RCG）引导的解缠结序相关潜空间的有序UDA框架。在测试中仅使用Enc c s,t和Cls。0对于与类别无关的因素的先验，一个自然的选择是独立同分布的标准高斯N(0，I)。具体而言，我们可以设置p({u n s}Ns n =1) = ΠN s n =1 N(u n s; 0，I)和p({u n t}N t n =1) =ΠN t n =1 N(u n t; 0，I)，遵循vanilla VAEs[24]。至于类别相关的参考向量，一个可能的选择是遵循MLVAE [2]，使用完全分解的标准高斯分布p(c 1，...，c K) =ΠK k =1 N(c k;0，I)。值得注意的是，MLVAE对不同类别的独立同分布先验建模只有在标签值是分类的（即离散和独立的）情况下才有意义。此外，对于序数标签，我们期望编码近似序数类别。然而，独立同分布的高斯先验可能是次优的，因为它无法保持序数特征。为了更合理地建模序数内容先验，我们希望能够施加等式1中的三元排序约束。引入这个约束的一种可能方式是将其简单地作为正则化项。然而，这种启发式设计无法保证等式1中的不等式，并且在大型数据集上不可扩展。根据[10，23]，我们提出通过在序数类别相关的潜变量中引入部分有序集（poset）[48]来施加这个约束。对于每个维度d∈{1，...，D}，我们建议对潜向量中的第d个元素进行排序，即[c 1]d<[c 2]d<...<[c K]d，其中[c k]d是向量ck的第d个条目（即c k=[[c k]1，[c k]2，...，[ck]d]�）。这些向量在一个poset中对齐，并满足等式1中的序数类别相关潜距离约束。2维潜空间的情况如图1左所示。为了在先验中施加poset约束，我们采用了递归条件高斯（RCG）集[10，23]。该框架对K个向量施加了联合高斯分布，对于k∈{1，...，K}完全相关，并对于d∈{1，...，D}的维度完全分解，使得变分推断对于计算是可行的。可以有效地放置可以忽略的RCG密度以实现这个约束。The joint density for Eq. 4–7 has a closed-form. Basically,given that all of them are Gaussian, yet linear, we havethe joint density p(c1, c2, . . . , cK) as Gaussian. Therefore,we can formulate the mean and covariance of the full jointGaussian model as [48, 10, 23]:E[ck] = µ1 + ∆2 + · · · + ∆k (for k ≥ 2)(9)Cov(ci, cj) = σ21 + · · · + σ2min(i,j)(10)The joint distribution p(c1, c2, c3) For K = 3 is:N� µ1µ1 + ∆2µ1 + ∆2 + ∆3����:=a,σ21σ21σ21σ21σ21 + σ22σ21 + σ22σ21σ21 + σ22σ21 + σ22 + σ23����:=C�,(11)where a and C are the mean vector and covariance matrix ofthe joint Gaussian. Plugging this back in our original priormodel Eq. 2, we have:p(c1, . . . , cK) =D�d=1N([c]d; ad, Cd),(12)where [c]d :=�[c1]d, . . . , [cK]d�⊤ is the K-dim vector col-lecting d-th dim elements from ck. Also, ad and Cd, foreach d = 1, . . . , D, are defined by Eq. 9–11 with their ownfree parameters, denoted as:�µd1, {∆dk, σdk}Kk=1�[23]. Thecovariance Cd is not diagonal. However, the model is factor-ized over d = 1, . . . , D, the fact exploited in the next sectionis able to make the variational inference tractable.+76803.3. 变分推断0给定等级数据{ (xns,yn) }Ns n=1，{ (xnt,ˆyn) }Ntn=1，我们通过以下变分密度来近似后验，将其分解为等级类别相关和无关的潜变量。等级类别相关的后验进一步在等级类别级别y=1,...,K上进行因式分解。0qs{ck}Kk=1，{uns}Nsn=1=...0k=1 qcs,t(ck|Gk)0n=1 qus(uns|xns)，0qt{ck}Kk=1，{unt}Ntn=1=...0k=1 qcs,t(ck|Gk)0n=1 qut(unt|xnt)，0其中，qc s,t(ck|Gk)是qc s,t[...]的简写形式。0其中，Gk={{xns}Ns n=1，{xnt}Ntn=1}是具有等级类别标签y=k或ˆy=k的源域和目标域训练实例的集合。对于编码器，我们采用深度网络，输入样本并输出服从高斯分布的潜变量的均值和方差，遵循标准VAE[24]中的重参数化技巧。然而，由于Enccs,t需要一组样本{xns,t}n∈Gk作为输入，而不是单个样本...0算法1：我们的RCG诱导的UDA的适应过程。0初始化编码器、解码器和分类器的参数。重复以下步骤：0使用y/ˆy=k从{{xns}Ns n=1，{xnt}Nt0计算{cn}Ns n=1，{cn}Nt n=1，{unk}Ns n=1，{unk}Nt0使用Cls对{cn}Ns n=1，{cn}Nt0计算损失函数：LKLs,t，LKLs，LKLt，LWs,t。0使用公式15构建ck，其中{cn}Ns n=1，{cn}Nt0解码{˜xns}Ns n=1，{˜xnt}Nt n=1并计算L1s，L1t。0//根据梯度更新参数：Enc cs,t ← LWs,t + αLKLs,t +βL1s + βL1t + γLadvs + γLadvt；0Enc us ← L1s + λLKLs + θLadvs；Dec us ← L1s +0Enc ut ← L1t + λLKLt + θLadvt；Dec ut ← L1t +0Cls ← LWs,t；Dis s ← -Ladvs；Dis t ←0直到截止日期0与采用类似神经统计学家[9,20]的复杂组编码器不同，我们采用MLVAE[2,23]中采用的简单的专家乘积规则：0qc s,t(ck|Gk)∝0n∈Gk qc s,t(cn|xns,t)。(14)0由于每个qc s,t(cn|xns,t)都是高斯分布，所以在公式14中的乘积...0遵循高斯分布，可以证明证据下界(ELBO)可以表示为：0k=1 Eq[...]0n∈Gk Eq[...]0k=1 Eq[...]0n∈Gk Eq[...]0-0n=1 KL[...]0-0n=1 KL[...]0- KL[...]0k=1 qc s,t(ck|Gk) p(c1,...,cK)。(15)0其中，p(uns)和p(unt)分别服从标准正态分布N(0,I)，作为普通的VAE[24]；而p(c1,...,cK)是等级约束先验，由公式12给出。此外，前两项是跨领域重构，使用L1损失L1s = |xns -˜xns|，L1t = |xnt -˜xnt|对所有样本进行优化，而两个与类别无关的KL散度LKLs，LKLt遵循MLVAE[2]的两个领域版本，最后一项LKLs,t是由引入的等级先验RCG决定的。KLqcs,t([ck]d|Gk)�pd([c1]d, . . . , [cK]d) .12Tr(C−1d Sd) + (ad − md)⊤C−1d (ad − md) + log Cd,7690图4. DRUDA任务目标测试集上平均预测分布的分布。RCG先验（橙色）通常比高斯先验UDA（绿色）预测更集中在地面真实标签周围。最好以彩色查看。0可计算的序数潜变量KL项。尽管KL项中的所有分布都是高斯分布，但如果D和K都很大[48, 10, 23]，则p(c1, ...,cK)中的ck对k ∈ {1, ...,K}的完全依赖可能是不确定的。对于D∙K维输入分布，计算KL散度所需的(D∙K ×D∙K)协方差矩阵的Cholesky分解可能是困难的，如果D和/或K很大的话。然而，沿着潜在维度d = 1, ...,D，先验分布p(c1, ...,cK)被分解为等式12中的形式。因此，对于一个按维度分解的编码器模型，qcs,t(ck | Gk) = �Dd=1 qcs,t([ck]d |Gk)，这是VAE的一个典型设置，我们能够将复杂度从O((D∙K)3)降低到O(D∙K3)[48, 10,23]。方程式15中的最后一项可以表示为：0D �0�  K �0�0(16) 我们将� K k =1 q c s,t ([ c k ] d | G k )  表示为 N ( m d,  S d )，其中 S d根据定义是对角线的。方程式16中的每个求和项都是高斯分间的KL散度，可以写成：0�0| S d|0�0计算C d的逆和行列式是可计算的，因为K通常不是一个大的值[3]。03.4. 训练处理0目标域中的伪标签{ˆyn}Ntn=1是从可靠的序数级别预测[61]中迭代选择的。然后，使用伪标记的目标图像对模型进行改进。具体来说，我们从源域（y = k）和目标域（ˆy =k）中分别采样k类样本作为一组Gk。我们对序数分类器的预测和真实标签或伪标签应用传统的交叉熵分类损失LCEs,t或表现良好的Wasserstein损失LWs,t[30]。这通常起着最重要的作用，因为我们专注于有区分性的序数分类。我们明确地使潜在特征接近先验分布，就像VAEs一样。02.在PyTorch中使用inverse()和cholesky()函数，这些函数也允许自动微分。例如，对于DR标签系统，K = 5。0具体来说，我们最小化{cn}Nsn=1，{cn}Ntn=1和RCG之间的KL散度LKLs,t，以及{unk}Nsn=1或{unk}Ntn=1与高斯之间的KL散度LKLs或LKLs。跨域循环重构用于强制实现与类相关/不相关因素的解耦，以及c k在域之间的一致性。最小化L1损失（L1s或L1s）和对抗性损失（Ladvs = E [log Dis s (xn s) + log Dis s (˜xns)]或Ladvt = E [log Dis t (xn t) + log Dis t (˜xnt)]）以强制生成的图像与源域或目标域中的真实图像相似[60,3]。训练过程在算法1中详细说明。总体而言，我们的自训练解耦适应鼓励共享编码器Enccs,t提取有区分性和域不变的表示，这可以在目标域中进行序数分类。04. 实验0我们在真实世界的糖尿病视网膜病变（DR）和先天性心脏病（CHD）诊断任务上进行评估，并展示了其在面部年龄估计任务中的泛化能力。我们使用骨干网络的卷积层和第一个全连接层作为特征提取器，剩余的全连接层被采用作为分类器。解码器具有与编码器相反的结构。我们在使用PyTorch的V100 GPU上实现我们的方法，并为两个任务设置α，λ，θ =1，β，γ =0.5。在我们的实验中，对于这些超参数的相对较大范围，性能不敏感。我们使用+LWs,t表示使用Wasserstein损失[30]而不是交叉熵损失的解决方案，而−Ladvs,t表示去除对抗性损失。2σ或3σ表示RCG的“两个标准差法则”或“三个标准差法则”版本，分别。对于有监督的设置，我们使用带标签的源域预训练模型，并使用带标签的目标样本微调模型，作为LzyUCNN [52]。04.1. 糖尿病视网膜病变诊断0我们采用了两个公开可用的有序DR数据集进行DNN实现。Kaggle糖尿病视网膜病变（KDR）4被用作我们的源域，最近的04 https://www.kaggle.com/c/diabetic-retinopathy-detectionSource TargetNormalPatientL1L2L3L4L07700方法 准确率（%）↑ QWK↑ MAE↓0仅源域 48.6 ± 0.03 45.8 ± 0.02 0.61 ± 0.010CRST[61] 56.5 ± 0.01 53.2 ± 0.01 0.50 ± 0.02 TPN[50] 56.8 ±0.02 52.7 ± 0.01 0.52 ± 0.01 DMRL[59] 57.3 ± 0.01 53.0 ± 0.030.50 ± 0.02 DG-Net++[60] 57.0 ± 0.02 53.6 ± 0.02 0.51 ± 0.030CRST[61]+L W s,t[30] 58.8 ± 0.03 54.2 ± 0.01 0.47 ± 0.02DG-Net++[60]+L W s,t 59.3 ± 0.02 54.5 ± 0.02 0.48 ± 0.020RCGUDA:2 σ 61.8 ± 0.01 56.4 ± 0.01 0.41 ± 0.02 RCGUDA:3 σ61.6 ± 0.03 56.2 ± 0.02 0.43 ± 0.01 RCGUDA:2 σ - L adv s,t 61.5± 0.02 56.1 ± 0.02 0.42 ± 0.02 RCGUDA:2 σ + L W s,t 62.3 ±0.02 56.9 ± 0.01 0.40 ± 0.010有监督[52] 63.1 ± 0.02 58.7 ± 0.02 0.38 ± 0.010表1. DR UDA任务的实验结果。↑越大越好。0我们使用印度糖尿病视网膜病变图像数据集（IDRiD）数据集[51]作为我们的目标域。在这两个数据集中，糖尿病视网膜图像按照国际临床糖尿病视网膜病变分级进行分组，其中级别0到4分别代表无DR、轻度DR、中度DR、重度DR和增殖性DR。黄斑水肿严重程度根据黄斑中心区域附近硬性渗出物的出现进行标记。KDR包括来自17,563名患者的88,702张左右眼底（即眼睛背面的内表面）图像，大小从433×289到3888×2592不等。尽管规模很大，但没有标准的视野（FOV）和相机类型。IDRiD中的图像具有统一的大小（4288×2848）、FOV（50）并使用相同的KowaVX-10α相机。更重要的是，IDRiD是第一个具有与KDR相比具有显著差异的印度人数据集。在IDRiD的标准设置中，有413张图像用于训练，103张图像用于测试。我们将其413张训练图像设置为我们的无标签目标域，而103张测试图像仅用于UDA测试。我们将图像预处理并调整大小为896×896[52]。LzyUNCC[52]中的ResNet[19]模型被采用为我们的骨干网络。值得注意的是，LzyUNCC[52]使用了标记的KDR和标记的IDRiD进行监督训练，可以视为“上限”。DR任务的结果如表1所示。除了准确率和平均绝对误差（MAE）之外，我们还报告了二次加权kappa（QWK）[30,28]。对比了几种最近的UDA方法，例如基于自训练的CRST[61]，原型网络（TPN）[50]，解缠结对抗和自训练方法（DG-Net++）[60]，双重05 https://ieee-dataport.org/open-access/indian-diabetic-retinopath