541→→基于多源文本情感域适应的Curriculum CycleGAN赵思成加州大学伯克利schzhao@gmail.com美国岳翔宇加州大学伯克利xyyue@berkeley.edu美国杨晓17822018007@163.com南开大学中国yangjufeng@nankai.edu.cn南开大学中国JiangGuo10%）。这表明数据集的数据表示类型与域差距有多大密切相关WWW赵，等548表4：与多语言Amazon Reviews语料库数据集上最先进的DA方法的比较标准模型德国英语书DVD音乐Avg书DVD音乐Avg只有源单最佳63.664.764.964.465.362.563.363.7合源61.564.663.663.263.765.060.163.0多源DAC-CycleGAN（我们的）78.378.479.178.678.077.879.078.3OracleTextCNN83.2 89.0 88.2 86.8 85.2 85.5 81.183.9标准模型法国日本书DVD音乐Avg书DVD音乐Avg只有源单最佳65.364.364.264.663.563.564.864.0合源63.663.063.463.363.762.764.063.4多源DAC-CycleGAN（我们的）78.677.676.977.775.274.976.876.2OracleTextCNN88.377.684.183.360.461.869.469.4表5：在Reviews-5数据集上对拟议C-CycleGAN框架的不同组件进行的消融研究模型相机笔记本餐厅电影1电影2AvgCycleGAN[94]68.775.471.682.586.777.0[94]第83话：我的世界70.875.271.279.986.276.7[77]第77话：我的世界71.575.470.881.186.177.0C-CycleGAN（基于模型）72.875.773.581.787.378.2C-CycleGAN（无模型）73.876.076.082.087.579.1(2) 几种多源适应方法（例如， MoE [26]）的性能甚至优于Oracle。这是因为域间隙相对较小，并且多源适配利用了来自多个域的更多信息，而Oracle只能访问来自目标的样本这进一步表明了来自不同来源领域的多样化数据的重要性(3) C-CycleGAN在所有方法中具有最好的性能（85.1%），分类 准 确 率 分 别 比 MoE 和 Oracle 与 其 他 方 法 相比（ 例 如 ，MDAN），其性能在数据集（Reviews-5和Amazon Benchmark数据集）之间显著波动，所提出的C-CycleGAN可以在数据集之间提供一致的卓越性能。4.4多语言迁移实验我们还进行实验的多语言亚马逊评论语料库。对于每种语言的每个类别域（书籍，DVD，音乐），我们执行适应它与其他语言的相同类别域的数据集作为源。表4显示了不同自适应方法的性能。我们可以观察到：(1) 所提出的C-CycleGAN在所有语言和所有类别域上实现了所有DA方法(2) 在大多数情况下，Oracle提供了最佳性能;然而，在一些设置中，C-CycleGAN可以实现与Oracle相似甚至更好的结果（例如， 77.6%和77.6%的法语DVD; 76.8%和69.4%的日语音乐）。这进一步表明，我们的框架不仅适用于不同类型的数据表示，而且适用于不同的语言。4.5消融研究我们对Reviews-5数据集进行了一系列消融研究，以证明C-CycleGAN对现有最先进方法的改进。结果如表5所示，其中所有CycleGAN都以源组合的方式执行。首先，我们研究是否有必要在应用CycleGAN之前对齐表示。“MDAN + CycleGAN” inTable 比较表5中的前两行，我们可以看到在CycleGAN之前应用MDAN会获得更差的性能，这表明在CycleGAN之前没有必要执行额外的对齐这可能是与情感相关的目标领域其次，我们研究了所提出的基于模型和无模型加权方法的有效性。从最后三行中，我们可以看到，与CMSS [77]相比，提出的基于模型和无模型加权方案分别将准确度提高了1.2%和2.1%。 由于CMSS以原始源样本作为输入计算权重，不能反映源样本权重的动态变化。基于模型的建议基于多源文本WWW549表6：C-CycleGAN中循环一致性对Reviews-5数据集影响的消融研究模型相机笔记本餐厅电影1电影2AvgC-CycleGAN w/o循环一致性72.273.172.080.385.176.5C-CycleGAN具有周期一致性73.876.076.082.087.579.1图4：Reviews-5数据集上C-CycleGAN不同训练阶段的特征空间可视化目标样本为红色，而源样本为其他颜色。点大小表示每个源样本与目标域的相似性，该相似性从域的输出中获得。为了更好的可视化，较小的点表示更接近目标域的样本。加权机制基于所生成的中间域，该中间域本身动态地改变。基于模型的方法需要额外的网络来计算与目标域的相似度，这不仅增加了计算成本，而且需要更长的时间来学习源和目标之间的区分模式，在此之前CycleGAN可能会学习错误的模式。最后，我们评估了C-CycleGAN模型中周期一致性的影响。与[94]一样，我们发现没有循环一致性的标准对抗过程通常会导致模式崩溃问题，其中所有输入表示都映射到相同的输出表示，并且优化无法取得进展。Reviews-5数据集上C-CycleGAN中存在和不存在循环一致性之间的比较如表6所示。结果比较（79.1 vs. 76.5）清楚地表明周期一致性的有效性和必要性4.6可视化在本节中，我们将在C-CycleGAN的不同训练阶段可视化源样本和目标样本的特征。通过使用PCA来降低样本的维度，我们将Reviews-5 [79]中五个领域的样本投影到不同训练阶段的二维平面上 可视化结果如图4所示。我们可以得出结论，在训练过程中，所有源域都更接近目标域。同时，我们可以看到，远离目标域的样本可以很好地区分，并被分配较小的权重（较大的点）。图4（a）和（f）相应地可视化了适应之前和之后 我们可以看到Movie1和Movie2中的样本是最接近的，因为它们都是关于电影中的评论。电影1在适应后也与相机和笔记本电脑更接近，这是可取的，因为这些领域涉及对图像质量或电子设备升级的共同审查。例如，照相机域可能具有诸如“图片清晰且易于携带”的评论。爱索尼”; 而在电影1：“过渡顺利，图像质量是干净的”，并在笔记本电脑：“4K显示器是如此尖锐，超薄的书是如此轻的一个包”。如果没有先验信息，我们很难区分这些评论属于哪个领域。WWW赵，等550笔记本电脑（源）→摄像头（目标）正相机负相机积极的笔记本电脑餐厅（源）→摄像机（目标）正相机负相机积极餐厅负离子餐厅餐厅（源）→电影1（目标）积极的电影1负面电影1积极餐厅负离子餐厅Movie2（源）→Laptop（目标）积极的笔记本电脑负极笔记本电脑积极的电影2负面电影2笔记本电脑（源）→摄像头（目标）正相机负相机积极的笔记本电脑Movie2（源）→Laptop（目标）积极的笔记本电脑负极笔记本电脑积极的电影2负面电影2餐厅（源）→摄像机（目标）正相机负相机积极餐厅负离子餐厅餐厅（源）→电影1（目标）积极的电影1负面电影1积极餐厅负离子餐厅(a) 适应前(b) 改编后图5：在Reviews-5数据集上调整前后的t-SNE可视化特征。红色表示源要素，蓝色表示目标要素。我们进一步绘制了在四个自适应设置上使用t-SNE [ 43 ]学习的特征，结果如图5所示。顶行表示自适应之前的特征嵌入，而底行表示C-CycleGAN自适应之后的特征嵌
我的内容管理
展开
