Teppei SuzukiDenso IT Laboratory, Inc.suzuki.teppei@core.d-itlab.co.jpAClnichVHBShtBGP5ca2ujNqm9CF6CQekpzEpoSw8ilIvhZgYFVwJs+sfszjZXYnQV32BfoCHnpqoUjxGXoqVF/Ag48gHhW8ePDPZqG0voPM/PN/3zczdqDcSAtxPmQMPxp5/GT0aW5sfOJZvB8ci3yu6FDcdXfrhy4iU61FDu1rRhCS7NiK1u3d/39R6Fket7q3o/oK2O3PHclutIzVSzYFpjdhWXUosTXs6XiXptCksfvS3SRWTVjO2lLHlm6TlknSLJREWaRvA/MDJSQRdUvHMHCNnw46KIDgfNWEi4rYJEwIBc1uImQsZuek+IUGOtV3OIs6QzO7yuMOrzYz1eN2vGaVqh09R3ENWFjErzsR3cSVOxbG4ELf/rBWnNfpe9nm2B1oKmvlPU/WbB1UdnjXav1X/9azRwpvUq8veg5Tp38IZ6HsHh1f1t7XZeE58FZfs/4s4Fz/5Bl7v2vm2QrXPyPEHmH8/932wNl82X5UrK5XS4lL2FaOYxgxe8nu/xiKWUWDz3ED/zCiTFlLBjvjQ+DVGMo07zAH2FU7wAacZ58Teacher Model fˆ✓ACjHichVG7SgNBFD2u7/iK2g2weCjChMJKogCmIj+IoKRsLu5iYubnaX3UlQl/yAYG1hpSAilrZa2fgDFn6CWCrYWHizWRAV9Q4zc+bMPXfOzGiOaXhSiMc6pb6hsam5pTXS1t7R2RXt7ln37JKrU1q3Tdvd1FSPTMOitDSkSZuOS2pRM2lD252r7m+UyfUM21qT+w5tF9WCZeQNXZVMZaPDmaCG71KukpG0J/01S2QjC3aOTJjlXw2I3dIqtloXCRELGfIBmCOMJYsqMXyCAHGzpKIJgQTI2ocLjtoUkBzmtuEz5zIygn1CBRHWljiLOENldpfHAq+2QtbidbWmF6h1PsXk7rIyhkHxIC7Fi7gXV+JvP9ayw9qVL3s86zVtORkuw7Vt/+VRV5ltj5VP3pWSKPicCrwd6dgKneQq/pywfHL6uTK4P+kDgTz+z/VDyKO76BVX7Vz5dp5QR/oDk9+f+CdZHE8mxRGo5FZ+ZDb+iBf0YwAi/9zhmsIAlpPncI1zjBrdKp5JSpTpWqpSF2p68SWU+Q9alJnNTarget Model f✓109040TeachAugment: 使用教师知识进行数据增强优化0摘要0图像转换函数的优化是为了进行数据增强而进行了深入研究。特别是，对抗性数据增强策略通过搜索最大化任务损失的增强来显著提高模型的泛化性能。然而，现有的方法需要仔细调整参数，以避免过度强烈的变形，从而丧失了获取泛化性能所必需的图像特征。在本文中，我们提出了一种基于对抗策略的数据增强优化方法，称为TeachAugment，它可以通过利用教师模型生成对目标模型有信息价值的转换图像，而无需进行仔细调整。具体而言，搜索增强的目标是使增强后的图像对目标模型具有对抗性，对教师模型具有可识别性。我们还提出了使用神经网络进行数据增强的方法，这简化了搜索空间的设计，并允许使用梯度方法更新数据增强。我们在图像分类、语义分割和无监督表示学习任务的实验中展示了TeachAugment优于现有方法的性能。01. 引言0数据增强是提高模型泛化性能的重要技术。为了自动搜索用于模型泛化的高效增强策略，提出了AutoAugment[9]。搜索到的数据增强策略可以显著提高泛化性能。然而，AutoAugment需要数千个GPU小时来搜索高效的数据增强策略。最近的研究[17, 22,30]展示了使用AutoAugment大大降低搜索成本的方法，意味着计算成本不再是一个问题。特别是，在线数据增强优化框架[18, 28, 49,58]交替更新的方式可以实现搜索成本的显著降低。0代码：https://github.com/DensoITLab/TeachAugment0噪声0对抗性增强 TeachAugment0遮挡0困难的0原始图像0可识别的0图1.TeachAugment的概念。对抗性数据增强是一种基准方法，通过转换数据来增加目标模型fθ的损失。增强后的数据通常是无意义的（例如，遮挡和噪声图像）或者在没有任何约束的情况下很难识别。提出的方法TeachAugment通过转换数据使其对目标模型具有对抗性，但对教师模型fˆθ而言是可识别的。因此，增强后的图像将比对抗性数据增强更具信息量。0数据增强策略和目标网络不仅降低了计算成本，还通过统一搜索和训练过程简化了数据增强搜索流程。许多在线优化方法基于对抗策略，通过搜索最大化目标模型的任务损失来进行数据增强，经验证明可以提高模型的泛化性能[28, 37, 41,48,58]。然而，对抗性数据增强在没有任何约束的情况下是不稳定的，因为最大化损失可以通过使图像的内在含义坍缩来实现，如图1所示。为了避免坍缩，先前的方法基于先验知识对增强进行正则化和/或限制搜索空间中函数的幅度参数的搜索范围，但这会给从业人员带来许多调整参数的麻烦。为了缓解参数调整问题，我们提出了一种使用教师知识的在线数据增强优化方法，称为TeachAugment。TeachAugment109050也基于对抗性数据增强策略，但它在可以让教师模型识别的范围内搜索增强，如图1所示。与之前的对抗性数据增强方法不同，由于教师模型的存在，TeachAugment不需要先验知识和超参数来避免过强的增强，从而导致图像固有含义的崩溃。因此，TeachAugment不需要参数调整来确保转换后的图像是可识别的。此外，我们提出了使用表示两个函数的神经网络的数据增强，即几何增强和颜色增强。我们的增强模型仅对数据应用两个转换，但它们可以表示在AutoAugment的搜索空间中包含的大多数函数及其组合函数。与传统的增强函数相比，使用神经网络具有两个优点：（一）我们可以使用反向传播的梯度方法更新增强参数，（二）我们可以将搜索空间中的函数数量从数十个减少到两个。特别是由于后一个优点，从业者只需要考虑两个函数的幅度参数的范围，以便调整搜索空间的大小以获得更好的收敛性。贡献。我们的贡献总结如下：（1）我们提出了一种基于教师知识的对抗策略的在线数据增强优化框架，称为TeachAugment。TeachAugment通过利用教师模型避免了过强增强而不需要仔细的参数调整，使对抗性增强更具信息性。（2）我们还提出了使用神经网络的数据增强。所提出的增强简化了搜索空间设计，并使其参数能够通过TeachAugment中的梯度方法进行更新。（3）我们展示了TeachAugment在分类、语义分割和无监督表示学习任务中优于先前的方法，包括在线数据增强和最先进的增强策略，而无需调整每个任务的超参数和搜索空间的大小。02. 相关工作0作为图像数据的传统数据增强，几何和颜色变换在深度学习中被广泛使用。此外，最近还开发了先进的数据增强方法，并且它们在图像识别任务上提高了准确性。数据增强不仅可以提高图像识别准确性，还在最近的无监督表示学习和半监督学习中起着重要作用。虽然数据增强通常0改进模型泛化性能，有时会损害性能或引入意外偏差。因此，需要根据领域知识手动找到有效的数据增强策略来增强模型泛化性能。Cubuk等人提出了一种自动搜索有效数据增强的方法，称为AutoAugment。AutoAugment优于手动设计的增强策略，并在各种基准测试中展示出最先进的性能。数据增强搜索已成为研究趋势，并提出了许多方法。我们大致将它们分为两种类型：基于代理任务的方法和无代理任务的方法。基于代理任务的方法在代理任务上搜索数据增强策略，代理任务使用训练数据的子集和/或小型模型以减少计算成本。因此，使用基于代理任务的方法进行策略搜索可能是次优的。无代理任务的方法直接在目标网络上使用所有训练数据搜索数据增强策略。因此，使用该方法获得的策略可能是最优的。在无代理任务的方法中，有几种方法，如RandAugment和TrivialAugment，随机化搜索的参数并减小搜索空间的大小。其他方法，如AdversarialAutoAugment和PointAugment，以在线方式更新增强策略，即交替更新目标网络和增强策略。在线优化方法通过统一搜索和训练过程简化了数据增强优化框架。然而，这些方法存在一些小问题。例如，PointAugment不公正地绑定了增强图像的难度，AdversarialAutoAugment手动限制搜索空间以保证收敛性，OnlineAugment有许多用于正则化的超参数。这些问题源于依赖于搜索增强最大化任务损失的对抗策略。换句话说，这些问题是为了确保转换后的图像是可识别的。在这项工作中，我们关注无代理任务的方法，以在线方式更新策略，有两个原因：（一）它们可以直接在目标网络上使用所有训练数据搜索数据增强策略，（二）它们统一了搜索和训练过程，简化了框架。03. 使用教师知识进行数据增强优化03.1. 准备工作0让 x � X 和 a ϕ 分别表示从数据集 X 中采样的图像和由 ϕ参数化的增强函数。在传统的数据增强中，ϕ 对应于ACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndxlpcd5fdVTLpD9S16NCpICL6GV36Ax38A0F0NOjSod1IUqd5iZ55n3emZEMVbFsxjoeYWh4ZHTMO+6b8E9OBYLTM3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvq7Rea3LQUXduxWwYv18V9TakqsmgTlT6sBCMsxpwID4K4CyJwI6UHb7GLPeiQ0UAdHBpswipEWNRKiIPBIK6MNnEmIcXZ5ziGj7QNyuKUIRJbo3GfViWX1Wjdq2k5aplOUambpAwjyp7YHeuyR3bPXtjHr7XaTo2elxbNUl/LjUrgZC7/q+qTrONgy/Vn5tVLHueFXIu+EwvVvIfX3z6Kb3chE20vsmr2S/yvWYQ90A635Jt+keYSPvqA+M/nHgT5lVh8NZIJyLJTfcrvJjHIpbpvdeQxDZSyNG5HKc4w7nWfALIWG2nyp4XE0I30JY+AT5OoBxACanichVG7SgNBFD1ZXzG+ojaKjRgjVmFWRMUqaGPpKw/QEHbX0SzZF7uToC75ATsrwVQKIuJn2PgDFn6CaKdgY+HdzYJoUO8wM2fO3HPnzIzqGLonGHuMSR2dXd098d5EX/A4FByeCTv2TVX4znNmy3qCoeN3SL54QuDF50XK6YqsELanU12C/UuevptrUtjhxeMpUDS9/XNUQVditKMI/bJSTKZhYUy2AzkCKUSxbievsYs92NBQgwkOC4KwAQUetR3IYHCIK8EnziWkh/scDSRIW6MsThkKsVUaD2i1E7EWrYOaXqjW6BSDukvKSaTZA7thr+ye3bIn9vFrLT+sEXg5oltablTHjoZ23r/V2XSLFD5Uv3pWAfS6FXnbw7IRPcQmvp68dnr1vLm2l/hl2yZ/J/wR7ZHd3Aqr9pVxt8s4kEfYD87nbQX4uIy9k5jfmU9mV6CvimMAUZum9F5HFGtaRC92d4hzN2Is0Io1LE61UKRZpRvEtpOlPBH+Mzg=ˆxACZHichVFNSwJBGH7cvswsLQmCICQxOskYUtFJ6tLRj/wAE9ndxlpcd5fdVTLpD9S16NCpICL6GV36Ax38A0F0NOjSod1IUqd5iZ55n3emZEMVbFsxjoeYWh4ZHTMO+6b8E9OBYLTM3lLb5gyz8m6qptFSbS4qmg8Zyu2youGycW6pPKCVNvq7Rea3LQUXduxWwYv18V9TakqsmgTlT6sBCMsxpwID4K4CyJwI6UHb7GLPeiQ0UAdHBpswipEWNRKiIPBIK6MNnEmIcXZ5ziGj7QNyuKUIRJbo3GfViWX1Wjdq2k5aplOUambpAwjyp7YHeuyR3bPXtjHr7XaTo2elxbNUl/LjUrgZC7/q+qTrONgy/Vn5tVLHueFXIu+EwvVvIfX3z6Kb3chE20vsmr2S/yvWYQ90A635Jt+keYSPvqA+M/nHgT5lVh8NZIJyLJTfcrvJjHIpbpvdeQxDZSyNG5HKc4w7nWfALIWG2nyp4XE0I30JY+AT5OoBxACanichVG7SgNBFD1ZXzG+ojaKjRgjVmFWRMUqaGPpKw/QEHbX0SzZF7uToC75ATsrwVQKIuJn2PgDFn6CaKdgY+HdzYJoUO8wM2fO3HPnzIzqGLonGHuMSR2dXd098d5EX/A4FByeCTv2TVX4znNmy3qCoeN3SL54QuDF50XK6YqsELanU12C/UuevptrUtjhxeMpUDS9/XNUQVditKMI/bJSTKZhYUy2AzkCKUSxbievsYs92NBQgwkOC4KwAQUetR3IYHCIK8EnziWkh/scDSRIW6MsThkKsVUaD2i1E7EWrYOaXqjW6BSDukvKSaTZA7thr+ye3bIn9vFrLT+sEXg5oltablTHjoZ23r/V2XSLFD5Uv3pWAfS6FXnbw7IRPcQmvp68dnr1vLm2l/hl2yZ/J/wR7ZHd3Aqr9pVxt8s4kEfYD87nbQX4uIy9k5jfmU9mV6CvimMAUZum9F5HFGtaRC92d4hzN2Is0Io1LE61UKRZpRvEtpOlPBH+Mzg=ˆxAChXichVG7SgNBFD1ZXzG+ojaCTBEYmGYSIhiY9DGwsJXomAk7K4TM7gvdidBDbYW/oCFlYKIaKs/YOMPWPgJYqlgY+HNZkFU1DvMzJkz9w5M6M5hvAkY48hpaW1rb0j3Bnp6u7p7Yv2DxQ8u+rqPK/bhu2ua6rHDWHxvBTS4OuOy1VTM/iatjPX2F+rcdcTtrUq9xy+arbligLXZVElaKxoimsUlFWuFRjC8lyAJPFiruwdjY6VonKWYH7GfIB2AOIJYtKMXKGILNnRUYLDgiRsQIVHbQNpMDjEbaJOnEtI+PscB4iQtkpZnDJUYndo3KbVRsBatG7U9Hy1TqcY1F1SxpBgD+ySvbB7dsWe2Puvtep+jYaXPZq1pY7pb6joZW3f1UmzRKVT9WfniXKmPK9CvLu+EzjFnpTX9s/flmZXk7UR9kZeyb/p+yR3dENrNqrfr7El08QoQ9If3/un6AwkUpnU5mlTDw3G3xFGMYQZLexI5zGMReTr3ENe4wa3SoYwrGSXbTFVCgWYQX0KZ+QAuJWwmin✓L(f✓(ˆx))AChXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQsoxOQmVsTHFGRkKvhopMXHlGSkliRqJIJFNCo0NTXjBZQN9AzAQAGTYQhlKDNAQUC+wHKGIYUhnyGZIZShlyGVIY8hIgO4chkaEYCKMZDBkMGAqAYrEM1UCxIiArEyfylDLwAXUWwpUlQpUkQgUzQaS6UBeNFQ0D8gHmVkM1p0MtCUHiIuAOhUYVA2uGqw0+GxwmC1wUuDPzjNqgabAXJLJZBOguhNLYjn75I/k5QVy6QLmHIQOjC6+YShjQGC7BbM4FuLwCLgHyRDNFfVjX9c7BVkGq1msEig9dA9y80uGlwGOiDvLIvyUsDU4NmM3ABI8AQPbgxGWFGeoZmeiaBJsoOTtCo4GCQZlBi0ACGtzmDA4MHQwBDKNDeNoY1DFsZtjGxM+kymTCZQZQyMUL1CDOgACZ7AL4TlPo=max�L(f✓(a�(x)))ACjXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQtoxORm5sXHFGRkKvhopMVXx2QklTHlGSkliTW1mokgmU0KjQ1NeMFlA30DMBAZNhCGUoM0BQL7AcoYhSGfIZkhlKGXIZUhjyGEiA7hyGRoRgIoxkMGQwYCoBisQzVQLEiICsTLJ/KUMvABdRbClSVClSRCBTNBpLpQF40VDQPyAeZWQzWnQy0JQeIi4A6FRhUDa4arDT4bHDCYLXBS4M/OM2qBpsBckslkE6C6E0tiOfvkgj+TlBXLpAuYchA6MLr5hKGNAYLsFszgW4vAIuAfJEM0V9WNf1zsFWQarWawSKD10D3LzS4aXAY6IO8si/JSwNTg2YzcAEjwBA9uDEZYUZ6hmZ6JoEmyg5O0KjgYJBmUGLQAIa3OYMDgwdDAEMo0N4+hi0Mexn2MfEzmTLZMNlBlDIxQvUIM6AJncAbLyY0Q=min� L(fˆ✓(a�(x)))ACaXichVHLSgMxFD0d3/XRVjeiG7EorkpGioqrohuXvloFlTIzxjZ2XsykhVr8AVfuRF0piIif4cYfcOEnSJcV3LjwznRAVNQbkpyc3HNzkuiuKXzJ2HNM6ejs6u7p7Yv3DwOJZKp4YLvVD2D5w3HdLxtXfO5KWyel0KafNv1uGbpJt/SK8vB/laNe75w7E1Zd/mepZVscSAMTRJV0Iq7blkUk2mWYWFM/ARqBNKIYtVJ3mIX+3BgoAoLHDYkYRMafGo7UMHgEreHBnEeIRHucxwjTtoqZXHK0Iit0Fi1U7E2rQOavqh2qBTOoeKScwxZ7YHWuxR3bPXtj7r7UaY3AS51mva3lbjFxMrx9q/Kolmi/Kn607PEARZCr4K8uyET3MJo62tHZ62NxfWpxjS7Zk3yf8We2QPdwK69GjdrfP0ScfoA9ftz/wSF2Yw6l8muZdO5pegrejGOSczQe8jhxWsIk/nHuIU57iINZWUMqMtVOVWKQZwZdQ0h+ENowY�ACaXichVHLSgMxFD0d3/XRVjeiG7EorkpGioqrohuXvloFlTIzxjZ2XsykhVr8AVfuRF0piIif4cYfcOEnSJcV3LjwznRAVNQbkpyc3HNzkuiuKXzJ2HNM6ejs6u7p7Yv3DwOJZKp4YLvVD2D5w3HdLxtXfO5KWyel0KafNv1uGbpJt/SK8vB/laNe75w7E1Zd/mepZVscSAMTRJV0Iq7blkUk2mWYWFM/ARqBNKIYtVJ3mIX+3BgoAoLHDYkYRMafGo7UMHgEreHBnEeIRHucxwjTtoqZXHK0Iit0Fi1U7E2rQOavqh2qBTOoeKScwxZ7YHWuxR3bPXtj7r7UaY3AS51mva3lbjFxMrx9q/Kolmi/Kn607PEARZCr4K8uyET3MJo62tHZ62NxfWpxjS7Zk3yf8We2QPdwK69GjdrfP0ScfoA9ftz/wSF2Yw6l8muZdO5pegrejGOSczQe8jhxWsIk/nHuIU57iINZWUMqMtVOVWKQZwZdQ0h+ENowY�ACa3ichVG7SgNBFD1ZXzG+omlELYIhYhVmRVSsgjaWSTQPUAm768Qs2Re7k0AM/oCljUVsFETEz7DxByz8BGrCDYW3mwWREW9y+ycOXPnTN3VMfQPcHY0jq6x8YHAoPR0ZGx8YnopNTBc+uxrPa7ZhuyV8bihWzwvdGHwkuNyxVQNXlRrm939YoO7nm5bO6Lp8H1TObT0iq4pgqhSpbwnqlwo5WiCpZgf8Z9ADkACQWTs6DX2cAbGuowWFBEDagwKNvFzIYHOL20SLOJaT7+xzHiJC2TlmcMhRia/Q/pNVuwFq07tb0fLVGpxg0XFLGkWQP7IZ12D27ZU/s/daLb9G10uTZrWn5U54mR6+1flUmzQPVT9adngQrWfK86eXd8pnsLradvHJ1tdzydYCu2TP5P+CPbI7uoHVeNWusjzXRoQeQP7e7p+gsJSV1L2eVEeiN4ijBmMY9F6vcq0thCBnm/z6do4z0IsWkGWmulyqFAk0MX0JKfgCIg40Gf✓ACdXichVHLSgMxFD0d3/U16kYQoVgrmoqouJKdOPSVx/QljIzpu3gvJhJCzr0B/wBF7pRUBE/w40/4MJPEJcVunHh7XRAtKg3JDk5uefmJFEdQ/cEYy8Rqae3r39gcCg6PDI6Ni5PTGY8u+ZqPK3Zhu3mVMXjhm7xtNCFwXOyxVTNXhWPd5u72fr3PV02zoUJw4vmkrF0su6pgiSrJcLvmFqiL8gqhyoTQaJTnOkiyIWDdIhSCOMHZt+Q4FHMGhpMcFgQhA0o8KjlkQKDQ1wRPnEuIT3Y52gStoaZXHKUIg9prFCq3zIWrRu1/QCtUanGNRdUsaQYM/snjXZE3tgr+zj1p+UKPt5YRmtaPlTmn8bPqg9a/KpFmg+qX607NAGeuBV528OwHTvoXW0dPz5sHG/sJf4Fdszfyf8Ve2CPdwKq/azd7fP8CUfqA1M/n7gaZ5WRqNbmytxLf3Aq/YhAzmMivfcaNrGDXaTp3DoucYPbSEualealhU6qFAk1U/gW0tInc9CREA=fˆ✓ACa3ichVG7SgNBFD1ZXzG+omlELYIhYhVmRVSsgjaWSTQPUAm768Qs2Re7k0AM/oCljUVsFETEz7DxByz8BGrCDYW3mwWREW9y+ycOXPnTN3VMfQPcHY0jq6x8YHAoPR0ZGx8YnopNTBc+uxrPa7ZhuyV8bihWzwvdGHwkuNyxVQNXlRrm939YoO7nm5bO6Lp8H1TObT0iq4pgqhSpbwnqlwo5WiCpZgf8Z9ADkACQWTs6DX2cAbGuowWFBEDagwKNvFzIYHOL20SLOJaT7+xzHiJC2TlmcMhRia/Q/pNVuwFq07tb0fLVGpxg0XFLGkWQP7IZ12D27ZU/s/daLb9G10uTZrWn5U54mR6+1flUmzQPVT9adngQrWfK86eXd8pnsLradvHJ1tdzydYCu2TP5P+CPbI7uoHVeNWusjzXRoQeQP7e7p+gsJSV1L2eVEeiN4ijBmMY9F6vcq0thCBnm/z6do4z0IsWkGWmulyqFAk0MX0JKfgCIg40G✓maxϕminθEx∼X L(fθ(aϕ(x))) − L(fˆθ(aϕ(x))) .(1)109060固定0固定0最小化0最小化0最大化0已更新0已更新0步骤1. 更新目标模型0步骤2. 更新增强模型0增强0增强0目标模型0目标模型0教师模型0图2. TeachAugment 的训练过程概述。我们的方法交替更新目标模型 f θ 和增强模型 a ϕ（即重复步骤1和步骤2）。0在数据增强的情况下，它通常与增强的幅度相对应，而在这项工作中，它对应于神经网络的参数。在使用数据增强的一般训练过程中，小批量样本通过 a ϕ进行变换，并输入到目标网络 f θ 中（即 f θ ( a ϕ ( x ))）。然后，目标网络的参数被更新以最小化随机梯度下降中的任务损失 L 。这个训练过程表示为 min θ E x �X L ( f θ (a ϕ ( x ))。请注意，我们省略了目标标签，因为我们在这项工作中考虑的不仅是监督学习，还包括无监督表示学习。此外，对抗性数据增强搜索参数 ϕ 最大化损失。目标被定义为 max ϕmin θ E x �X L ( f θ ( a ϕ ( x ))。这个目标有时通过交替更新 ϕ 和 θ来解决。已经实验证明，对抗性数据增强可以提高模型的泛化性能。然而，如果没有一些正则化或对搜索空间大小的限制，它将无法工作，因为最大化 ϕ 可以通过折叠 x的内在含义来实现。因此，我们使用教师模型来避免这种折叠，而不是基于先验知识的正则化。03.2. TeachAugment0让 f ˆ θ 成为教师模型，只要它与目标模型 f θ不同即可。在这项工作中，我们提出了两种类型的教师模型，即预训练教师和EMA教师，其权重是目标模型权重的指数移动平均值。我们在第5.2节中提供了详细的定义，并评估了教师模型选择的影响。0在我们的大多数实验中，我们将教师模型定义为与目标模型相同但具有不同参数的模型。因此，尽管可能有点复杂，但教师模型和目标模型使用相同的符号f。0提出的目标定义如下：0对于目标模型，这个目标与对抗性数据增强具有相同的特性，但是增强函数需要最小化教师模型的损失，除了最大化目标模型的损失。通过这种方式获得的增强避免了图像固有含义的坍塌，因为当转换后的图像无法识别时，教师模型的损失会爆炸。换句话说，引入的教师损失要求增强函数将图像转换为在教师模型可识别的范围内对目标模型具有对抗性的图像。如图2所示，该目标通过在随机梯度下降中交替更新增强函数和目标模型来解决，类似于以前的方法[18，28，58]。我们首先对目标网络进行n个内部步骤的更新，然后更新增强函数。伪代码可以在附录中找到。请注意，增强函数是通过梯度方法更新的，因为我们提出的使用神经网络的增强方法在ϕ方面是可微分的。我们将根据等式1引入的增强策略称为TeachAugment。与以前的方法[28，49]不同，TeachAugment不会基于领域知识（如循环一致性和平滑性[49]）对增强函数进行规范化。它也不像[28]中那样将转换图像的难度绑定在一起，以确保转换后的图像是可识别的。03.3. 改进技术0TeachAugment的训练过程与生成对抗网络（GANs）[14]类似Lcolor({xb}Bb , {˜xb}Bb ) =�iSWD({xbi}Bb , {˜xbi}Bb ),(2)∂∂ϕ1BB�b�L(fθ(aϕ(xb))) − L(f˜θ(aϕ(xb)))�−λLcolor({xb}Bb , {˜xb}Bb ),(3)˜xi = t(αi ⊙ xi + βi), (αi, βi) = cϕc(xi, z, c),(4)109070以及强化学习中的演员-评论家方法[26，47]，它们交替更新两个网络。这两个领域的从业者已经积累了大量的策略来减轻不稳定性并改善训练[42]。TeachAugment还受益于这两个领域中使用的三种技术，即经验回放，非饱和损失和标签平滑。此外，我们引入了颜色正则化来减轻数据增强前后图像的颜色分布不一致性。这里介绍的技术也适用于其他在线方法[28，49，58]。非饱和损失。对于分类任务，损失函数L通常定义为交叉熵损失，L ( f θ ( a ϕ ( x )) = � K k =1 −y k log f θ ( a ϕ ( x )) k ，其中y ∈ { 0 , 1 }K和K分别表示one-hot的真实标签和类别数。在这种情况下，当目标模型的预测非常自信时，Eq.(1)中第一项的梯度在最大化问题中相对于ϕ饱和。因此，我们在更新增强模型时使用� K k =1 y k log(1 − f θ ( a ϕ ( x)) k )而不是� K k =1 − y k log f θ ( a ϕ ( x )) k。这种技术已经在GANs中使用[14]。非饱和损失是TeachAugment的关键因素；它将WideResNet-28-10[56]在CIFAR-100[27]上的错误率从18.7%降低到17.4%（基线错误率为18.4%）。因此，在我们的实验中，我们基本上使用非饱和损失来更新增强模型。经验回放。在强化学习中，经验回放[32，38]存储演员过去选择的动作，并重复使用它们来更新评论家。我们通过以类似于优先经验回放[44]的方式存储增强模型并对其进行优先排序来将此技术应用于我们的方法。然后，使用从缓冲区中随机采样的增强模型来更新目标网络，按照它们的优先级进行排序。设pi为第i个存储的增强模型的优先级。我们将优先级计算为pi = γS −i，其中S表示缓冲区中存储的增强模型的数量，γ表示衰减率，对于训练计划较长（大于1000个epoch）的模型，我们将γ设置为0.99，否则设置为0.9。在我们的实验中，我们每nbuffer个epoch存储一次增强模型。对于CIFAR-10，CIFAR-100和语义分割的图像分类任务，nbuffer设置为10，对于其他任务和数据集，设置为1。标签平滑。标签平滑是一种将one-hot标签替换为ˆ y k = (1 −ϵ ) y k + ϵ/K的技术，其中ϵ ∈ [0 ,1)是一个平滑参数。对于我们的方法，标签平滑可以防止在非饱和损失下，当目标模型的预测非常自信时梯度爆炸。特别是对于简单任务或强目标模型，这种情况往往会发生。为了减轻梯度爆炸，我们使用了平滑的标签。0在更新增强模型时，对于公式（1）中的第一项，我们使用真实标签。需要注意的是，为了公平比较，我们在更新目标模型时没有应用该项。颜色正则化。实际上，颜色增强模型往往会将像素颜色转换为训练数据颜色分布之外的颜色。因此，增强后的图像将成为超出分布范围的数据，这可能会影响对于分布内样本的识别准确性。为了使增强前后的颜色分布对齐，我们通过引入切片Wasserstein距离（SWD）[3]来对颜色增强模型进行正则化，该距离是Wasserstein距离的一种变体，表示两个分布之间的距离。我们将颜色正则化项定义如下：0其中 { x b i } B b 表示一个小批量图像中的第 i个像素的集合，批量大小为 B，{ ˜ x b } B b表示在公式（4）中定义的颜色增强图像。由于在每个像素位置上计算SWD的成本与图像分辨率呈线性关系，因此我们可以在处理语义分割中的高分辨率图像时使用低计算资源计算SWD。然后，在随机梯度下降中，每次迭代中相对于 ϕ的梯度表示如下：0其中 λ是一个超参数，控制正则化效果的影响，在我们的实验中设置为10。04. 使用神经网络进行数据增强0我们提出了使用由 ϕ参数化的神经网络进行数据增强，其中包括颜色增强模型 cϕ c 和几何增强模型 g ϕ g。因此，a ϕ 被定义为 c ϕ c 和 gϕ g 的复合函数，a ϕ = g ϕ g ◦ c ϕ c，参数 ϕ 是 ϕ c 和 ϕg 的集合，ϕ = { ϕ c，ϕ g}。我们的增强模型可以通过梯度方法更新其参数，并且只使用两个函数构建搜索空间。增强过程如图3所示。给定图像x ∈ R M × 3，其中 M 表示像素数，3 对应于 RGB颜色通道，颜色增强以概率 p c ∈ (0，1)应用，然后几何增强以概率 p g ∈ (0，1)应用。颜色增强定义如下：ACZnichVHLSsNAFD2Nr1q1rYouCmWiqsykaLiqujGZR/2AbWUJI41NE1CkhZq8QcEt3bhSkFE/Aw3/oCL/oHisoIbF96mAdGi3mFmzpy586ZGdnUVNthrOsTRkbHxif8k4Gp6ZlgKDw7l7eNhqXwnGJohlWUJZtrqs5zjupovGhaXKrLGi/Itd3+fqHJLVs19H2nZfJyXarq6pGqSA5RWbOiVMJRFmduRIaB6IEovEgZ4Vsc4BAGFDRQB4cOh7AGCTa1EkQwmMSV0SbOIqS6+xynCJC2QVmcMiRiazRWaVXyWJ3W/Zq2q1boFI26RcoIYuyJ3bEe2T37IV9/Fqr7dboe2nRLA+03KyEzpay7/+q6j
我的内容管理
收起
我的收益 登录查看自己的收益
我的积分
登录查看自己的积分
我的C币
登录后查看C币余额
我的收藏 
我的下载 
下载帮助 
