![](https://csdnimg.cn/release/download_crawler_static/88424216/bg4.jpg)
基于Light CNN的最后两层的激活[19]。在从单个视图生成多视图图像[22]
中,条件图像(例如,前视图)被用于将所生成的多个视图约束在它们
的从粗到细的框架中。然而,在他们的结果中没有明确地保留面部身
份,因此许多生成的面部看起来模糊,尽管作为来自单个图像的多个视
图的第一生成结果,相关结果已经看起来相当令人印象深刻。
虽然我们的条件CycleGAN是一个图像到图像的翻译框架,[13]
使用它们各自的训练编码器将输入图像分解为潜在表示
z
和条件信
息
y
通过将
y
变为
y
’
,生成器网络然后将相同的
z
和新的
y
’
组合以生成
满足在
y
’
中编码的新约束的图像。我们的灵感来自于它们的最佳条
件定位,也就是说,
y
’
应该在所有卷积层之间连接起来此外,对于
SISR,
z
应该表示(无约束)高分辨率图像的嵌入,其中生成器可
以与身份特征
y
组合以生成超分辨结果。在[11]中,作者提出学习
一对输入源和参考之间的密集对应关系,以便视觉属性可以在它
们之间交换或转移在我们的身份引导条件CycleGAN中,输入参考
被编码为条件身份特征,使得输入源可以被转换为目标身份,即
使它们没有感知相似的结构。
3
条件CycleGAN
3.1
CycleGAN
生成对抗网络[4](GAN)由两个神经网络组成,一个生成器
G
X
→
Y
和
一个鉴别器
D
Y
,它们以两人极小极大游戏的方式迭代训练。对抗损
失
L
(
GX
→
Y
,
D
Y
)定义为:
+E
x
[log(1
−
D
Y
(
G
X
→
Y
(
x
)]
其中
Θ
g
和
Θ
d
分别是生成器
G
X
-
Y
和鉴别器
D
Y
的参数,并且
X
∈
X
和
y
∈
Y
分别表示源域和目标域中的
不成对
训练数据
L
(
G
Y
→
X
,
D
X
)是类似定
义的。
在CycleGAN中,
X
和
Y
是两种不同的图像表示,CycleGAN同时学习平
移
X
→
Y
和
Y
→
X
。与“p i x2p i x”[ 6]不同
的是,在CycleGAN中的训练是
不平衡的
。
通过
引入循环一致性来增强前后向一致性,循环一致性可以
看作是训练数据的“伪”对。利用周期一致性,CycleGAN的损失函数被
定义为:
L(
GX
→
Y
,
GY
→
X
,
DX
,
DY
)=L(
GX
→
Y
,
DY
)
+
L
(
GY
→
X
,
DX
)+
λ
Lc
(
GX
→
Y
,
GY
→
X
)