Deep WaveGAN生成海豚发声仿生水声信号的无监督生成研究

电子科学与技术学报20（2022）100171通过Deep WaveGAN生成海豚人声张略a，b，c，黄海宁a，c，*，李寅a，c，李宝琦a，c，吴迪d，刘浩然d，李喜峰d，谢永乐da中国科学院声学研究所，北京，100190b中国科学院大学，北京，100049，中国c中国科学院水声信号先进处理科技重点实验室，北京，100190，中国d电子科技大学自动化工程学院，四川成都611731A R T I C L EI N FO保留字：仿生水下隐蔽探测海豚生成对抗网络（GAN）Wave生成对抗网络（WaveGAN）A B S T R A C T在大自然的斗争中进化出来的海洋生物声纳系统，远远优于目前的人工声纳。因此，发展仿生水下隐蔽探测技术具有重要的军事和经济战略意义。本文基于我们构建的海豚发声数据集训练生成对抗网络（GAN），实现了具有全局一致性的海豚发声的无监督生成通过对生成的音频样本与真实音频样本在时域和频域上的分析，可以证明生成的音频样本与真实音频样本接近，满足仿生水下隐蔽探测的要求1. 介绍海豚是海洋中的一种高级生物在复杂多变的海洋环境，它们可以通过水下发声实现觅食、精确摄食、个体通信、躲避天敌等生命活动[1]。根据研究，海豚能够探测到100米内厘米大小的物体例如，在1967年发现海豚可以区分厚度分别为0.22 cm、0.32 cm和0.64cm的铜盘[2]，并区分厚度为毫米的金属目标[3，4]。此外，它可以在检测移动目标时调整其波束特性[5]。此外，海豚哨信号具有良好的抗干扰能力[6]。因此，模仿海豚哨声信号可以帮助我们开发仿生声纳，优化现有人工声纳的性能，实现有效的隐蔽探测。而仿生信号作为噪声在海洋中的原始形式，不太可能产生噪声污染。对保护海洋环境和物种多样性也有非常积极的意义美国亚利桑那大学提出了一种利用线性调频（LFM）信号模拟海豚哨声信号的通信方法。在该方法中，使用信号幅度、频率和相位参数调制信息将LFM信号生成为合成哨声信号然而，由于哨声信号通常具有谐波特性，因此通过使用LFM信号来合成海豚哨声信号的技术仅适用于基波。海豚哨信号的频率随时间的变化不一定总是线性的，所以用模拟的方法效果并不理想[7，8]。Severson使用扩展的Prony方法来估计海豚哨声信号随时间的功率谱，并提出了一种载波* 通讯作者。中国科学院声学研究所，北京，100190。E-mail地址：544350931@qq.com（L. Zhang），hhn@mail.ioa.ac.cn（H.- N. Huang），yl@mail.ioa.ac.cn（L. Yin），lbq@mail.ioa.ac.cn（B.- Q.Li），omegadot9834@gmail.com（D. Wu），haoran_liu@std.uestc.edu.cn（H.- R. Liu），Xifengli@uestc.edu.cn（X.- F. Li），Xieyongle@uestc.edu.cn（Y.- L. Xie）。https://doi.org/10.1016/j.jnlest.2022.100171接收日期：2022年1月23日;接收日期：2022年8月2日;接受日期：2022年2022年9月17日网上发售1674- 862 X/©2022电子科技大学。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表电子科学与技术学报期刊主页：www.keaipublishing.com/en/journals/journal-of-electronic-science-and-technologyL. Zhang等人电子科学与技术学报20（2022）1001712BxBxB同时也加快了GAN的收敛速度。基于哨声时刻频谱特征的水印嵌入方法[9]。该方法在解调过程中通过水印嵌入将信息调制到哨声信号中，利用扩展Prony方法估计解调参数但[9]没有给出具体的实验结果或预期的指标。见参考文件[10]，在发射端将线性调频探测信号隐藏在海豚哨声信号中，设计了一种主动声纳仿生隐蔽探测信号但该研究没有给出嵌入前后信号的短时傅里叶变换时频图，无法看出合成信号与原始信号的相似性。在本文中，生成对抗网络（GAN）的训练，以低的时间成本和计算成本产生的海豚哨声信号。我们的研究的三个贡献如下：根据人工繁殖环境中采集到的海豚哨声信号，声乐听起来是构造为的第一时间，这支持的培训的乾将用于音频生成的GAN（Deep Wave Generative Adversarial Network，WaveGAN）引入到海豚声的生成中，成功生成了与真实海豚哨声信号相似的仿生信号产生的信号总量没有限制，在保持全局一致性的同时，彼此之间也存在一定的差异从时域和频域对实际信号和生成信号进行了详细的分析，证明了deep WaveGAN应用于海豚发声的有效性和可靠性本文其余部分安排如下。在第二节中，我们分析了GAN的相关工作第3节提供了深WaveGAN的技术细节。我们在第4节描述了实验，并在第5节给出了结论。2. 相关作品Goodfellow等人首先提出GAN从训练样本中学习概率分布以生成新样本[11]。具体而言，GAN包含一个用于生成图像的生成器G和一个用于区分生成图像真伪的鉴别器D，两者之间形成动态博弈关系G被训练为最小化值函数（1），而D被训练为最大化（1）：VD;GEx~Pdata½loggDx]Ez~Pz½logg1-DGz]（1）其中x表示真实图像，z表示输入的低维潜在向量。 P数据和Pz分别表示真实图像和已知先验图像的分布。原始的GAN有缺点，例如训练和模式崩溃的困难 Arjovsky和Bottou通过分析生成器的损失函数指出了这些缺点的原因[12]。Radford等人将卷积神经网络（CNN）与GAN相结合，提出了深度卷积生成对抗网络（DCGAN）[13]。Arjovsky等人进一步设计了WassersteinGAN（WGAN）[14]，它将Wasserstein距离应用于发电机的损失函数，以将发电分布拉到真实分布。对于WGAN，发电机G和WGAND的损失函数分别如（2）和（3）所示（2）第一节：第二节：第三节：第四节：第五节：LossWGANDEx~Pg½fωx]-Ex~Pr½fωx]（3）其中fω表示具有参数ω的神经网络，Pr和Pg分别是真实样本的分布和生成样本的分布WGAN彻底解决了GAN训练中的不稳定问题，基本消除了模式崩溃的情况古尔-拉贾尼等将WGAN中用于满足Lipschitz连续性条件的权重裁剪改进为梯度惩罚，然后构造了一个新的损失函数：Wasserstein生成对抗网络-梯度惩罚（WGAN-GP）[15]，如（4）所示：损失DE½fx]-E½fx]λE（4）第一次世界大战（1999年）WGAN-GPx~Pgωx~Prωx~P xp其中P是抽样样本x的分布。WGAN-GP解决了梯度消失和梯度爆炸的问题3. 方法Deep WaveGAN是DCGAN改进的音频生成模型，可以有效捕获音频信息的结构，生成具有全局一致性的音频片段[16]。DeepWaveGAN已被证明能够合成好的人声，鼓，钢琴，鸟的声音等。然而，据我们所知，还没有研究将其应用于高频仿生信号的合成，如海豚的声音。●●●L. Zhang等人电子科学与技术学报20（2022）1001713---如图1.我们使用预处理后的真实海豚声音训练了一个经典的深度WaveGAN模型（预处理方法将在4.1小节中描述）。数据集中音频的原始采样率为512 kHz。为了平衡训练效率和生成效果，在训练开始之前，所有音频信号都以64 kHz重新采样所使用的Deep WaveGAN由生成器G和DEAD组成生成器G使用长度为25的一维（1-D）转置卷积来扩展WaveGAN的接收场，其中上采样因子设置为4。生成器G输出具有65536的长度、通道数c和一批n（批大小）中的音频波形数的音频波形输出音频的长度略大于1s。而BHD使用长度为25且步幅为4的1-D卷积BXD输出具有批次号n的概率向量，其表示该批次的生成样本属于真实样本的概率。在音频合成期间，通过转置卷积对生成器G进行上采样将在生成的音频中引入不寻常的音调噪声[17]。这种罕见的噪声可能与真实音频信号中常见的频率重叠很明显，要求BHD学习一种策略来区分这种罕见的现象并不是一个明智的决定。 为了防止CNOD学习这样的解决方案，如表1和图2所示。2，在输入到下一层之前，应用具有超参数s的相位shuffle操作以将每个特征图的相位随机扰动s到s个样本。所使用的deep WaveGAN的完整架构如表1所示，其中对于生成器，Uniform（1，1）表示值在1和1之间的均匀分布，Dense表示完全连接层，Reshape表示调整特征映射的大小，ReLU是线性单元，Trans Conv1D是一维转置卷积层，Tanh是双曲正切激活函数。对于内核大小，（*，**，* ）表示（核长度、输入通道数、输出通道数），d表示模型大小（本文中为d1/4 64），c表示示例中的通道数（本文中为c1/41对于输出形状，（i，ii，iii）表示（批次大小，序列长度，通道数在表1中，对于LReLU，LReLU是泄漏ReLU，α表示LReLU中包含的斜率4. 实验4.1. 数据集构建海豚的发声信号可以分为三大类：哨声通信信号，点击回声定位信号和紧急突发信号。其中，哨声信号可以实现海豚之间的交流，如情感表达和信息交流。 其信号被表示为频率随时间连续分布的FM信号。持续时间一般从零点几秒到几秒，频率范围约为0.5kHz根据时频波形的不同，又可分为6类：固定频率信号、上扫频率信号、下扫频率信号、凹信号、凸信号和正弦信号。在青岛海昌极地馆采集了本研究所选的短吻海豚的哨声信号 共343个样本，均为凸哨声信号，持续时间约为1 s。信号的采样频率为512 kHz，信号的有效频率范围为5kHz原始样品的光谱图如图所示。第3（a）段。海豚圈养环境相对安静，噪声干扰较少，因此采集信号的时频轮廓清晰。然而，海豚游泳所产生的低频水噪声是无法避免的。我们使用有限脉冲响应（FIR）滤波器对所有样本执行高通滤波，其中阻带截止频率fstop设置为4 kHz，通带截止频率fpass设置为5kHz。过滤后，样品中的水流声基本消失，海豚哨信号完整清晰。 为了进一步提高deepWaveGAN的声音生成效果，我们将数据集中所有样本的幅度提高到原始样本幅度的6倍。预处理后数据集中样本的谱图如图3（b）所示。Fig. 1. 通过Deep WaveGAN生成海豚声音的框架。L. Zhang等人电子科学与技术学报20（2022）1001714×XNN-1N表1Deep WaveGAN的网络架构子网络运算核大小输出形状发生器输入z~Uniform（-1，1）（n，100）Dense 1（100，256d）（n，256d）重塑（n，16，16d）ReLU（n，16，16d）反式Conv 1D（步幅1/4）（25，16天，8天）（n，64，8天）ReLU（n，64，8天）反式Conv 1D（步幅1/4）（25，8天，4天）（n，256，4天）ReLU（n，256，4d）反式Conv 1D（步幅1/4）（25，4天，2天）（n，1024，2天）ReLU（n，1024，2d）反式Conv 1D（步幅1/4）（25，2d，d）（n，4096，d）ReLU（n，4096，d）跨Conv1D（步幅¼4）（25，d，d）（n，16384，c）ReLU（n，16384，c）跨Conv1D（步幅¼4）（25，d，c）（n，65536，c）Tanh（n，65536，c）鉴别器输入x或Gz（n，65536，c）Conv 1D（步幅1/4）（25，c，d）（n，4096，d）LReLU（α<$0.2）（n，4096，d）相转换（s1/2）（n，4096，d）Conv 1D（步幅1/4）（25，d，2d）（n，1024，2d）LReLU（α<$0.2）（n，1024，2天）相转换（s 1/42）（n，1024，2d）Conv 1D（步幅1/4）（25，2d，4d）（n，256，4d）LReLU（α<$0.2）（n，256，4天）相转换（s 1/42）（n，256，4d）Conv 1D（步幅1/4）（25，4天，8天）（n，64，8天）LReLU（α<$0.2）（n，64，8天）相转换（s 1/42）（n，64，8d）Conv 1D（步幅1/4）（25，8天，16天）（n，16，16天）LReLU（α<$0.2）（n，16，16天）Conv 1D（步幅1/4）（25，16天，32天）（n，16，32天）LReLU（α<$0.2）（n，16，32天）重塑（n，256天）密集（256天，1）（n，1）4.2. 实现细节亚当被选为优化器。学习率为ε，矩估计的指数衰减率为β1，β1的值分别设置为110- 4、0.5和0.9WGAN-GP的超参数λ等于10，被用作损失函数。在生成器更新一次之后，我们进行5次更新。实验在TensorFlow上进行我们使用配备11 GB内存的GeForce GTX 1080ti进行实验4.3. 评估指标在本文中，我们使用互相关函数曲线，频谱图，频谱和功率谱图的比较来衡量生成的音频样本与真实音频样本之间的相似性[18]。在统计通信和数字信号处理中，相关性是指两个确定信号或两个随机信号之间的关系。假设两个实信号为xn和yn，则这两个序列的互相关定义为：∞rx;ymxnyn-m（5）n<$-∞其中m是信号延迟。信号的谱图和频谱都是基于离散傅里叶变换（DFT）的。DFT的计算公式如（6）所示：XkXxnWkn;k<$40;1;···;N-1（6a）n¼0Wkn<$e-j2πkn（6b）NL. Zhang等人电子科学与技术学报20（2022）1001715NN图二、 移相操作示意图。这里是在s1/41时的相移操作之后的四个特征图的所有可能的输出图三. 海豚哨声信号的频谱图：（a）原始样本和（b）预处理后的样本。其中Xk是有限长序列xn的DFT结果，Wkn是旋转因子，N是DFT的点频谱图是三维频谱。 它的横坐标是时间，纵坐标是频率，坐标点是音频数据的能量，清晰地显示了音频频谱随时间的变化。 而频谱的横坐标是频率，纵坐标是幅度的对数，揭示了复信号中的频率分量。功率谱表示信号功率随频率的变化，功率谱曲线所覆盖的面积在数值上等于总功率（能量）。自功率谱表示信号携带的能量与频率之间的关系。它不仅反映了某一频率值的能量集中程度，而且反映了能量分布水平在频域中的信号计算公式见（7）：Px;x第101章：你是我的女人（7）其中P x;x<$k<$是信号x<$n<$的自功率谱，X*<$k<$是X<$k<$的共轭。L. Zhang等人电子科学与技术学报20（2022）1001716-4.4. 实验结果实验历时5天，迭代39577次。训练过程中发生器和振荡器的损失函数曲线如图所示。4（a）和（b）。发电机的损失函数在初始阶段经过短暂的振荡后迅速收敛，而振荡器的损失函数在30000次迭代后逐渐收敛。经过训练后，Deep WaveGAN可以生成各种海豚发声的声音片段。生成的样本与真实样本具有良好的全局一致性，人类听觉难以区分。为了进一步定量分析生成样本与真实样本之间的相似性，我们使用训练好的deep WaveGAN随机生成三个海豚发声的片段作为生成样本，并从训练集中随机选择三个真实海豚发声的片段作为真实样本，与生成样本相对应对于每个生成的真实样本对，我们计算4.3小节开头描述的评估指标，并绘制比较图。我们首先对生成的三个实样本对分别进行互相关运算，结果如图所示。5（a）至（c）。三组结果表明，真实样本和生成样本之间的互相关在时间零点附近最大，表明生成样本与真实样本具有高度的仿真性生成的三个真实样本对的频谱图进一步证明了生成的样本与真实样本在时域和频域上都具有相似的特征，证明了我们合成的海豚声音具有高质量，可以应用于水下仿生隐蔽检测。如图在图6（a）至（c）中，生成样本和真实样本的主要频率范围都是5 kHz-15kHz，并且沿着时间轴的频率具有相同的趋势。因为数据集中的音频信号在训练之前以64kHz的采样频率被重新采样，所以图1A和1B之间存在差异。 6和3。我们对参与评估的三对样本进行32768点（215）快速傅立叶变换（FFT）变换评估，然后比较FFT频谱图。结果示于图7（a）至（c）。红色曲线是真实样本的FFT频谱，蓝色曲线是生成样本的FFT频谱值得注意的是，由于在数据预处理阶段使用了高通滤波，0至5 kHz的红色曲线几乎是一条直线。显然，真实样本和生成样本的FFT谱是相似的，这表明生成样本和真实样本之间的差异非常小。功率谱的比较如图所示。8.第八条。红色曲线是真实样品的自功率谱曲线，蓝色曲线是生成样品的自功率谱曲线，黑色曲线是互功率谱曲线。 由于数据预处理阶段使用高通滤波，0至5 kHz的功率非常小（350 dB）。功率谱曲线再次证实了信号的主要能量集中在5kHz-15 kHz频段的结论从三个样本的比较图可以看出，真实样本和生成样本的功率谱具有较高的相似性5. 结论在本文中，我们引入了深波GAN生成海豚的声音。基于我们构建的海豚发声数据集，我们训练了深度WaveGAN模型，并成功合成了具有高度仿真度的海豚发声。 我们利用时域和频域的多个评价指标来衡量生成的音频样本与真实音频样本之间的相似性，这证明生成的音频样本很难与真实音频样本区分开来。该方法具有进一步应用于水下仿生隐蔽检测的潜力。资金本课题得到了国家自然科学基金项目No.62027803号61701095号，61601096号，61801089，不。61971111;2020YFG0044号、2020YFG0046号、2020YFG0046号2021 YFG 0200; 科技计划项目批准号：2021-JCJQ-JJ-0949; 国防工业技术开发计划，JCKY2020110C041.见图4。训练过程中生成器和训练器的损失函数曲线：（a）训练器和（b）生成器。L. Zhang等人电子科学与技术学报20（2022）1001717图五. 真实样本和生成样本的互相关函数曲线：（a）样本对1，（b）样本对2，和（c）样本对3。见图6。真实样本（左）和生成样本（右）之间的光谱图比较：（a）样本对1，（b）样本对2和（c）样本对3。L. Zhang等人电子科学与技术学报20（2022）1001718图7.第一次会议。 实际样本和生成样本之间的FFT幅度谱的比较：（a）样本对1，（b）样本对2，和（c）样本对3。见图8。 真实样本和生成样本之间的功率谱比较：（a）样本对1，（b）样本对2，和（c）样本对3。竞合利益作者声明无利益冲突引用[1] W.W. 下午Scheifele，海豚的声纳，J。声音Soc. Am. 95（1）（Jan.1994 ）585- 586。[2] W.E. 埃文斯文学士Powell，Animal Sonar Systems：Biology and Bionics，Jouy-enJosas，Acoustique Physiologie，1967，pp. 363- 383.[3] C.M. DeLong，W.W.L.Au，S.A.Stamper，人类听众用于区分材料或壁厚不同的物体的回声特征：对回声定位海豚的影响。声音Soc. Am. 121（1）（Jan.2007）605-617。[4] W.W.L. Au，S.W.为什么海豚生物声纳表现如此出色，尽管平庸6（6）（Jul.2012）566- 575。[5] D.M. Wisniewska，J.M. Ratcliffe，K. Beedholm等人，回声定位鼠海豚（Phocoena Phocoena）声场中的距离依赖性4（2015年3月）1- 16，e05651。[6] Z.- T.王湖，加-地方，W.- J. Shi，K.- X. Wang，中国山杨D.王，自由放养的印度太平洋座头豚（Sousa）的哨声特征，中国，J。声音Soc. Am. 133（4）（Apr.2013）2479- 2489。[7] A. ElMoslimany，M. Zhou，T. M. Duman，A.王晓波，一种新的水声通信信令方案，载于：北京邮电大学学报。Oceans-SanDiego，San Diego，2013，pp. 1比5。[8] A. ElMoslimany，M. Zhou，T. M. Duman，A.王文，一种利用生物声音的水声通信方案，无线通信。移动计算16（15）（10月2016）2194- 2211。[9] J. Severson，海洋哺乳动物哨声呼叫的建模和频率跟踪，M.S.论文，系。机械工程，麻省理工学院，剑桥;伍兹霍尔海洋研究所，伍兹霍尔，2009年。[10] J. - W. 殷角，澳-地Liu，Y.陈光诚P. 朱湘L. 盛，基于海豚哨声信号的仿生主动声纳隐蔽探测技术研究，军事学报37（5）（2016年5月）769- 777。[11] 作者：J. J. Mirza等人，生成对抗网络，在：Proc. of the 27th Intl Conf. on Neural Information Processing SystemsAdvances in Neural InformationProcessing Systems，Montreal，2014，pp. 2672- 2680。[12] M.阿尔约夫斯基湖Bottou，Towards principled methods for training generative adversarial networks，in：Proc. of the 5th Intl Conf. on LearningRepresentations，Toulon，2017，pp. 1比5。[13] A.雷德福湖梅斯，S. Chintala，使用深度卷积生成对抗网络的无监督表示学习[在线]。可用：arxiv.org/abs/1511.06434，2016年1月。[14] M. 阿尔约夫斯基，S。钦塔拉湖，澳-地Bottou，Wasserstein GAN.可用：https://arxiv.org/abs/1701.07875，2017年12月[15] I.古拉贾尼角艾哈迈德，M。阿约夫斯基，V. Dumoulin，A. Courville，Wasserstein GANs的改进训练，在：第31届神经信息处理系统国际会议上，长滩，2017年，pp.5769- 5779[16] C. Donahue，J.麦考利，M。Puccampus，Adversarial Audio Synthesis，in：Proc.第七届国际会议关于学习表示，新奥尔良，2019年，pp。 1比5。[17] A. 奥德纳河谷迪穆兰角Olah ，Deconvolution and checkerboard artifacts，Distill 1（10）（2016）1- 6，e3.[18] D.P. Kingma，J.Ba，Adam：A Method for Stochastic Optimization [在线].可用：https://arxiv.org/abs/1412.6980，2017年1月L. Zhang等人电子科学与技术学报20（2022）1001719张磊出生于1994年。她得到了B. S。毕业于山东科技大学，青岛。她目前正在攻读博士学位。在北京中国科学院声学研究所、北京中国科学院大学、北京中国科学院水声信号高级处理科技重点实验室获得她的主要研究兴趣包括动物声学和仿生声纳。黄海宁出生于1969年。他获得了学士学位，医学硕士，和博士分别于1991年、1996年和1999他是一名教授和博士。曾任中国科学院声学研究所和中国科学院水声信号处理科学与技术重点实验室主任主要研究方向为阵列信号处理、水下无线传感器网络、合成孔径声纳等李银出生于1964年。她获得了博士学位。毕业于中国科学院声学研究所。她是中国科学院声学研究所教授和研究生导师，也是中国科学院先进水声信号处理主要研究方向为水声信号处理。李宝琦，1985年出生于天津。他得到了B. S。通信工程学士学位和硕士学位。2007年和2012年分别在Xi长安大学获得交通信息工程和控制学位。他获得了博士学位。2019年毕业于西北工业大学武器装备科学与技术专业。目前，他在中国科学院声学研究所和中国科学院先进水声信号处理科学与技术重点实验室工作，担任教授。他的研究兴趣包括水声信号处理，目标检测，识别和跟踪，以及深度学习理论。刘浩然，1996年出生于山东。他得到了B. S。2018年毕业于青岛科技大学自动化工程专业。他目前正在攻读博士学位。毕业于成都电子科技大学自动化工程学院。他的研究兴趣包括医学图像处理，深度学习和计算机视觉。L. Zhang等人电子科学与技术学报20（2022）10017110李喜凤出生于陕西。他获得了学士学位，医学硕士，和博士分别于2005年、2008年和2014年获得电子科技大学自动化工程学位，自2019年起担任自动化工程学院副教授。2008年至2009年，他在华为技术有限公司担任软件助理工程师有限公司、上海从2016年到2017年，他是亚利桑那州立大学PhoeniX的访问学者。他的研究兴趣包括核学习、压缩传感和鲁棒自适应信号处理等领域吴迪和谢永乐的照片和传记在出版时无法获得