CVAE在人工带宽扩展中的潜在表示学习：提升语音质量的关键

114 浏览量更新于2024-08-30 收藏 275KB PDF 举报

身份认证购VIP最低享 7 折!

30元优惠券

资源详情

资源推荐

Latent Representation Learning For Artificial Bandwidth

Extension Using A Conditional Variational Au…

博客作者：凌逆战

论文地址：https://ieeexplore.ieee.xilesou.top/abstract/document/8683611/

地址：https://www.cnblogs.com/LXP-Never/p/10714401.html

利用条件变分自动编码器进行人工带宽扩展的潜在表示学习

作者：Pramod Bachhav, Massimiliano Todisco and Nicholas Evans

摘要摘要

　　当宽带设备与窄带设备或基础设施一起使用时，人工带宽扩展人工带宽扩展(ABE)算法可以提高语音质量。大多数ABE解决方案都使用

某种形式的memory(记忆)，这意味着高维特性表示会增加延迟和复杂性。因此发展了降维技术以保持效率。因此提取紧凑的

低维表示，然后与标准回归模型一起用于估计高频段分量。

　　以往的研究表明，某种形式的监督对于优化ABE的降维技术降维技术至关重要。本论文研究了条件变分自动编码器条件变分自动编码器(conditional

variational auto-encoders，，CVAEs)在监督降维中的首次应用。利用有向图模型的CVAEs对高维对数谱数据进行建模，提

取潜在的窄带表示法。

　　与其他降维技术的结果相比，客观和主观的评估表明，使用CVAEs学习的潜在概率表示产生的带宽扩展语音信号质量显

著提高。

index Terms(索引项):变分自动编码器，潜在变量，人工带宽扩展，降维，语音质量

1 介绍介绍

　　传统窄带(NB)网络和设备通常支持0.3-3.4kHz的带宽。为了提高语音质量，今天的宽带(WB)网络支持50Hz-7kHz的带

宽。随着NB网络向WB网络的过渡，需要大量的投资[1]，人工带宽扩展人工带宽扩展(ABE)算法被开发出来，当WB设备与NB设备或基础设

施一起使用时，可以提高语音质量。ABE用于从可用NB分量中估计缺失的3.4kHz以上的highband(高带高带)(HB)频率分量，通常

使用从大量WB训练数据中学习的回归模型。

　　ABE算法要么使用经典的源滤波器模型[2,3]，要么直接对复杂的短期频谱估计进行操作[4,6]。在这两种方法中，使用

contextual information(上下文信息)或memory(记忆)，可以更可靠地估计HB成分。一些特定的back-end(后端)regression(回

归)模型[7 9]以时间信息的形式捕获memory，而其他解决方案[4、10、11]则相反地在front-end(前端)捕获记忆，例如通过delta

特征或从相邻帧提取的静态特征。虽然memory的使用提高了ABE的性能，但它意味着使用更高维度的特性，因此，ABE回归

模型更复杂，计算要求更高。考虑到ABE通常需要在电池驱动的设备上运行，这是不可取的。

　　为了减少复杂性的增加，[12，13]研究了在固定维度的约束下，通过delta mel频率倒谱系数频率倒谱系数(MFCC)包含记忆。然而，研

究发现，互信息的增益被MFCC inversion(转换)中涉及的重建伪影所抵消[13]。我们自己的工作[14]提出了一种方法，将

memory(记忆)以相邻帧的静态特性的形式包含进来。为了保持效率，采用了降维方法。我们后续的工作[15]表明，由对数谱系

数组成的memory(记忆)可以使用半监督堆叠自动编码器半监督堆叠自动编码器(semi-supervised stacked auto-encoders, SSAE)学习一种紧凑

的、低维的ABE特征表示。本文的工作旨在探索生成建模技术的应用，以进一步提高ABE性能。目标是对高维谱数据(包括

memory(记忆))的分布建模，并提取更高层次、更低维的特征，从而在不影响复杂性的情况下提高ABE回归模型的可靠性。从

本质上讲，我们寻求一种专门针对ABE的降维降维(DR)形式。

　　变分自编码器变分自编码器(VAEs)及其条件变分自动编码器条件变分自动编码器(CVAEs)概率深度生成模型能够对复杂的数据分布进行建模。与堆叠式自堆叠式自

动编码器动编码器(SAEs)学习的瓶颈特性相比，隐藏表示是概率的，可以用来生成新的数据。受其在图像处理中的成功应用[16 18]的

启发，它们在众多的语音处理领域越来越受欢迎，如语音建模与转换[19,20]、语音转换[21]、语音合成[22]、语音增强用于语

音活动检测[23]、情感识别[24]和音频源分离[25]。

　　CVAEs通过combination(联合)潜在变量和条件变量来生成数据。本文工作的思路是通过辅助神经网络对条件变量进行优

化，以学习higher-level(更高层次)的NB特征，这些特征是针对ABE任务中缺失HB分量的估计而定制的。这项工作的新贡献是:

　　　　(i) 第一次将VAEs和CVAEs应用于DR的回归任务，如ABE；

　　　　(ii) 将CVAE与probabilistic encoder(概率编码器)结合，以auriliary(辅助)神经网络的形式，得到条件变量；

　　　　(iii) 联合优化的一种方法；

　　　　(iv) 他们应用于extract(提取)probabilistic(概率)NB潜在表示，以估计在其他标准ABE框架中丢失的HB数据；

　　　　(v) 所提出的方法来大幅提高ABE性能。

　　本文的其余部分组织如下。第2节描述了基线ABE算法。第3节介绍了基于VAE和CVAE的特征提取方案，第4节实验，第5

下载后可阅读完整内容，剩余6页未读，立即下载

weixin_38742520

粉丝: 15
资源: 940

CVAE在人工带宽扩展中的潜在表示学习：提升语音质量的关键

Latent Low-Rank Representation for Subspace Segmentation code

Learning Latent Dynamics for Planning from Pixels论文附python代码.zip

Latent visual context learning for web image applications

Sparse representation for tumor classification based on feature extraction using latent low-rank representation.

Learning Similarity with Probabilistic Latent Semantic Analysis for Image Retrieval

A Hierarchical Model Based on Latent Dirichlet Allocation for Action Recognition

A popularity scaled latent space model for large-scale directed social network

[CVPR 2018]Discriminative Learning of Latent Features for Zero-Shot Recognition

hyperbolic cosine latent trait model for unfolding response

Local apparent and latent direction extraction for palmprint recognition

Discriminative Gaussian Process Latent Variable Model for Classication

Exploit Latent Dirichlet Allocation for One-Class Collaborative Filtering

Multi-class Latent Concept Pooling for Computer-Aided Endoscopy Diagnosis

A Review of Relational Machine Learning for Knowledge Graph

[2004][567]Higher-order latent trait models for cognitive diagnosis 2004.pdf

Using Latent Knowledge to Improve Real-Time Activity Recognition for Smart IoT

Human action recognition based on latent-dynamic Conditional Random Field

最新资源