没有合适的资源?快使用搜索试试~ 我知道了~
首页FastkNN-MT:加速最近邻机器翻译
"快速kNN-MT:解决最近邻机器翻译慢的问题" 在当前的机器翻译领域,k近邻机器翻译(kNN-MT)已经展现出卓越的性能提升,但其速度问题却限制了其在实际应用中的广泛使用。kNN-MT通过借鉴大量缓存示例中的相似翻译上下文来指导解码过程,从而改善翻译质量。然而,由于它需要在每个解码步骤中对整个参考语料库进行搜索,导致其运行速度比传统的神经机器翻译(NMT)模型慢得多。 针对这一挑战,研究者们提出了快速kNN-MT(FastkNN-MT)方案,旨在显著提高kNN-MT的解码效率。FastkNN-MT的核心策略是在源句子的每个单词层面,先选取与查询标记相同的标记作为最近邻。这一做法缩小了搜索范围,避免了对整个语料库的遍历。在解码过程中,搜索空间仅限于与前一时刻选择的源标记对应的目标标记,这极大地减少了计算复杂度。 FastkNN-MT的实施使得在保持原有性能的同时,翻译速度提升了两个数量级,仅比标准NMT模型慢两倍。这种改进使得kNN-MT技术具备了在现实世界MT应用中的可行性,特别是在在线服务等实时需求较高的场景中。 此外,FastkNN-MT还提供了一种平衡性能和速度的方法,通过调整搜索集群、波束宽度和数据存储大小等参数,可以在不同的性能和速度需求之间找到最佳折衷。这种灵活性使其能够适应各种不同的计算资源和应用场景。 快速kNN-MT是解决kNN-MT速度问题的关键一步,它不仅保持了翻译质量的高水平,还显著提高了运行效率,为机器翻译领域的实际应用打开了新的可能。随着计算技术的不断发展和优化,可以预见,未来kNN-MT会更加广泛地应用于各种语言处理任务,进一步提升翻译质量和用户体验。
资源详情
资源推荐
![](https://csdnimg.cn/release/download_crawler_static/88589347/bg3.jpg)
+v:mala2277获取更多论
文
3
D
S
{}{}
−
−
S
j
=1
−
−
y
=
v
j
i
j
(
k
,
v
)
∈N
Σ
S
O|S|
S O
|S|
训练数据集
A B
B C
A B
C
D
D
D
E
b C
c D
a B
b D
D e
D
e
C
e
F
一
B
D
e
B D E
D E F
输入{B,C,E}的数据存储区构造
B
C
电子
邮件
E
输入 选择相同的令牌Top K
对齐
培训中的句子
数据集
图
1
:
缓存源标记和目标标记
(左,蓝色):给定一个训练的
NMT
模型
f
和训练语料库
train
,我们获得训练集中所有源标记
h
和目标标记
z
的表示,它们是
f
的最后一层输出。
数
据存储构建
(右,绿色):给定一个要翻译的测试示例,在示例中是
{B
,
C
,
E}
,我
们首先将每个源令牌导航到缓存中相同类型的令牌,例如,
x
12
、x
21
、x
32
和
x
41
被标识
用于令牌
B
。然后,根据源令牌表示与候选令牌表示之间的距离来保留每个源令牌的前
c
个最近邻居,例如,选择
x
12
、
x
21
作为令牌
B. 最后,使用FastAlign [10]将选定的源令牌与其目标令牌对齐为令牌
B
,得到
k
的对齐
的标签
是
y
1 1
,
y
2 4
。所有对齐的
tagetokens
(连同它们的
表示)
的集合
构成
当前输入{B,C,E}的索引。
p
M T
(
y
i
|
x
,
y
1
:
i
-
1
)
,并使用波束搜索进行生成。
完整的源语句和目标语句的前缀
(
x
,
y
1
:
i
−
1
)的组合
称为
翻译语境
。
k
NN-MT
用多项式分布
p
kN N
(
y
i
)对 此 概 率 分 布 进行 插
值
|
x
,
y
1
:
i
-
1
)
,其从大规模的翻译上下文S:
p
(
y
i
|
x
,
y
1
:
i
−
1
)
=
λp
kN N
(
y
i
|
x
,
y
1
:
i
−
1
)
+
(
1
−
λ
)
p
M T
(
y
i
|
x
,
y
1
:
i
−
1
)
(
1
)
更具体地说,k NN-MT首先使用键值对来构造翻译上下文,其中键是
由训练的
MT
模型
f
(
x
,
y
1
:
i
1
)产生的翻译上下文的高维向量,
并且值是对应的黄金目标令牌
y
i
,形
成
=
(
k
,
v
)
=
(f
(
x
,
y
1
:
i
1
)
,
y
i
)。
上下文-目标对可以来自任何平行语料库。然
后,使用
当前翻译上下文作为查询
q
=f
(
x
in
,
y
1
:
i
−
1
)
,
L
2
距离作为度量,
kNN-MT
搜索整个翻
译上下文以检索
k
个最近的翻译上下文以及
对应的
ta r
得到
k ens
N
=
{
k
j
,
v
j
}
k
。最后,将检索集转化为概率
通过使用具有温度T的softmax算子对负
L2
距离d进行归一化和聚合,可以将分布表示为:
1
exp(
d
(
q
,
k
)
/T
)
p
kNN
(
y
i
|
x
in
,
y
1:
i
−1
)=
j j
Z=
(
k
j
,
v
j
)
∈N
Z
exp
(
−
d
(
q
,
k
j
)
/T
)
(二更)
积分方程(2) 到EQ。(1)给出了对于时间步长i生成令牌y i的最终概率。注意,上述k
个
NN搜
索-插值过程被应用于每个波束的每个解码步骤,并且每次迭代需要在全波束上运行。这给
出了总时间复杂度(Bm),其中B是波束大小,m是目标长度。为了更快地进行最近邻搜
索,kNN-MT利用FAISS [19],这是一种用于高效相似性搜索和密集向量聚类的工具包。
4
方法:快速kNN-MT
在搜索优化之前的kNN-MT的时间复杂度是(Bm)
2
,当波束尺寸或波束尺寸B大时,这是
非常慢的。 我们提出战略, 解决这个问题。 与vanillak NN-MT相同,快速kNN-MT系统
建立在单独训练的MT编码器-解码器模型上。为了更好地说明快速kNN-MT
2
采用近似最近邻搜索时,时间复杂度可略有缓解,计算复杂度不严格为O(|S|)的。
剩余14页未读,继续阅读
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/default.jpg!1)
cpongm
- 粉丝: 5
- 资源: 2万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- 多模态联合稀疏表示在视频目标跟踪中的应用
- Kubernetes资源管控与Gardener开源软件实践解析
- MPI集群监控与负载平衡策略
- 自动化PHP安全漏洞检测:静态代码分析与数据流方法
- 青苔数据CEO程永:技术生态与阿里云开放创新
- 制造业转型: HyperX引领企业上云策略
- 赵维五分享:航空工业电子采购上云实战与运维策略
- 单片机控制的LED点阵显示屏设计及其实现
- 驻云科技李俊涛:AI驱动的云上服务新趋势与挑战
- 6LoWPAN物联网边界路由器:设计与实现
- 猩便利工程师仲小玉:Terraform云资源管理最佳实践与团队协作
- 类差分度改进的互信息特征选择提升文本分类性能
- VERITAS与阿里云合作的混合云转型与数据保护方案
- 云制造中的生产线仿真模型设计与虚拟化研究
- 汪洋在PostgresChina2018分享:高可用 PostgreSQL 工具与架构设计
- 2018 PostgresChina大会:阿里云时空引擎Ganos在PostgreSQL中的创新应用与多模型存储
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)