没有合适的资源?快使用搜索试试~ 我知道了~
首页word2vec中的数学原理详解-peghoty
资源详情
资源评论
资源推荐
peghoty
word2vec
O L M N
peghoty (peghoty@163.com)
2014
?
7
t
g
℄
1
o
E
3
2
W
S
e
4
2.1 sigmoid
f
2
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2
^
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.3 Bayes
M
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.4 Huffman
&
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.4.1 Huffman
0
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.4.2 Huffman
0
v
P
}
. . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.4.3 Huffman
&
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3
P
e
11
3.1
a
i =
1
(
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2 n-gram
1
(
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.3
B
;
i =
1
(
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.4
℄
v
w 9
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
4
*
R
Hierarchical Softmax
~
e
;
22
4.1 CBOW
1
(
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.1.1
l
8
P
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
4.1.2
Q
>
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
4.2 Skip-gram
1
(
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.2.1
l
8
P
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.2.2
Q
>
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
5
*
R
Negative Sampling
~
e
;
33
5.1 CBOW
1
(
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
5.2 Skip-gram
1
(
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
1
peghoty
word2vec
l
~
B
5.3
7
5
C
>
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
6
{
Y
a
1
9
42
6.1 σ(x)
v
?
9
>
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
6.2
℄ ~ v b W
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
6.3
*
1
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
6.4
y
O
℄
k ?
O
℄
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
6.5
\
b
x
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
6.6
;
%
W 5
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
6.7
6
2
S
z
h 8
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
6.8
N -
*
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
6.9
}
I
y
k
7
W
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2
peghoty
word2vec
l
~
B
§1
p
F
word2vec
$
Google
f
2013
>
U
n
g
T v
G
D
\ f
n
word vector
v
J
L
,
H
&
k
?
,
R
^
T
W
n
y
v
Y
1
.
_ f
word2vec
v
F
Tomas Mikolov
{
K
Y
v
x
([3], [4])
$
-
"
a
L
I
>
7
,
R
{ G
N
D J
L
v
(
=
.
G !
H
0
0
v
y
f
$
4 ~
^
a
9
S
n
i
v
$
p
G
i G F
.
{
G
_
4
X
word2vec
$
2013
>
v
10
s
+
,
n
6
l g
5
K
h
s
+ v
x
[7],
U
-
D
J
F
$
,
SENNA
v
8
N >
([8])
r
$
x
C
C
.
Q
t
\
a M
7
,
f
$
E
G
D
Æ
(
\
6
'
[20]),
m
f
U
$ <
v
8
$
I
G
,
'
4 ~
\
word2vec
p
T
L
<
,
"
r
$
x
*
℄
` ~
0
,
}
word2vec
W
6
V
G
,
h
V
% E
A
G
.
s
p
,
2 2
V
r
word2vec
v
G !
L
V
W \
,
Tomas Mikolov
f
!
E
,
U
g
\
r
N
:
k
x
o
([6]),
R
^
Q
t
t
a
#
D
word2vec
y
v
>
m
w
E
D
9
,
K
'
G
&
v
s
2 <
G >
*
4 =
.
f
$
,
I
%
p
,
9
G
i
,
> $
!
/
Æ
y
+
v
E
.
{
G
D =
Q H
$
,
/ /
$
D n
&
k v
_
;
8
P
,
q
!
8 !
y
) )
B B
z
5
L
$
Deep Learning
:
?
9
S
word2vec
n
i
v
a
N
$
,
U
>
;
+
v
)
,
U
& N
b
$
+
v
)
E
R
.
v
v
K /
p
i
,
~
$
w 9
r v
w
L
x
,
F
a - D
v
F
b
T
L
} 6
W
.
{
w
!
x
v
a
N
$
,
k
5
u
v
u
b
r
:
([15, 16])
>
*
_
a O
v
M
,
{
^ +
=
#
.
i
,
E
6
W
U
G
y
v
G !
8
,
{
6
W
x
,
{
^
G
&
v
J
F
E
G
- +
=
#
.
3
peghoty
word2vec
l
~
B
§2
X
T
f
!
7 ;
word2vec
$
,
\
r v
G !
)
D
}
,
l
sigmoid
f
2
Beyes
M
k
Huffman
&
w
.
4
剩余52页未读,继续阅读
忍者Q太郎
- 粉丝: 0
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- ExcelVBA中的Range和Cells用法说明.pdf
- 基于单片机的电梯控制模型设计.doc
- 主成分分析和因子分析.pptx
- 共享笔记服务系统论文.doc
- 基于数据治理体系的数据中台实践分享.pptx
- 变压器的铭牌和额定值.pptx
- 计算机网络课程设计报告--用winsock设计Ping应用程序.doc
- 高电压技术课件:第03章 液体和固体介质的电气特性.pdf
- Oracle商务智能精华介绍.pptx
- 基于单片机的输液滴速控制系统设计文档.doc
- dw考试题 5套.pdf
- 学生档案管理系统详细设计说明书.doc
- 操作系统PPT课件.pptx
- 智慧路边停车管理系统方案.pptx
- 【企业内控系列】企业内部控制之人力资源管理控制(17页).doc
- 温度传感器分类与特点.pptx
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论1