![](https://csdnimg.cn/release/download_crawler_static/88292521/bg8.jpg)
7
语义搜索:embedding向量是根据单词在上下文中的出现模式进行学习的,
如果两个单词经常在上下文中一起出现,那么这两个单词映射得到的向量在
向量空间中就会有相似的位置。用关键词进行语义搜索时,模型将关键词转
化为embedding向量,然后在高维的向量空间里搜索这个embedding向量
以及与其较为接近的向量,就可以得到与关键词相似的结果。
向量运算:通过对embedding向量执行向量加法和减法操作,可以推断出
单词之间的语义关系。例如,women的embedding向量可以通过下列运算
得出:Embedding(woman)=Embedding(man)+[Embedding(queen)-
Embedding(king)]
共享和迁移:embedding向量可以在多个自然语言处理任务中进行共享和
迁移。例如,在训练一个情感分析模型时,可以使用在句子分类任务中训练
的嵌入向量,这些向量已经学习到了单词的语义和上下文信息,从而可以提
高模型的准确性和泛化能力。
信息来源:《AI大模型领域的热门技术——Embedding入门介绍以及为什么Embedding在大语言
模型中很重要》,《和Alex聊聊向量数据库与职业规划》,《深入解读向量数据库,Zilliz「三剑客」
干货分享》, 西南证券整理
① 特征提取:将图片/音频转换成能够反映其内容或者
属性的特征。 可以使用SIFT ( Scale-invariant
feature transform 尺度不变特征转换), SURF
(Speeded Up Robust Features加速稳健特征),
HOG(Histogram of Oriented Gradients方向梯度
直方图特征)等算法提取图片的边缘、角点、纹理等
特征;可以使用MFCC(Mel 频率倒谱系数),LPC
(线性预测分析),PLP(感知线性预测)等方法提取
音频的频谱、倒谱、能量等特征。
② 特征编码:将提取得到的特征进行编码,用一个固定
长度的向量来表示。方法包括BOW(词袋模型),
VLAD (Aggregating local descriptors), Fisher
Vector,GMM(高斯混合模型), HMM(隐马尔可
夫模型), DNN(深度神经网路)等。
③ 特征压缩:将编码后的向量投影到低维度的子空间,
进行向量压缩,使其能够用一个更低维度的向量来近
似表示,并保留尽可能多的信息。方法包括PCA(主
成分分析算法), LDA(线性判别分析法), LSH(局
部敏感哈希算法)。
Embedding的功能
1.1.2 向量数据库的概述和原理
Embedding的步骤