word2vec余弦相似度代码

以下是使用gensim库计算word2vec余弦相似度的示例代码：

from gensim.models import Word2Vec
import numpy as np

# 加载训练好的word2vec模型
model = Word2Vec.load("your_model_path")

# 定义两个词
word1 = "apple"
word2 = "banana"

# 计算两个词的余弦相似度
similarity = np.dot(model[word1], model[word2]) / (np.linalg.norm(model[word1]) * np.linalg.norm(model[word2]))

print("余弦相似度为：", similarity)

其中，`your_model_path`需要替换为你自己训练好的word2vec模型文件路径。如果你还没有训练好的模型，可以使用gensim库中的`Word2Vec`类进行训练，具体方法可以参考gensim官方文档。

相关问题

使用scala编写spark word2vec 文本相似度的代码

好的，以下是使用Scala编写Spark Word2Vec文本相似度的代码示例：

import org.apache.spark.ml.feature.{Word2Vec, Word2VecModel}
import org.apache.spark.sql.SparkSession

object Word2VecSimilarity {

  def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder
      .appName("Word2VecSimilarity")
      .master("local[*]")
      .getOrCreate()

    val input = spark.read.textFile("path/to/input/file.txt")
      .rdd.map(_.split(" ").toSeq)

    val word2Vec = new Word2Vec()
      .setVectorSize(100)
      .setMinCount(0)
      .setInputCol("text")
      .setOutputCol("result")

    val model = word2Vec.fit(input)
    val vectors = model.getVectors

    val synonyms = model.findSynonyms("word", 5)
    for((word, cosineSimilarity) <- synonyms) {
      println(s"$word $cosineSimilarity")
    }

    spark.stop()
  }
}

这个示例代码中，我们使用Spark MLlib的Word2Vec算法来实现文本相似度。我们首先读取输入文件，将每个文本行分割成单词序列。然后，我们使用Word2Vec算法训练一个模型，将单词序列转换为向量空间中的向量。最后，我们使用模型的`findSynonyms`方法查找与给定单词最相似的5个单词，并输出它们的余弦相似度。

word2vec文本相似度

Word2Vec是一种用于将单词转换为向量表示的技术，它可以用于计算文本中单词之间的相似度，也可以用于计算文本之间的相似度。以下是使用Word2Vec计算文本相似度的步骤：

1. 准备数据：将文本数据转换为单词列表，每个单词都是一个字符串。

2. 训练模型：使用Word2Vec模型训练单词向量。在训练过程中，模型将单词映射到一个高维向量空间中，使得语义相似的单词在向量空间中距离较近。

3. 计算文本向量：将文本中所有单词的向量取平均值，得到文本的向量表示。

4. 计算文本相似度：使用余弦相似度计算两个文本向量之间的相似度。余弦相似度的取值范围为[-1,1]，值越接近1表示两个文本越相似，值越接近-1表示两个文本越不相似，值为0表示两个文本没有相关性。

以下是使用Python实现Word2Vec文本相似度计算的代码示例：

from gensim.models import Word2Vec
import numpy as np

# 准备数据
text1 = "I like to eat pizza"
text2 = "I hate vegetables"
text3 = "Pizza is my favorite food"
texts = [text1.split(), text2.split(), text3.split()]

# 训练模型
model = Word2Vec(texts, min_count=1)

# 计算文本向量
def get_text_vector(text):
    words = text.split()
    vectors = []
    for word in words:
        if word in model.wv.vocab:
            vectors.append(model.wv[word])
    if len(vectors) == 0:
        return None
    else:
        return np.mean(vectors, axis=0)

vector1 = get_text_vector(text1)
vector2 = get_text_vector(text2)

# 计算文本相似度
def cosine_similarity(vector1, vector2):
    if vector1 is None or vector2 is None:
        return None
    else:
        return np.dot(vector1, vector2) / (np.linalg.norm(vector1) * np.linalg.norm(vector2))

similarity = cosine_similarity(vector1, vector2)
print("文本1和文本2的相似度为：", similarity)