import os import jieba import gensim from langconv import Converter from gensim.corpora import WikiCorpus # 定义LabeledLineSentence类 class LabeledLineSentence(object): def __init__(self, wkc): self.wkc = wkc self.wkc.metadata = True def __iter__(self): for content, (page_id, title) in self.wkc.get_texts(): yield gensim.models.doc2vec.TaggedDocument( words=[w for c in content for w in jieba.cut( Converter('zh-hans').convert(c))], tags=[title]) # 代码7-5 def train(): zh_name = 'data/zh-latest-pages-articles.xml.bz2' wkc = WikiCorpus(zh_name, lemmatize=False, dictionary={}) documents = LabeledLineSentence(wkc) model = gensim.models.Doc2Vec(documents, dm=0, dbow_words=1, size=192, window=8, min_count=19, iter=5, workers=8) # 使用Doc2Vec训练段落向量 model.save('tmp/zhwk_news.doc2vec') if __name__ == '__main__': if os.path.exists('tmp/zhwk_news.doc2vec') == False: print('开始训练模型') train() print('模型训练完毕') # 代码7-6 model = gensim.models.Doc2Vec.load('tmp/zhwk_news.doc2vec') print(model.dv.similarity('番茄', '西红柿')) # 相似度为0.55 print(model.dv.similarity('货车', '卡车')) # 相似度为0.78

这段代码使用了gensim库中的Doc2Vec模型来训练中文文本，训练时使用了中文维基百科的语料库，使用了jieba分词和langconv进行繁简体转换。训练完成后，保存在本地，并使用gensim中的Doc2Vec.load方法进行加载。最后，通过model.dv.similarity方法计算两个词的相似度，其中'番茄'和'西红柿'的相似度是0.55，'货车'和'卡车'的相似度是0.78。

相关问题

Add comments to my code below and return，import pandas as pd import jieba from gensim import corpora, models, similarities # 读取Excel表格数据 df = pd.read_excel(r'D:\pycharm_project\excel_column_similar\cosmic核减率分析\excel_test_clean.xlsx') # 使用jieba进行分词，并去除停用词 stop_words = {'的', '了', '是', '我', '你', '他', '她', '(', ')'} texts = [] for text in df['子过程描述']: words = [word for word in jieba.cut(text) if word not in stop_words] texts.append(words) print(texts) # 构建词典和文档向量 dictionary = corpora.Dictionary(texts) corpus = [dictionary.doc2bow(text) for text in texts] print(corpus) # 计算TF-IDF特征向量 tfidf = models.TfidfModel(corpus) corpus_tfidf = tfidf[corpus] print(tfidf) print(corpus_tfidf) # 计算相似度 index = similarities.MatrixSimilarity(corpus_tfidf) similarity_matrix = index[corpus_tfidf] print(index) print(similarity_matrix.shape) # 标注相似度大于0.75的单元格 for i in range(similarity_matrix.shape[0]): for j in range(i + 1, similarity_matrix.shape[1]): if similarity_matrix[i, j] > 0.75: df.at[i, '子过程描述'] = str(df.at[i, '子过程描述']) + ' (' + str(round(similarity_matrix[i, j], 2)) + ')' df.at[j, '子过程描述'] = str(df.at[j, '子过程描述']) + ' (' + str(round(similarity_matrix[i, j], 2)) + ')' # 保存结果到Excel表格 df.to_excel(r'example_similarity.xlsx', index=False)

下面是代码的注释：

import pandas as pd
import jieba
from gensim import corpora, models, similarities

# 读取Excel表格数据
df = pd.read_excel(r'D:\pycharm_project\excel_column_similar\cosmic核减率分析\excel_test_clean.xlsx')

# 使用jieba进行分词，并去除停用词
stop_words = {'的', '了', '是', '我', '你', '他', '她', '(', ')'}
texts = []
for text in df['子过程描述']:
    words = [word for word in jieba.cut(text) if word not in stop_words]
    texts.append(words)
print(texts)

# 构建词典和文档向量
dictionary = corpora.Dictionary(texts)
corpus = [dictionary.doc2bow(text) for text in texts]
print(corpus)

# 计算TF-IDF特征向量
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
print(tfidf)
print(corpus_tfidf)

# 计算相似度
index = similarities.MatrixSimilarity(corpus_tfidf)
similarity_matrix = index[corpus_tfidf]
print(index)
print(similarity_matrix.shape)

# 标注相似度大于0.75的单元格
for i in range(similarity_matrix.shape[0]):
    for j in range(i + 1, similarity_matrix.shape[1]):
        if similarity_matrix[i, j] > 0.75:
            df.at[i, '子过程描述'] = str(df.at[i, '子过程描述']) + ' (' + str(round(similarity_matrix[i, j], 2)) + ')'
            df.at[j, '子过程描述'] = str(df.at[j, '子过程描述']) + ' (' + str(round(similarity_matrix[i, j], 2)) + ')'

# 保存结果到Excel表格
df.to_excel(r'example_similarity.xlsx', index=False)

注释中解释了每个步骤的作用：

1. 读取Excel表格数据，保存到dataframe对象df中。

2. 使用jieba对子过程描述列进行分词，并去除停用词。

3. 使用gensim中的Dictionary类构建词典，并将分词后的文本转换为文档向量。

4. 使用TF-IDF模型计算词语的权重，并得到TF-IDF特征向量。

5. 使用MatrixSimilarity计算文本之间的相似度，并保存到相似度矩阵中。

6. 遍历相似度矩阵，将相似度大于0.75的单元格标注出来。

7. 将结果保存到新的Excel表格中。

给我下面的代码写上注释，并解释他计算相似的原理import pandas as pd import jieba from gensim import corpora, models, similarities # 读取Excel表格数据 df = pd.read_excel(r'D:\pycharm_project\excel_column_similar\cosmic核减率分析\excel_test_clean.xlsx') # 使用jieba进行分词，并去除停用词 stop_words = {'的', '了', '是', '我', '你', '他', '她', '(', ')'} texts = [] for text in df['子过程描述']: words = [word for word in jieba.cut(text) if word not in stop_words] texts.append(words) print(texts) # 构建词典和文档向量 dictionary = corpora.Dictionary(texts) corpus = [dictionary.doc2bow(text) for text in texts] print(corpus) # 计算TF-IDF特征向量 tfidf = models.TfidfModel(corpus) corpus_tfidf = tfidf[corpus] print(tfidf) print(corpus_tfidf) # 计算相似度 index = similarities.MatrixSimilarity(corpus_tfidf) similarity_matrix = index[corpus_tfidf] print(index) print(similarity_matrix.shape) # 标注相似度大于0.75的单元格 for i in range(similarity_matrix.shape[0]): for j in range(i + 1, similarity_matrix.shape[1]): if similarity_matrix[i, j] > 0.75: df.at[i, '子过程描述'] = str(df.at[i, '子过程描述']) + ' (' + str(round(similarity_matrix[i, j], 2)) + ')' df.at[j, '子过程描述'] = str(df.at[j, '子过程描述']) + ' (' + str(round(similarity_matrix[i, j], 2)) + ')' # 保存结果到Excel表格 df.to_excel(r'example_similarity.xlsx', index=False)

这段代码的作用是计算Excel表格中子过程描述列的相似度，并将相似度大于0.75的单元格标注出来，最终将结果保存到另一个Excel表格中。

具体实现的步骤如下：

1. 导入需要用到的库：pandas用于数据读取和处理，jieba用于中文分词，gensim用于文本相似度计算。

2. 使用pandas读取Excel表格中的数据，保存到dataframe对象df中。

3. 使用jieba对子过程描述列进行分词，并去除停用词。

4. 使用gensim中的Dictionary类构建词典，并将分词后的文本转换为文档向量。

5. 使用TF-IDF模型计算词语的权重，并得到TF-IDF特征向量。

6. 使用MatrixSimilarity计算文本之间的相似度，并保存到相似度矩阵中。

7. 遍历相似度矩阵，将相似度大于0.75的单元格标注出来。

8. 将结果保存到新的Excel表格中。