Python 实现文本共现网络分析

在Python中，文本共现网络（Co-occurrence Network）通常用于词频统计和探索词语之间的关联性，比如通过Word2Vec、TF-IDF等技术。以下是使用Python实现此类分析的一般步骤：

1. **数据预处理**：
- 文本清洗：去除标点、停用词、数字和特殊字符。
- 分词：将文本切分为单词或词语。

2. **构建共现矩阵**：
- 使用`collections.Counter`或`sklearn.feature_extraction.text.CountVectorizer`计算每个词汇在文档集合中的频率或TF-IDF值。
- 将高频词语配对形成共现对，并统计它们在同一上下文中的出现次数。

3. **创建网络结构**：
- 选择一个阈值，只保留共现次数超过该阈值的词语作为节点，形成无向图或有向图。
- 根据共现频率建立边（邻接矩阵），表示词语之间的联系。

4. **可视化网络**：
- 使用如`networkx`库绘制图形，可以查看词语之间的关联程度。

5. **分析网络特征**：
- 计算中心度指标（如度、 closeness centrality 或 pagerank）来评估词语的重要性。
- 发现群组或社区，使用如`community`包执行社区检测。

import nltk
from collections import Counter
from sklearn.feature_extraction.text import TfidfVectorizer
import networkx as nx

# 示例代码片段
nltk.download('stopwords')
stop_words = set(nltk.corpus.stopwords.words('english'))

def create_coocurrence_graph(texts):
    vectorizer = TfidfVectorizer(stop_words=stop_words)
    cooccurrence_matrix = vectorizer.fit_transform(texts)

    # 可视化前N个最常见的词语及其共现
    top_n = 10
    graph = nx.from_numpy_array(cooccurrence_matrix.toarray()[:top_n, :top_n])
    
    return graph

texts = ["这是第一个句子", "这是第二个句子"]
graph = create_coocurrence_graph(texts)