python中文文本向量化代码
时间: 2023-11-12 13:43:03 浏览: 247
在Python中,可以使用sklearn库中的CountVectorizer或TfidfVectorizer来将中文文本向量化。以下是一个示例代码:
```python
from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer
# 中文文本数据样本
corpus = ['我 爱 中国', '中国 文化 传统', '中国 历史 悠久']
# 使用CountVectorizer进行向量化
count_vectorizer = CountVectorizer()
count_vectorizer.fit(corpus)
count_vectors = count_vectorizer.transform(corpus)
print("Count向量化结果:")
print(count_vectors.toarray())
# 使用TfidfVectorizer进行向量化
tfidf_vectorizer = TfidfVectorizer()
tfidf_vectorizer.fit(corpus)
tfidf_vectors = tfidf_vectorizer.transform(corpus)
print("TF-IDF向量化结果:")
print(tfidf_vectors.toarray())
```
以上代码将会输出向量化后的结果。CountVectorizer使用简单的词频统计来生成向量,而TfidfVectorizer使用词频-逆文档频率来生成向量。你可以根据具体需求选择使用哪一种方式。
阅读全文