Python文本词频统计提取地名

在Python中，文本词频统计是一个常见的自然语言处理任务，特别是在处理文本挖掘和信息检索时。对于地名的提取，通常涉及到命名实体识别（NER），特别是地点（Location）类型的实体。Python有一些库可以方便地完成这个任务，比如`nltk`、`spaCy`、`geopy`等。

例如，`nltk`中的`FreqDist`可以用来统计单词频率，`Pattern`库或`TextBlob`提供了一些预训练的命名实体识别模型。`spaCy`是一个强大的库，它有内置的实体识别功能，包括地点名称。

以下是一个简单的例子，使用`nltk`和`spaCy`提取文本中的地名：

import nltk
from spacy import load

# 使用nltk进行词频统计
text = "北京是中国的首都，而纽约是美国的城市。"
tokens = nltk.word_tokenize(text)
freq_dist = nltk.FreqDist(tokens)
for word, freq in freq_dist.items():
    if word.lower() in ['北京', '纽约']:  # 假设我们只关心这两个特定地名
        print(f"{word}: {freq}")

# 使用spaCy提取地点
nlp = load('en_core_web_sm')  # 英语模型，根据需要选择其他语言模型
doc = nlp(text)
for ent in doc.ents:
    if ent.label_ == 'GPE':  # GPE代表地理位置
        print(f"{ent.text}: {ent.label_}")