python 文本清理词根化和词形还原

文本清理、词根化和词形还原在自然语言处理中都是非常常见的步骤。下面我介绍一下 Python 中常用的库及其使用方法。

1. 文本清理

文本清理的目的是去除文本中的噪声数据，例如标点符号、数字、特殊符号等等。可以使用 Python 的 re 模块来进行正则表达式匹配，从而实现文本清理。

import re

text = "Hello, world! This is a sample text with some noise data. 1234%$#@"

# 去除标点符号和数字
cleaned_text = re.sub(r'[^\w\s]', '', text)
cleaned_text = re.sub(r'\d+', '', cleaned_text)

print(cleaned_text)
# Output: Hello world This is a sample text with some noise data

2. 词根化

词根化的目的是将单词转换为它们的词根形式。可以使用 Python 的 NLTK 库中的 SnowballStemmer 类来进行词根化。

from nltk.stem import SnowballStemmer

stemmer = SnowballStemmer("english")

word = "running"
stemmed_word = stemmer.stem(word)

print(stemmed_word)
# Output: run

3. 词形还原

词形还原的目的是将单词转换为它们的基本形式，例如动词的原形。可以使用 Python 的 NLTK 库中的 WordNetLemmatizer 类来进行词形还原。

from nltk.stem import WordNetLemmatizer

lemmatizer = WordNetLemmatizer()

word = "running"
lemma_word = lemmatizer.lemmatize(word, pos='v')

print(lemma_word)
# Output: run

需要注意的是，词形还原需要指定单词的词性（pos），否则可能会得到错误的结果。在上面的例子中，我们将单词的词性设置为动词（pos='v'）进行了词形还原。