请给出nltk分词的代码示例

以下是使用 NLTK 进行分词的代码示例：

import nltk
from nltk.tokenize import word_tokenize

# 要进行分词的文本
text = "Hello, how are you doing today?"

# 使用 NLTK 进行分词
tokens = word_tokenize(text)

# 打印结果
print(tokens)

运行以上代码，输出将是一个包含分词结果的列表：

['Hello', ',', 'how', 'are', 'you', 'doing', 'today', '?']

这里我们使用了 NLTK 的 `word_tokenize` 函数进行分词，它将输入的文本字符串分割成单词列表。你可以根据需要调整代码，并将自己的文本传递给 `word_tokenize` 函数进行分词。

相关问题

nltk英文分词代码

NLTK（Natural Language Toolkit）是一个广泛使用的Python库，用于处理自然语言文本数据。对于英文分词（Tokenization），Nltk提供了一些方便的工具。以下是一个基本的例子，展示如何使用nltk对英文文本进行分词：

import nltk
from nltk.tokenize import word_tokenize

# 加载停用词列表（如果需要）
nltk.download('punkt')
nltk.download('stopwords')

# 示例文本
text = "This is a sample sentence for tokenization."

# 使用word_tokenize进行分词
tokens = word_tokenize(text)

# 输出分词结果（包含标点符号）
print(tokens)

在这个例子中，`word_tokenize()`函数会将句子分割成单词，忽略空格以外的字符。如果你想移除停用词（如"a", "is"等常见词汇），可以先加载停用词列表并过滤掉：

from nltk.corpus import stopwords
stop_words = set(stopwords.words('english'))

filtered_tokens = [token for token in tokens if token.lower() not in stop_words]
print(filtered_tokens)

python nltk 分词分句

使用nltk库进行分词和分句非常方便。首先需要安装nltk库，然后下载punkt模块，代码如下：

import nltk

nltk.download('punkt')

接着就可以使用word_tokenize()函数进行分词，使用sent_tokenize()函数进行分句，示例代码如下：

from nltk.tokenize import word_tokenize, sent_tokenize

text = "Hello world. How are you today?"
tokens = word_tokenize(text)
sentences = sent_tokenize(text)

print(tokens)
print(sentences)

输出结果为：

['Hello', 'world', '.', 'How', 'are', 'you', 'today', '?']
['Hello world.', 'How are you today?']