Python实现句分割
时间: 2024-11-14 18:15:18 浏览: 18
Python中可以使用内置的`split()`函数或者第三方库如NLTK (Natural Language Toolkit) 来实现句子分割。`split()`函数默认是按照空格、换行符等空白字符来分割字符串,将其划分为单词列表。例如:
```python
sentence = "这是一个例子句子,用于演示句分割"
words = sentence.split() # 默认按空格分隔
print(words)
```
如果你需要更复杂的自然语言处理,NLTK是一个强大的工具,它包含了分词模块`word_tokenize()`,可以识别常见的英文句子边界:
```python
import jieba
from nltk.tokenize import word_tokenize
sentence = "This is an example sentence for sentence segmentation."
tokens = word_tokenize(sentence)
print(tokens)
```
这里我们使用了`jieba`库对英文句子进行了分词,对于中文文本,由于`jieba`更适合处理中文,所以`word_tokenize`在此处并不适用。
阅读全文