python正则表达式 提取token

可以使用正则表达式来提取token，具体步骤如下：

1. 定义正则表达式，例如可以使用`\w+`匹配所有的单词字符。

2. 使用`re.findall()`函数来查找所有匹配的token，并将结果存储在一个列表中。

3. 对于多个token的情况，可以使用`re.split()`函数来将字符串按照token分割成多个部分。

示例代码如下：

import re

# 定义正则表达式
pattern = r'\w+'

# 待匹配的字符串
text = 'This is a tokenized text.'

# 提取所有的token
tokens = re.findall(pattern, text)

# 输出结果
print(tokens)

输出结果为：`['This', 'is', 'a', 'tokenized', 'text']`。