keras.layer.text.Tokenizer里面的参数含义

Keras中的`Tokenizer`类是用于将原始文本转换为数字列表的工具。它的主要参数如下：

- `num_words`: 整数或`None`。处理的最大单词数量。只有最常见的`num_words`个单词才会被保留。
- `filters`: 字符串，表示过滤器的列表，其中的字符将被过滤掉。默认值为`!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n`。可以根据需要进行修改。
- `lower`: 布尔值，表示是否将文本转换为小写。默认为`True`。
- `split`: 字符串，表示分隔符。默认为`' '`.
- `char_level`: 布尔值，表示是否将每个字符视为一个标记。默认为`False`。
- `oov_token`: 字符串或`None`，表示当单词不在词汇表中时用于替代的标记。默认为`None`。

例如，如果想要将文本转换为数字列表，并且只保留前1000个最常见的单词，则可以使用以下代码：

from tensorflow.keras.preprocessing.text import Tokenizer

tokenizer = Tokenizer(num_words=1000)
tokenizer.fit_on_texts(texts)
sequences = tokenizer.texts_to_sequences(texts)