如何应用到opennmt-tf里面？

在OpenNMT-tf中，分词和数据预处理可以通过以下方式应用：

1. 分词

在OpenNMT-tf中，可以通过在配置文件中指定tokenizer参数来选择使用哪种分词工具。例如，使用jieba分词的配置如下：

data:
  source_vocabulary: data/vocab.src
  target_vocabulary: data/vocab.tgt
  train_features_file: data/train.src
  train_labels_file: data/train.tgt
  eval_features_file: data/dev.src
  eval_labels_file: data/dev.tgt
  tokenizer: jieba

在训练和推理时，OpenNMT-tf会自动调用指定的分词工具对输入文本进行分词。

2. 数据预处理

在OpenNMT-tf中，数据预处理可以通过在配置文件中指定数据处理参数来实现。例如，使用Word2Vec进行词向量化的配置如下：

data:
  source_vocabulary: data/vocab.src
  target_vocabulary: data/vocab.tgt
  train_features_file: data/train.src
  train_labels_file: data/train.tgt
  eval_features_file: data/dev.src
  eval_labels_file: data/dev.tgt
  source_embedding:
    path: data/word2vec.model
    trainable: false
  target_embedding:
    path: data/word2vec.model
    trainable: false

在这个例子中，我们指定了词向量化的模型路径，并将其设置为不可训练的。在训练和推理时，OpenNMT-tf会自动加载指定的词向量模型对输入文本进行转换。

需要注意的是，OpenNMT-tf中的分词和数据预处理参数还有很多，具体使用时需要根据实际情况进行调整。