使用jina将分词转为词向量

在 Jina 中，可以使用 executors 来实现将分词转为词向量的功能。常见的词向量模型有 Word2Vec、GloVe、FastText 等，这里以使用预训练的 Word2Vec 模型为例。

首先，在 `jina/exectuors/` 目录下创建一个新的 Python 文件，例如 `word2vec.py`。然后，导入 gensim 库和 BaseExecutor 类：

from gensim.models import KeyedVectors
from jina.executors import BaseExecutor

在 `word2vec.py` 文件中，定义一个 Word2VecExecutor 类，继承自 BaseExecutor 类，用于加载预训练的 Word2Vec 模型和将分词转为词向量：

class Word2VecExecutor(BaseExecutor):
    def __init__(self, model_path='data/word2vec.bin', *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.model_path = model_path
        self.model = KeyedVectors.load_word2vec_format(model_path, binary=True)

    def encode(self, data, *args, **kwargs):
        return self.model[data]

在 `__init__` 方法中，加载预训练的 Word2Vec 模型。在 `encode` 方法中，将分词作为输入数据，使用模型将其转为词向量，并返回结果。

最后，将这个 executor 添加到 Jina 流程中。在 `jina/config.yml` 文件中添加以下代码：

executors:
  - name: word2vec
    py_modules: word2vec
    metas:
      py_modules_version: '1.0'
    parameters:
      model_path: data/word2vec.bin

flows:
  encode:
    uses: word2vec

这个配置文件中，定义了一个名为 `word2vec` 的 executor，并指定预训练模型的路径。在 `flows` 中，使用 `word2vec` executor 将输入数据转为词向量。

现在，使用以下代码启动 Jina：

jina pod --uses config.yml --port-in 55555 --port-out 55556

在另一个终端中，可以使用以下代码测试这个 executor：

from jina import Client, Document

client = Client(port=55555)

doc = Document(text='hello world')
resp = client.encode([doc], output_fn=lambda x: x[0].embedding)

print(resp)

这个代码会将字符串 `'hello world'` 转为词向量，并输出结果。