本文档主要介绍了如何在Docker环境下搭建Elasticsearch (ES) 和Kibana，并实现文档解析及搜索功能。通过安装Docker，然后依次部署ES和Kibana，接着解析不同类型的文档（如xlsx、docx、pdf）存储到ES，最后设置查询接口，能够根据输入的词语搜索包含该词语的文档名称。
### 1. 安装Docker
首先，按照提供的链接(https://gitee.com/w_qingfeng/learning-notes.git)安装Docker，确保其正确安装并能在本地运行。
### 2. 搭建Elasticsearch
#### 2.1 启动Elasticsearch容器
使用以下命令启动一个Elasticsearch容器，配置为单节点模式：
```
docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.17.1
```
参数说明：
- `-d`：后台运行容器。
- `--name es`：设置容器名为es。
- `-p 9200:9200` 和 `-p 9300:9300`：分别映射9200和9300端口，供外部访问和集群通信。
- `-e "discovery.type=single-node"`：设置为非集群模式。
#### 2.2 新建挂载目录
创建挂载目录用于存放配置文件、插件和数据：
```
mkdir -p /mydata/docker/es/config/
mkdir -p /mydata/docker/es/plugins/
mkdir -p /mydata/docker/es/data/
```
#### 2.3 复制配置文件
将容器内的配置文件复制到挂载目录：
```
docker cp es:/usr/share/elasticsearch/config/elasticsearch.yml /mydata/docker/es/config/elasticsearch.yml
```
#### 2.4 安装IK分词器
下载并解压elasticsearch-analysis-ik-7.17.1.zip，然后将其上传到 `/mydata/docker/es/plugins/ik/` 目录下。
#### 2.5 配置文件授权
赋予挂载目录相应的权限：
```
cd /mydata/docker/
chmod -R 777 es/
```
#### 2.6 重启Elasticsearch容器
重新启动容器以应用配置更改：
```
docker stop es
docker start es
```
### 3. 搭建Kibana
使用类似的方法启动Kibana容器，确保与Elasticsearch在同一网络下：
```
docker run -d --name kibana -p 5601:5601 --link es:elasticsearch kibana:7.17.1
```
### 4. 文档解析
为了将xlsx、docx、pdf等文档解析并存入ES，需要编写相应的解析程序。例如，可以使用Python的`pandas`库解析xlsx，`python-docx`库解析docx，`PyPDF2`库解析pdf。解析后的数据转换为JSON格式，通过ES的HTTP REST API存储到索引中。
### 5. 实现搜索接口
创建一个API接口，接收用户输入的词语，查询ES中的文档，返回包含该词语的文档名称。这可以通过编程语言（如Python、Java、Node.js等）实现，调用ES的搜索API进行查询。
### 6. 测试与优化
测试搜索功能，确保能正确返回结果。根据需求可能需要进行性能优化，如调整ES索引设置，优化查询语句，或者考虑使用更高效的数据结构和算法。
总结，通过以上步骤，我们可以构建一个基本的文档检索系统，它能够处理多种类型的文档，支持关键词搜索，并通过Kibana提供可视化界面。这为信息检索和数据分析提供了便利。
我的内容管理
展开
