clickhouse 往S3插入数据拆分文件

ClickHouse是一款列式数据库管理系统，常用于在线分析处理（OLAP）场景。将数据从ClickHouse导出到Amazon S3通常涉及到以下几个步骤：

1. **设置连接**: 首先需要在ClickHouse中安装插件，比如`clickhouse-s3-storage-plugin`，以便支持S3存储。

2. **创建表**: 创建一个指向S3存储的外部表，并指定所需的分区策略。例如，可以按照日期或哈希值拆分文件。语法类似：

   CREATE TABLE s3_table (
       ...
   ) ENGINE = S3('s3://bucket/path', 'key_format=YYYYMMDD/part-%Y%m%d%H%M%S')

这里`key_format`指定了S3键的格式，可以根据需求自定义。

3. **数据导出**: 使用`INSERT INTO`命令将数据加载到这个外部表。可以一次性插入所有数据，或者分批插入，如通过`SELECT INTO OUTFILE`导出CSV格式的数据到临时目录，然后批量上传到S3。

4. **文件拆分**: 在本地或服务器上，你可以使用shell脚本、Python或其他工具对导出的文件进行拆分。这通常基于预设的格式（如日期），将大文件切割成小文件便于管理。

5. **上传至S3**: 将分割后的文件一个个上传到S3指定的路径下。

6. **清理本地文件**: 完成上传后，可以删除本地的临时文件。

**注意事项**：
- 数据量较大时，最好采用异步方式，避免阻塞主进程。
- 确保S3权限设置正确，能够读写目标存储区域。