python批量导入数据到clickhouse

可以使用Python中的clickhouse-driver库来批量导入数据到ClickHouse。

以下是一个基本的示例代码：

from clickhouse_driver import Client

client = Client(host='localhost', port=9000)

# 创建表
client.execute('CREATE TABLE example (id Int32, name String) ENGINE = Memory')

# 准备数据
data = [(1, 'Alice'), (2, 'Bob'), (3, 'Charlie')]

# 执行批量插入
client.execute('INSERT INTO example (id, name) VALUES', data)

在这个例子中，我们首先创建了一个ClickHouse客户端对象，并连接到本地主机的ClickHouse服务器。接着，我们创建了一个名为“example”的内存表，并准备了一些数据。

最后，我们使用`execute()`方法将数据批量插入到ClickHouse表中。需要注意的是，我们使用了`VALUES`关键字，而不是`VALUE`，这是因为我们想要插入多个值，而不是单个值。

如果你的数据量很大，可以考虑使用ClickHouse的CSV格式批量加载数据，这可以更快地导入大量数据。以下是一个使用CSV格式批量导入数据的示例代码：

from clickhouse_driver import Client

client = Client(host='localhost', port=9000)

# 创建表
client.execute('CREATE TABLE example (id Int32, name String) ENGINE = Memory')

# 准备数据
data = [(1, 'Alice'), (2, 'Bob'), (3, 'Charlie')]

# 将数据写入CSV文件
with open('example.csv', 'w') as f:
    for row in data:
        f.write(f'{row[0]},{row[1]}\n')

# 执行批量插入
client.execute('INSERT INTO example FORMAT CSV', open('example.csv', 'rb').read())

在这个例子中，我们首先创建了一个ClickHouse客户端对象，并连接到本地主机的ClickHouse服务器。接着，我们创建了一个名为“example”的内存表，并准备了一些数据。

然后，我们将数据写入CSV文件中，并使用`execute()`方法将CSV文件批量插入到ClickHouse表中。需要注意的是，我们使用了`FORMAT CSV`关键字，这告诉ClickHouse我们要使用CSV格式导入数据。