pandas 分块读取mssql数据库数据
时间: 2023-08-15 13:12:47 浏览: 65
可以使用 Python 的 pandas 库的 read_sql() 函数来从 MSSQL 数据库中读取数据。可以通过设置 chunksize 参数来实现分块读取数据。以下是一个示例代码:
```python
import pandas as pd
import pyodbc
# 连接数据库
conn = pyodbc.connect('DRIVER={SQL Server};SERVER=<server_name>;DATABASE=<database_name>;UID=<user_id>;PWD=<password>')
# SQL 查询语句
query = 'SELECT * FROM <table_name>'
# 分块读取数据
chunksize = 10000
for chunk in pd.read_sql(query, conn, chunksize=chunksize):
# 对每个数据块进行处理
# 例如,将数据块写入 CSV 文件中
chunk.to_csv('<output_file>.csv', mode='a', header=False)
# 关闭数据库连接
conn.close()
```
在上面的代码中,需要将 `<server_name>`、`<database_name>`、`<user_id>`、`<password>`、`<table_name>` 和 `<output_file>` 替换为实际的值。`chunksize` 参数控制每个数据块的大小,可以根据实际情况进行调整。在处理每个数据块时,可以根据需求进行处理,例如将数据块写入 CSV 文件中。