pandas 分块读取mssql数据库指定时间数据
时间: 2023-12-07 16:04:58 浏览: 21
可以使用 `read_sql_query()` 方法来读取 MSSQL 数据库中指定时间范围内的数据。同时,可以使用 `chunksize` 参数来控制读取数据时的分块大小。
以下是一个示例代码:
``` python
import pandas as pd
import pyodbc
# 连接 MSSQL 数据库
conn = pyodbc.connect(
'DRIVER={SQL Server};'
'SERVER=your_server_name;'
'DATABASE=your_database_name;'
'UID=your_username;'
'PWD=your_password;'
)
# 设置开始时间和结束时间
start_date = '2021-07-01'
end_date = '2021-07-31'
# 定义 SQL 查询语句
query = f"SELECT * FROM your_table_name WHERE date BETWEEN '{start_date}' AND '{end_date}'"
# 分块读取数据
chunksize = 10000
df_list = []
for chunk in pd.read_sql_query(query, conn, chunksize=chunksize):
df_list.append(chunk)
# 合并数据
df = pd.concat(df_list)
```
在上述示例代码中,需要替换 `your_server_name`、`your_database_name`、`your_username`、`your_password` 和 `your_table_name` 等参数为实际的值。同时,也需要根据实际情况调整 `chunksize` 参数的大小。