dataframe数据存入数据库

在Python中，可以使用Pandas库的`to_sql()`函数将DataFrame直接写入数据库。这通常比逐行操作数据库更高效，特别是在处理大型数据集时[^1]。

例如，假设你已经有一个DataFrame `df` 并想将其保存到SQLite数据库：

import sqlite3
from sqlalchemy import create_engine

# 创建引擎连接数据库（这里以SQLite为例）
engine = create_engine('sqlite:///my_database.db')

# 使用to_sql方法将DataFrame写入数据库
df.to_sql(name='table_name', con=engine, if_exists='replace')  # 'if_exists'参数可选，如'drop'会删除现有表再创建新表

对于Hive数据库，虽然Hive表本质上是基于文本文件（如CSV），但你可以先将DataFrame转换为CSV格式，然后上传到HDFS中，最后通过Hive命令创建表并加载数据[^2]。例如：

df.to_csv('output.csv', index=False)
!hadoop fs -put output.csv /path/to/hive/warehouse/my_table/

接着，在Hive中执行SQL创建表并加载数据：

CREATE TABLE my_table (LIKE other_table);
LOAD DATA LOCAL INPATH '/path/to/hive/warehouse/my_table/output.csv' INTO TABLE my_table;