pandas读取csv文件链接数据库并在写入数据库时与数据库信息去重

首先，我们可以使用 pandas 的 read_csv 函数读取 csv 文件。假设我们有一个名为 data.csv 的文件，它的列名为 name 和 age，我们可以这样读取：

import pandas as pd

df = pd.read_csv('data.csv')

接下来，我们可以使用 Python 的 sqlite3 模块连接到数据库。假设我们的数据库名为 mydatabase.db，我们可以这样连接：

import sqlite3

conn = sqlite3.connect('mydatabase.db')

然后，我们可以使用 pandas 的 to_sql 函数将数据写入数据库。如果我们想要在写入数据库时去重，可以在 to_sql 函数中将 if_exists 参数设置为 'append'，并将 index 参数设置为 False。这样，如果数据库中已经存在相同的记录，它们将不会被重复插入。

df.to_sql('mytable', conn, if_exists='append', index=False)

完整代码如下：

import pandas as pd
import sqlite3

# 读取 CSV 文件
df = pd.read_csv('data.csv')

# 连接数据库
conn = sqlite3.connect('mydatabase.db')

# 将数据写入数据库
df.to_sql('mytable', conn, if_exists='append', index=False)

# 关闭数据库连接
conn.close()