利用python 将 mysql 数据进行抽取并清理成标准格式后 存入MSSql 数据中
时间: 2024-02-21 11:58:32 浏览: 113
使用Python将Mysql的查询数据导出到文件的方法
5星 · 资源好评率100%
可以使用Python中的pandas和pyodbc库来实现将MySQL数据抽取并清理成标准格式后存入MSSql数据库中的操作。具体步骤如下:
1. 首先需要安装pandas和pyodbc库,可以使用pip命令进行安装:
```python
pip install pandas
pip install pyodbc
```
2. 在Python中连接MySQL数据库,读取需要抽取的数据,清理数据并转换成标准格式。例如,将MySQL中的students表中的数据抽取出来,并将其转换成标准格式:
```python
import pandas as pd
import mysql.connector
# 连接MySQL数据库
cnx = mysql.connector.connect(user='username', password='password', host='localhost', database='mydatabase')
cursor = cnx.cursor()
# 读取MySQL中的数据
cursor.execute("SELECT * FROM students")
result = cursor.fetchall()
# 将数据转换成DataFrame格式,并清理数据
df = pd.DataFrame(result, columns=['id', 'name', 'age', 'gender'])
df.drop_duplicates(inplace=True)
df.dropna(inplace=True)
# 将数据转换成标准格式
df['age'] = df['age'].astype(int)
df['gender'] = df['gender'].apply(lambda x: 'Male' if x == 'M' else 'Female')
# 关闭MySQL数据库连接
cursor.close()
cnx.close()
```
3. 在Python中连接MSSql数据库,并将清理后的数据存入MSSql数据库中。例如,将清理后的students数据存入名为students的MSSql表中:
```python
import pyodbc
# 连接MSSql数据库
cnx = pyodbc.connect('DRIVER={ODBC Driver 17 for SQL Server};SERVER=server_name;DATABASE=database_name;UID=username;PWD=password')
# 将数据存入MSSql数据库中
df.to_sql('students', cnx, if_exists='replace', index=False)
# 关闭MSSql数据库连接
cnx.close()
```
注意:在使用pyodbc进行MSSql数据库连接时,需要安装MSSql ODBC Driver,并根据实际情况修改连接字符串中的server_name、database_name、username和password参数。
阅读全文