Python3:遍历文件夹Excel导入MySQL数据库,源码示例

需积分: 45 34 下载量 95 浏览量 更新于2024-08-05 5 收藏 3KB TXT 举报
本文档提供了一个Python脚本,用于在Python3环境下遍历指定文件夹下的Excel文件,并将数据导入MySQL数据库。主要关注的关键知识点包括文件系统操作、Excel文件读取、数据库连接以及数据处理。 1. **Python库使用**: - `os` 库用于处理文件和目录操作,如获取文件路径。 - `uuid` 库可能用于生成唯一的文件或表名,但在这段代码中并未直接使用。 - `pymysql` 是Python的MySQL数据库连接模块,用于与MySQL服务器交互。 - `xlrd` 是一个用于读取Excel(.xls 和 .xlsx)文件的库。 - `sys` 库用于获取系统信息,这里用于打印文件大小。 2. **数据库连接函数`mysql_link`**: - 函数接收数据库名称作为参数,尝试连接本地MySQL服务器(localhost),使用root用户登录,密码为"XXX",连接到指定的数据库。如果连接失败,将输出错误信息。 3. **读取Excel文件函数`open_excel`**: - 该函数接受一个Excel文件路径,尝试打开并读取文件,返回`xlrd`对象表示的Workbook。如果文件打开失败,会输出错误消息。 4. **数据检查函数`check_empty`**: - 对于要插入数据库的值进行检查,如果值为空字符串,则将其设置为0。 5. **存储数据函数`store_to`**: - 主要的业务逻辑在这里,首先调用`mysql_link`函数连接数据库。然后: - 循环遍历Excel文件中的所有Sheet(排除特定的空字符串Sheet名)。 - 对每个Sheet,获取其行数。 - 遍历每行数据(从第2行开始,因为第1行通常包含表头),将数据转换为列表并存储。 - 对第15列(tuhao变量)的特殊处理可能是数据清洗或特定字段的操作。 6. **整体流程**: - 用户需要提供数据库名称、表名以及要处理的Excel文件路径,程序会逐个读取Excel文件的Sheet,对数据进行预处理(例如去除空值),然后将数据逐条插入到指定的MySQL数据库表格中。 通过这个脚本,可以实现自动化地从Excel文件中提取数据并批量导入MySQL数据库,适用于数据迁移、报表生成等场景。注意,为了实际运行此脚本,你需要替换掉`host`、`user`、`passwd`和`db`参数,并确保所有依赖的库已安装。此外,代码中的字符串处理部分可能存在优化空间,如统一处理不同类型的空值和数据清洗需求。