Python3:遍历文件夹Excel导入MySQL数据库,源码示例
需积分: 45 95 浏览量
更新于2024-08-05
5
收藏 3KB TXT 举报
本文档提供了一个Python脚本,用于在Python3环境下遍历指定文件夹下的Excel文件,并将数据导入MySQL数据库。主要关注的关键知识点包括文件系统操作、Excel文件读取、数据库连接以及数据处理。
1. **Python库使用**:
- `os` 库用于处理文件和目录操作,如获取文件路径。
- `uuid` 库可能用于生成唯一的文件或表名,但在这段代码中并未直接使用。
- `pymysql` 是Python的MySQL数据库连接模块,用于与MySQL服务器交互。
- `xlrd` 是一个用于读取Excel(.xls 和 .xlsx)文件的库。
- `sys` 库用于获取系统信息,这里用于打印文件大小。
2. **数据库连接函数`mysql_link`**:
- 函数接收数据库名称作为参数,尝试连接本地MySQL服务器(localhost),使用root用户登录,密码为"XXX",连接到指定的数据库。如果连接失败,将输出错误信息。
3. **读取Excel文件函数`open_excel`**:
- 该函数接受一个Excel文件路径,尝试打开并读取文件,返回`xlrd`对象表示的Workbook。如果文件打开失败,会输出错误消息。
4. **数据检查函数`check_empty`**:
- 对于要插入数据库的值进行检查,如果值为空字符串,则将其设置为0。
5. **存储数据函数`store_to`**:
- 主要的业务逻辑在这里,首先调用`mysql_link`函数连接数据库。然后:
- 循环遍历Excel文件中的所有Sheet(排除特定的空字符串Sheet名)。
- 对每个Sheet,获取其行数。
- 遍历每行数据(从第2行开始,因为第1行通常包含表头),将数据转换为列表并存储。
- 对第15列(tuhao变量)的特殊处理可能是数据清洗或特定字段的操作。
6. **整体流程**:
- 用户需要提供数据库名称、表名以及要处理的Excel文件路径,程序会逐个读取Excel文件的Sheet,对数据进行预处理(例如去除空值),然后将数据逐条插入到指定的MySQL数据库表格中。
通过这个脚本,可以实现自动化地从Excel文件中提取数据并批量导入MySQL数据库,适用于数据迁移、报表生成等场景。注意,为了实际运行此脚本,你需要替换掉`host`、`user`、`passwd`和`db`参数,并确保所有依赖的库已安装。此外,代码中的字符串处理部分可能存在优化空间,如统一处理不同类型的空值和数据清洗需求。
2019-09-27 上传
2024-11-12 上传
2024-11-12 上传
2024-11-12 上传
2012-07-09 上传
2022-12-13 上传
2019-07-28 上传
2022-10-04 上传
Cooding进行中
- 粉丝: 4
- 资源: 5
最新资源
- 长整数运算系统(C++)
- Green-Marl:用于高效图形分析的DSL
- Redime en Amazon.com con puntos tuplús-crx插件
- csv-utilities:一个简单的实用程序,用于处理和转换csv数据字符串
- api-docs:Yetti ReST API 文档
- jaamsa
- 2015-2016短期电力负荷预测数据集
- 2d-pharmacophore-search:简单的rdkit脚本
- GettingBetterApp
- Công cụ đặt hàng của 123po.vn-crx插件
- Essay-Grading-System:最后一年的项目 - 使用机器学习自动评分论文
- test
- simplsockets:SimplSockets是一种轻便,高性能,功能强大的.NET套接字包装器,使通过Sockets进行通信变得简单而高效。 它是Dache分布式缓存项目的衍生产品
- fs-readstream-progress:发出进度事件的fs.createReadStream包装器。 也适用于超级驱动器
- rpmrebuild:从rpm数据库生成rpm文件的工具
- time_planner:一个时间规划器,用于在桌子上显示任务的颤振