Python爬虫获取船舶MMSI：实战与数据库入库

本篇文章主要介绍了如何使用Python实现从船讯网这样的网站获取船舶的MMSI码，以满足工作中的需求。作者首先通过分析网络请求，发现网站提供的API接口是未加密的GET请求，可以直接通过改变参数来获取数据。以下步骤详细展示了如何使用Python库如`requests`, `pandas`, 和 `pymysql` 来实现这一功能： 1. **目的与需求**：目标是编写Python代码，能够自动查询指定船舶名称并抓取其对应的MMSI码。这个需求源于实际工作中遇到的问题，需要从船讯网网站上抓取信息。 2. **分析与策略**： - 作者利用开发者工具（F12）观察网页源代码，跟踪了在输入船舶名称后发送的请求，并发现请求方法为GET且数据未加密。 - 由于请求是无状态的，作者选择通过`requests`库发送GET请求，并设置合理的间隔（0.5秒），以避免对服务器造成过大压力。 - 数据处理策略包括异常处理，当查询结果出现时，会将数据存储为Excel文件或直接插入到`pymysql`数据库。考虑到效率，批量插入每批300条数据。 3. **代码实现**： - 定义了一个名为`company_ship_in_database`的类，包含了数据库连接和操作的方法。 - 在类中，初始化数据库连接，并定义了`in_database`方法，该方法接收一个包含船舶数据的列表。 - 使用循环遍历数据列表，对于每一条数据，构造SQL语句（插入语句）用于一次性插入多条记录。这里使用了字符串格式化来插入船舶名称（oc_name）、船名（ship_name）和MMSI码。 4. **核心部分**： - 通过`for`循环中的`format()`函数，将数据列表中的每个元素的第1个字典（假设每个元素是一个包含三个字段的字典）转换为字符串，插入到SQL的值部分。SQL头部分固定，每条记录用三元组括号括起来，最后通过切片操作去掉最后一个逗号和闭合的括号。 这篇文章提供了一种实用的方法，通过Python编程自动化从船讯网获取船舶信息，将其存储到数据库中，便于后续数据分析和管理。通过合理的并发控制和数据批量操作，提高了处理效率并降低了对服务器的压力。