使用Python爬取淘宝商品信息并存储到MySQL数据库

该代码示例是一个Python程序，用于从淘宝的特定搜索结果页面抓取商品信息，并将这些信息存储到MySQL数据库中。程序主要使用了`requests`库进行网络请求，`lxml`库解析HTML，以及`pymysql`库与MySQL数据库交互。 首先，程序导入了必要的模块： 1. `sys`：系统模块，可能在这个例子中并未使用，但通常用于处理系统相关的任务，如获取脚本参数。 2. `requests`：一个流行的Python库，用于发送HTTP请求，如获取网页内容。 3. `pymysql`：Python连接MySQL数据库的库。 4. `lxml`：用于解析XML和HTML文档的库，这里用于解析淘宝商品页面的HTML。 接下来，定义了一些常量，如请求头（伪装成浏览器访问）和要抓取的页面总数（`totalPages`）。然后建立了一个到本地MySQL数据库的连接，创建游标对象以执行SQL命令。 `save`函数用于将抓取的商品信息插入数据库。它接收一个商品列表，通过遍历列表中的每个商品字典，使用`cursor.execute()`执行SQL插入语句。注意这里的SQL语句使用了占位符（%s）来防止SQL注入攻击。每次执行完批量插入后，都会提交事务以保存更改。 `parse`函数负责解析从网页请求中返回的HTML文本。它使用`etree.HTML()`解析HTML，然后通过XPath表达式选取包含商品信息的`div`元素。对于每个商品元素，它提取商品链接、标题、价格、店铺名称等相关属性，并将这些信息存储在一个列表中，供`save`函数进一步处理。 在`main`部分，程序可能会对每个页面进行迭代，使用`requests.get()`发送HTTP请求获取页面内容，然后调用`parse`函数解析内容，最后调用`save`函数将数据保存到数据库。 此程序展示了如何结合使用Python的网络请求和HTML解析库来爬取网页数据，并将其存储到关系型数据库中。这在数据分析、监控市场趋势或自动化数据获取等场景中非常常见。然而，需要注意的是，这样的行为应当遵守网站的robots.txt规则以及相关法律法规，以免侵犯他人的版权或隐私。此外，频繁的请求可能会被视为DDoS攻击，所以最好加入适当的延时或使用代理IP以避免被封禁。