Python爬虫中的错误重试策略

# 1. Python爬虫的基本原理

#### 2.1 数据抓取方式

在实际开发中，数据抓取方式主要分为静态页面抓取和动态页面抓取。静态页面抓取是指直接获取网页源代码进行解析，而动态页面抓取则需要模拟浏览器行为加载网页内容。针对不同类型的网页，需要选择合适的抓取方式来获取所需数据。

##### 2.1.1 静态页面抓取

静态页面抓取适用于内容较为简单、无需动态加载的网页。通过网络请求获取页面源代码，利用解析库如BeautifulSoup进行信息提取。这种方式操作简单，但对于使用JavaScript动态渲染的网页无法直接获取。

##### 2.1.2 动态页面抓取

动态页面抓取则需要借助工具模拟浏览器行为，如Selenium库可以实现网页加载和操作，从而获取动态生成的数据。虽然相对复杂，但适用范围更广泛，能应对大部分网站的数据获取需求。

# 2. Python爬虫的数据解析与存储

#### 3.1 数据解析方法

##### 3.1.1 正则表达式解析

正则表达式是一种强大的文本匹配工具，通过定义搜索模式来匹配和处理字符串。在Python中，可以使用re模块来进行正则表达式操作。下面是一个简单的示例代码，演示如何用正则表达式从HTML中提取链接信息：

import re

html_content = "<a href='https://www.example.com'>Example Website</a>"
links = re.findall(r'href=[\'"]?(.*?)[\'"\s]', html_content)

for link in links:
    print(link)

以上代码中，通过正则表达式`r'href=[\'"]?(.*?)[\'"\s]'`匹配HTML中的链接信息，并将匹配结果打印输出。

##### 3.1.2 XPath解析

XPath是一种在XML文档中定位节点的语言，同样也可以应用在HTML文档的解析中。在Python中，可以使用lxml库结合XPath来解析HTML文档。以下是一个示例代码，展示如何从HTML中提取特定内容：

from lxml import etree

html_content = "<div><p>Hello, World!</p></div>"
tree = etree.HTML(html_content)

result = tree.xpath('//p/text()')
print(result[0])

上述代码中，通过XPath表达式`//p/text()`选取HTML中的段落内容，并输出结果。

##### 3.1.3 JSON解析

JSON是一种轻量级的数据交换格式，常用于数据传输与存储。在Python中，可以使用json模块来解析JSON数据。以下是一个简单的示例代码，演示如何解析JSON格式的数据：

import json

json_data = '{"name": "Alice", "age": 25, "city": "New York"}'
data = json.loads(json_data)

print(data['name'])
print(data['age'])
print(data['city'])

以上代码中，利用json.loads()方法解析JSON数据，并按照键值对的方式访问数据。

#### 3.2 数据存储方式

##### 3.2.1 文件存储

数据爬取后，通常需要将数据进行存储。一种简单的方式是将数据写入到文件中。Python提供了open()函数来操作文件。以下是一个示例代码，将文本内容写入到文件中：

with open('data.txt', 'w') as file:
    file.write('Hello, World!')

通过以上代码，将字符串'Hello, World!'写入到名为data.txt的文件中。

##### 3.2.2 数据库存储

除了文件存储，还可以将爬取的数据存储到数据库中。Python的SQLAlchemy库提供了对多种数据库的支持。以下是一个简单示例，将数据插入SQLite数据库：

from sqlalchemy import create_engine, Column, String, Integer
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker

Base = declarative_base()

class User(Base):
    __tablename__ = 'users'
    id = Column(Integer, primary_key=True)
    name = Column(String)
    age = Column(Integer)

engine = create_engine('sqlite:///data.db')
Base.metadata.create_all(engine)
Session = sessionmaker(bind=engine)
session = Session()

new_user = User(name='Bob', age=30)
session.add(new_u