python 爬虫超时

### 解决 Python 爬虫请求超时问题的方法

当使用 `requests` 库进行 HTTP 请求时，可能会遇到网络延迟或其他原因导致的请求超时。为了有效应对这一情况并提高爬虫程序的稳定性，可以采取多种策略。

#### 设置合理的超时时间
通过设置合适的超时参数来控制等待服务器响应的时间长度是一个基本措施。如果未指定，则默认会一直等待直到连接建立成功或失败为止。可以通过向 `get()` 或者其他发送函数传递一个名为 `timeout` 的浮点数作为秒单位的最大允许等待时间[^4]：

import requests

try:
    response = requests.get('https://example.com', timeout=5.0)
except requests.Timeout as e:
    print(f'Timeout error occurred: {e}')

#### 使用重试机制
对于偶尔发生的短暂性错误（如临时性的网络波动），可以在捕获异常之后尝试重新发起相同的请求几次。这里展示了一个简单的例子，它会在发生超时时自动重复最多三次尝试[^1]:

from urllib3.util.retry import Retry
from requests.adapters import HTTPAdapter
import requests

session = requests.Session()
retries = Retry(total=3,
                backoff_factor=0.1,
                status_forcelist=[ 500, 502, 503, 504 ])

adapter = HTTPAdapter(max_retries=retries)
session.mount('http://', adapter)
session.mount('https://', adapter)

try:
    resp = session.get(url='https://api.github.com')
except Exception as err:
    print(err)
else:
    print(resp.status_code)

#### 处理不同类型的超时异常
除了普通的 `Timeout` 错误外，还有可能遭遇读取数据过程中断开等情况下的特定异常类——比如 `ReadTimeout` 和 `ConnectTimeout` 。针对这些特殊情况也可以分别定义不同的处理逻辑[^3] :

from requests.exceptions import ConnectTimeout, ReadTimeout

try:
    r = requests.post("http://someurl", data=payload, timeout=(connect_timeout, read_timeout))
except ConnectTimeout:
    # Handle connect timeout...
except ReadTimeout:
    # Handle read timeout...

#### 调整并发度与频率限制
过高的并发量可能导致目标网站拒绝服务甚至封禁 IP 地址；而过于频繁地访问同样会引起对方反感从而触发防护机制。因此，在编写多线程或多进程版本的爬虫之前应当充分考虑这一点，并适当降低每次抓取之间的间隔时间以及总的请求数目[^2].