百度文库爬虫python 403

### 解决 Python 爬虫访问百度文库时出现的 403 Forbidden 错误

当尝试使用 Python 爬虫抓取百度文库的数据并遇到 `403 Forbidden` 错误时，这通常意味着服务器识别到请求并非来自真实的浏览器环境，而是自动化工具发出的请求。为了克服这一挑战，可以采取多种策略来模拟更自然的请求行为。

#### 使用自定义 Headers 和 User-Agent 字段
许多网站会通过检查 HTTP 请求头中的特定字段（如 `User-Agent`）来判断请求源是否合法。因此，在发送请求前设置合适的头部信息能够有效减少被阻止的可能性[^1]：

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

url = "https://wenku.baidu.com/view/example.html"
response = requests.get(url=url, headers=headers)

print(f"Status Code: {response.status_code}")
if response.status_code == 200:
    print("Request successful!")
else:
    print("Failed to access the page.")

#### 处理 SSL 警告与验证问题
有时目标站点可能会引发 SSL 验证失败的问题，可以通过禁用这些警告以及忽略证书校验的方式来绕过这类障碍。不过需要注意的是这样做存在安全隐患，仅适用于测试目的[^3]:

from requests.packages.urllib3.exceptions import InsecureRequestWarning
requests.packages.urllib3.disable_warnings(InsecureRequestWarning)

response = requests.get('https://example.wenku.baidu.com/', verify=False)

#### 实施延时机制防止频繁请求触发反爬措施
为了避免因短时间内发起过多请求而触犯某些网站设定的安全阈值，可以在每次请求之间加入随机等待时间间隔，从而降低被检测的风险:

import time
import random

for i in range(5):  # 假设要获取五个不同的文档
    url = f"https://wenku.baidu.com/document/{i}"
    
    try:
        resp = requests.get(url=url, headers=headers)
        
        if resp.status_code != 200:
            raise Exception("Unable to fetch document")

        # Process data here...

        sleep_time = round(random.uniform(1, 3), 2)
        print(f"Sleeping for {sleep_time} seconds before next request...")
        time.sleep(sleep_time)

    except Exception as e:
        print(e)

#### 利用代理池规避 IP 封禁风险
如果发现即使调整了上述参数仍然无法解决问题，则可能是由于IP地址被列入黑名单所致。此时可考虑借助第三方提供的动态代理服务或构建自己的代理池来进行轮询切换，以此达到隐藏真实身份的效果。