python爬虫403

### 解决Python爬虫请求时出现的403 Forbidden错误

当遇到HTTP 403 Forbidden错误时，表明服务器理解了客户端发出的请求但拒绝处理该请求[^2]。为了防止被反爬虫机制识别并阻止访问，可以采取以下几种策略：

#### 修改请求头信息
通过修改`requests.get()`函数中的headers参数，模拟真实的浏览器行为而非默认的Python-requests库标识。这样可以使服务器误以为请求来自真实用户的浏览器而不是自动化脚本。

import requests

url = 'http://example.com'
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
}
response = requests.get(url=url, headers=headers)
print(response.status_code)

#### 设置合理的请求间隔
频繁地向目标网站发送请求容易触发其防护措施。适当延长两次连续请求之间的时间差有助于减少这种风险。可以通过引入随机等待时间来实现这一点。

from time import sleep
import random

for i in range(number_of_requests):
    response = requests.get(url=url, headers=headers)
    # Wait between 1 to 3 seconds before making the next request.
    sleep(random.uniform(1, 3))

#### 使用代理服务
对于某些严格限制特定IP地址范围内的访问量或频率的目标站点来说，仅靠调整Headers可能不足以解决问题。此时可考虑借助第三方提供的匿名化网络节点——即所谓的“代理”，它们能够帮助隐藏原始IP地址，并绕过基于地理位置或其他因素实施的封锁政策。

proxies = {"http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080"}
response = requests.get('http://example.org', proxies=proxies)