爬虫403问题解决urllib.error.HTTPError: HTTP Error 403: Forbidden

当你使用 urllib 库进行网络请求时，出现 HTTP Error 403: Forbidden 错误，这意味着服务器拒绝了你的请求。这通常是因为你的请求被防火墙或网站服务器拦截。

有一些方法可以解决这个问题：

1. 修改 User-Agent

有些网站会根据 User-Agent 来判断请求的来源，如果 User-Agent 不合法，就会拒绝请求。因此，你可以通过修改 User-Agent 来模拟浏览器请求。例如：

import urllib.request

url = 'http://www.example.com/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
html = response.read()

2. 使用代理IP

如果你的 IP 被网站服务器封禁，可以使用代理 IP 来绕过限制。例如：

import urllib.request

url = 'http://www.example.com/'
proxy = urllib.request.ProxyHandler({'http': 'http://127.0.0.1:8888'})
opener = urllib.request.build_opener(proxy)
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read()

其中，`http://127.0.0.1:8888` 是代理服务器的地址。你可以在网上找到一些免费的代理服务器，在代码中修改为对应的地址即可。

3. 等待一段时间再请求

有些网站会对频繁请求进行限制，你可以等待一段时间再进行请求，或者减少请求频率。如果你是在爬取大量数据，建议使用异步爬虫库，如 asyncio、aiohttp 等，可以提高效率，并减少请求频率。

以上是一些常见的方法，但不保证一定可以解决问题。在实际操作中，还需要根据具体情况进行调整。