scrapy.core.downloader.handlers.http11.TunnelError: Could not open CONNECT tunnel with proxy 210.5.10.87:53281 [{'status': 404, 'reason': b'Not Found'}]
时间: 2023-06-23 07:09:31 浏览: 2145
HTTPs tunnel over proxy-开源
这个错误是由于Scrapy无法通过代理服务器连接到目标网站造成的。可能导致这个错误的原因有很多,包括代理服务器不可用、代理服务器配置不正确、目标网站无法通过代理服务器访问等等。
首先,你可以检查代理服务器是否可用,以及代理服务器的配置是否正确。可以使用其他工具(例如curl或telnet)测试代理服务器是否工作正常。
如果代理服务器配置正确且可用,那么可能是目标网站不能通过代理服务器访问。你可以尝试直接连接目标网站,看看是否能够成功连接。如果能够成功连接,则可能需要更改Scrapy的配置,以便它能够正确地使用代理服务器。
你可以在Scrapy的配置文件中设置代理服务器,以确保它正确地使用代理服务器。在settings.py文件中可以设置HTTP代理和HTTPS代理,例如:
```
HTTP_PROXY = 'http://proxy.server:port'
HTTPS_PROXY = 'https://proxy.server:port'
```
如果你的代理服务器需要用户名和密码进行身份验证,你可以在配置文件中指定它们,例如:
```
HTTP_PROXY = 'http://user:password@proxy.server:port'
HTTPS_PROXY = 'https://user:password@proxy.server:port'
```
希望这些信息能够帮助你解决问题。
阅读全文