python爬虫由于目标计算机积极拒绝如何解决

Python爬虫遇到目标网站因为反爬机制而积极拒绝访问，通常会遇到IP被封禁、User-Agent被识别等问题。解决这类问题可以采取以下几个策略：

1. **设置延时请求**（Rate Limiting）：控制爬虫发送请求的速度，避免短时间内频繁访问导致服务器压力过大。可以使用`time.sleep()`函数插入适当的时间间隔。

2. **使用代理IP**：通过代理服务器进行访问，每次请求更换一个IP地址，可以购买代理池或者使用免费的公共代理服务（但要注意代理的质量和稳定性）。

3. **修改User-Agent**：模拟浏览器行为，随机选择一个合法的User-Agent字符串，可以使用`random`库生成或者使用第三方库如`fake_useragent`来生成更像浏览器的UA。

4. **使用Cookies和Session**：有些网站会根据Cookie或Session进行用户身份验证，复制并管理好这些信息可以帮助爬取。

5. **实施验证码识别**：对于需要登录后才能爬取的内容，可以考虑使用OCR技术识别验证码，或者找人手输验证码的方式。

6. **遵守Robots.txt协议**：先检查目标网站的robots.txt文件，尊重其爬虫规则，减少被封禁的可能性。

7. **使用中间件或框架**：如Scrapy框架就内置了一些处理反爬措施的功能，比如自动检测和处理各种HTTP状态码。

8. **分段爬取和分布式爬取**：将任务拆分成小部分，分别从不同的机器上进行，可以提高效率又降低被封禁的风险。

记住，爬虫时务必遵守法律法规，尊重网站的robots.txt，并尽可能减轻对目标服务器的压力。