爬虫结果显示非法请求什么原因，我都把浏览器请求头里参数都搬到爬虫里了？

非法请求的原因可能有多种，以下是一些常见的原因：

1. 网站对爬虫进行了反爬虫设置，例如设置了验证码、访问频率限制等等。您可以尝试模拟人类的行为，例如增加访问间隔、使用代理IP等等来规避反爬虫设置。

2. 爬虫的请求头与浏览器的请求头不完全一致，例如缺少某些参数或者参数值不正确。您可以尝试使用浏览器工具来查看请求头，确认您的爬虫请求头与浏览器请求头一致。

3. 爬虫的请求被网站拦截，可能是因为您的请求过于频繁或者请求量过大。您可以尝试减少请求频率，或者使用多个IP地址轮流请求来规避拦截。

总之，非法请求的原因比较复杂，需要具体情况具体分析。建议您认真分析网站的反爬虫设置和请求头信息，尝试调整爬虫程序，提高请求成功率。

相关问题

如何设置爬虫的请求参数？

根据提供的引用内容，可以使用Python中的requests库来设置爬虫的请求参数。具体步骤如下：

1. 首先需要安装requests库，可以使用以下命令进行安装：

   pip install requests

2. 导入requests库：

   import requests

3. 设置请求参数，可以使用字典类型来设置：

   params = {'limit': '20', 'pageNum': '1'}

4. 发送请求并获取响应：

   url = 'https://www.oklink.com/zh-cn/btc/tx-list'
   response = requests.get(url, params=params)

在上述代码中，url为目标网址，params为请求参数，使用get方法发送请求并获取响应。

5. 最后可以通过response.text来获取响应内容。

完整代码如下：

import requests

params = {'limit': '20', 'pageNum': '1'}
url = 'https://www.oklink.com/zh-cn/btc/tx-list'
response = requests.get(url, params=params)
print(response.text)

爬虫每个请求cookie值都改变

爬虫每个请求的 cookie 值都改变可能是由于以下几种情况导致的：

1. 网站的反爬虫机制：一些网站为了防止被爬虫抓取数据，会在每个请求中动态生成并更改 cookie 值。这样做可以使爬虫难以模拟真实用户的行为，增加反爬虫的难度。

2. Session 管理：有些网站使用 session 管理来跟踪用户的状态和身份验证。每个请求都会生成一个新的 session，会导致 cookie 值改变。

3. 基于时间戳或随机数的 cookie：某些网站会将时间戳或随机数作为 cookie 的一部分，每次请求都会生成一个新的 cookie 值，以增加安全性。

针对这种情况，你可以尝试以下解决方案：

1. 观察 cookie 值的生成规律：尝试观察每个请求中 cookie 值的生成规律，如果有一定的规律可循，可以在爬取时动态生成相应的 cookie 值。

2. 使用 Session：如果网站使用了 session 管理，你可以在爬取时保持 session 的状态，确保每个请求使用相同的 session，从而保持 cookie 值的一致性。

3. 伪造真实用户行为：模拟真实用户的行为，例如通过浏览器模拟点击、滚动等操作，以尽可能接近真实用户的访问方式。

请注意，使用爬虫爬取网站时需要遵守相关的法律和网站的使用条款，确保合法使用爬取到的数据。