写一段自动更换useragent的python爬虫
时间: 2023-07-12 07:02:56 浏览: 98
以下是一个简单的使用 Python 爬取网页,并且自动更换 User-Agent 的示例代码:
```python
import requests
import random
# 设置 User-Agent 列表
USER_AGENTS = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; AS; rv:11.0) like Gecko',
]
# 随机选择一个 User-Agent
def get_random_user_agent():
return random.choice(USER_AGENTS)
# 发送请求
def send_request(url):
headers = {
'User-Agent': get_random_user_agent()
}
response = requests.get(url, headers=headers)
return response
# 测试
url = 'https://www.baidu.com'
response = send_request(url)
print(response.text)
```
在这个示例中,我们定义了一个 `USER_AGENTS` 列表,其中包含了多个不同的 User-Agent。通过 `get_random_user_agent()` 函数,我们可以随机选择一个 User-Agent。在 `send_request()` 函数中,我们设置了请求头的 User-Agent,并且使用 `requests.get()` 函数发送了请求。最后,在测试中,我们调用 `send_request()` 函数,获取了百度首页的响应内容,并打印出来。
当然,这只是一个简单的示例,如果你需要更加复杂的 User-Agent 列表,你可以在网上找到更多的 User-Agent 列表,并且将其添加到 `USER_AGENTS` 列表中。
阅读全文