python爬虫如何设置随机UA
时间: 2023-11-08 14:47:46 浏览: 52
在Python爬虫中,我们可以通过使用随机UA(User Agent)来模拟不同的浏览器访问网站,从而减少被封IP的风险。以下是一段示例代码,可以随机选择一个UA:
```python
import random
import requests
user_agents = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.63 Safari/537.36',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.246',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3']
url = "https://www.example.com"
headers = {
'User-Agent': random.choice(user_agents)
}
response = requests.get(url, headers=headers)
```
在上面的代码中,我们定义了一个列表`user_agents`,其中包含了一些常见的浏览器User Agent。然后使用`random.choice()`函数,随机选择一个UA,并将其添加到请求头中。这样我们每次请求该网站时,都会使用不同的UA,从而达到随机化的效果。