python爬虫获取美食数据
时间: 2024-01-05 19:18:07 浏览: 92
Python爬虫获取美食数据的步骤如下:
```python
# 引入requests库和pyquery库
import requests
from pyquery import PyQuery as pq
# 设置请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 发送请求并获取响应
url = 'https://www.meishij.net/chufang/diy/'
response = requests.get(url, headers=headers)
# 解析HTML并获取数据
doc = pq(response.text)
items = doc('.listtyle1 li').items()
for item in items:
name = item.find('.listtyle1_title a').text()
url = item.find('.listtyle1_title a').attr('href')
img_url = item.find('.listtyle1_img img').attr('src')
print(name, url, img_url)
```
以上代码可以获取美食网站“美食杰”中的菜谱名称、链接和图片链接。其中,requests库用于发送请求,pyquery库用于解析HTML,通过设置请求头模拟浏览器访问,从而避免被网站反爬虫机制拦截。具体用法可以参考引用和引用提供的学习资料。
阅读全文