python爬取外卖数据
时间: 2023-09-28 08:09:29 浏览: 158
首先,你需要确定你想要爬取哪个外卖平台的数据,因为每个平台的网页结构不同,需要针对不同的平台编写不同的爬虫代码。
一般来说,爬取外卖数据需要以下步骤:
1. 发送 GET 请求获取网页内容;
2. 使用 BeautifulSoup 或者其它的 HTML 解析库解析网页内容;
3. 找到需要的数据所在的 HTML 标签,提取数据;
4. 对于需要翻页的情况,可以模拟点击翻页按钮或者直接修改 url 来获取下一页的数据;
5. 将提取的数据保存到本地或者数据库中。
下面是一个简单的示例代码,以爬取饿了么平台的商家信息为例:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.ele.me/restapi/shopping/restaurants?extras%5B%5D=activities&geohash=ws0e7wk0qfqb&latitude=31.23037&limit=24&longitude=121.4737&offset=0&terminal=web'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299',
}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
items = soup.find_all('div', class_='rstblock')
for item in items:
name = item.find('h2').text
rating = item.find('span', class_='rstblock-rating').text
sales = item.find('span', class_='rstblock-sale').text
print(name, rating, sales)
```
该代码会输出饿了么平台上前 24 家商家的名称、评分和月销售量。你需要修改 url 中的参数来获取更多商家的数据。
阅读全文