Python爬虫项目美团
时间: 2024-01-29 17:10:13 浏览: 131
Python 爬虫项目
以下是一个使用Python爬虫采集美团外卖数据的简单示例:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
# 发送请求,获取美团外卖首页的HTML内容
url = 'https://www.meituan.com/'
response = requests.get(url, headers=headers)
html = response.text
# 使用BeautifulSoup解析HTML内容
soup = BeautifulSoup(html, 'html.parser')
# 获取美团外卖的店铺信息
shops = soup.find_all('div', class_='shop-item')
# 遍历店铺信息并输出
for shop in shops:
name = shop.find('h4').text.strip()
rating = shop.find('span', class_='rating').text.strip()
sales = shop.find('span', class_='sales').text.strip()
print('店铺名称:', name)
print('评分:', rating)
print('销量:', sales)
print('--')
```
这段代码使用了`requests`库发送HTTP请求,获取美团外卖首页的HTML内容。然后使用`BeautifulSoup`库解析HTML内容,提取出店铺的名称、评分和销量等信息,并进行输出。
阅读全文