python爬取大众点评美食
时间: 2023-07-17 21:56:43 浏览: 94
你可以使用Python编写一个爬虫程序来爬取大众点评的美食信息。以下是一个简单的示例:
```python
import requests
from bs4 import BeautifulSoup
def crawl_dianping(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 解析网页内容,获取美食信息
# 这里只是一个简单的示例,你可以根据具体需求进行修改和扩展
restaurant_list = soup.find_all('div', class_='content-wrap')
for restaurant in restaurant_list:
name = restaurant.find('h4', class_='title').text.strip()
rating = restaurant.find('span', class_='rating-stars')['style']
rating = float(rating.split(':')[1].strip('%;')) / 100 * 5
address = restaurant.find('span', class_='address').text.strip()
print(f'名称:{name}')
print(f'评分:{rating}')
print(f'地址:{address}')
print('---')
if __name__ == '__main__':
url = 'https://www.dianping.com/citylist'
crawl_dianping(url)
```
这个示例程序使用了`requests`库来发送HTTP请求,使用`BeautifulSoup`库来解析HTML。你可以根据具体的需求进行修改和扩展,例如添加更多的字段信息、分页处理等。记得在爬取网页时要遵守相关网站的规则和政策,避免对服务器造成不必要的负担。
阅读全文