python爬取大众点评美食
时间: 2023-07-17 10:56:43 浏览: 142
你可以使用Python编写爬虫程序来爬取大众点评上的美食数据。以下是一个简单的示例程序:
```python
import requests
from bs4 import BeautifulSoup
def crawl_dianping():
url = "https://www.dianping.com/search/category/2/10"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146 Safari/537.36"
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")
restaurants = soup.find_all("div", class_="txt")
for restaurant in restaurants:
name = restaurant.find("h4").text.strip()
score = restaurant.find("span", class_="comment-list").find("b").text.strip()
print("店名:", name)
print("评分:", score)
print("--------------------")
crawl_dianping()
```
这个程序使用了`requests`库发送HTTP请求,并使用`BeautifulSoup`库解析HTML页面。程序中的`url`是大众点评美食分类的URL,你可以根据需要修改URL来爬取其他分类的数据。
注意:在实际使用爬虫时,请遵守网站的爬虫规则,并合法、合理地使用爬虫技术。
阅读全文