python爬虫获取大众点评数据
时间: 2024-01-05 08:52:54 浏览: 140
你可以使用Python编写爬虫来获取大众点评的数据。以下是一个简单的示例代码,使用了`requests`库和`BeautifulSoup`库来发送HTTP请求和解析HTML页面:
```python
import requests
from bs4 import BeautifulSoup
# 设置请求头,模拟浏览器访问
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}
# 发送HTTP GET请求获取页面内容
url = 'https://www.dianping.com/'
response = requests.get(url, headers=headers)
# 解析HTML页面
soup = BeautifulSoup(response.text, 'html.parser')
# 定位需要获取的数据,使用CSS选择器
data = soup.select('.shop-list li .txt')
# 提取数据
for item in data:
name = item.select_one('.tit h4').text.strip()
score = item.select_one('.comment span').text.strip()
print(f'店名:{name},评分:{score}')
```
上述代码中,我们首先设置了请求头,模拟浏览器访问。然后使用`requests`库发送GET请求获取网页内容,并使用`BeautifulSoup`库解析HTML页面。我们通过CSS选择器定位需要获取的数据,并提取店名和评分信息进行打印。
注意:在实际应用中,请遵守网站的爬虫规则并尊重网站的使用限制,避免对网站造成过大的访问压力。
阅读全文