python爬虫爬取旅游数据
时间: 2023-12-20 16:05:18 浏览: 187
以下是使用Python爬虫爬取旅游数据的一般步骤:
1. 寻找目标网站并分析其网页结构,确定需要爬取的数据类型和数据存放位置。
2. 使用Python中的requests库向目标网站发送请求,获取网页源代码。
3. 使用Python中的BeautifulSoup库解析网页源代码,提取需要的数据。
4. 将提取的数据存储到本地文件或数据库中。
下面是一个简单的示例,演示如何使用Python爬虫爬取携程网站的旅游数据:
```python
import requests
from bs4 import BeautifulSoup
# 发送请求,获取网页源代码
url = 'https://you.ctrip.com/sight/china110000.html'
response = requests.get(url)
html = response.text
# 解析网页源代码,提取需要的数据
soup = BeautifulSoup(html, 'html.parser')
sight_list = soup.find_all('div', class_='list_mod2')
for sight in sight_list:
name = sight.find('div', class_='rdetailbox').find('a').text
address = sight.find('p', class_='address color999').text
score = sight.find('span', class_='score').text
print(name, address, score)
# 将提取的数据存储到本地文件或数据库中
# 这里只是简单地输出到控制台
```
阅读全文