使用python语言爬取携程旅行网站的500条数据保存到表格里
时间: 2024-03-29 08:38:53 浏览: 68
基于python实现爬取携程景点数据与评论数据源码+项目说明.zip
5星 · 资源好评率100%
好的,我可以帮你解决这个问题。首先,我们需要安装一些必要的库,包括`requests`和`BeautifulSoup`,可以使用以下命令安装:
```
pip install requests
pip install beautifulsoup4
```
然后,我们可以编写Python代码来爬取携程旅行网站的500条数据并保存到表格里。以下是一个示例代码:
```python
import requests
from bs4 import BeautifulSoup
import csv
# 设置请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 爬取500页数据
for i in range(1, 501):
url = 'https://hotels.ctrip.com/hotel/shanghai2/p' + str(i)
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 从页面中提取数据
hotel_list = soup.find_all('li', class_='hotel_item')
data = []
for hotel in hotel_list:
name = hotel.find('h2').text.strip()
address = hotel.find('p', class_='hotel_item_htladdress').text.strip()
score = hotel.find('span', class_='hotel_value').text.strip()
data.append([name, address, score])
# 将数据保存到CSV文件中
with open('hotels.csv', 'a', encoding='utf-8-sig', newline='') as f:
writer = csv.writer(f)
writer.writerows(data)
```
这段代码会爬取携程旅行网站上上海地区的酒店信息,每页包含10条数据,共爬取500页,总共5000条数据。爬取的数据包括酒店名称、地址和评分,并将数据保存到名为`hotels.csv`的CSV文件中。注意,这个代码可能需要一些时间来运行,因为它需要爬取大量的数据。
希望这个示例代码能帮助到你。如果你有其他问题,请随时问我!
阅读全文