写一个关于携程机票价格数据的爬虫
时间: 2024-04-16 20:25:04 浏览: 14
当然可以!以下是一个简单的示例代码,可以用来爬取携程机票价格数据:
```python
import requests
from bs4 import BeautifulSoup
def scrape_ctrip_flight_prices(origin, destination, date):
url = f"https://flights.ctrip.com/booking/{origin}-{destination}-day-1.html?DDate1={date}"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.content, "html.parser")
prices = []
price_elements = soup.find_all("span", class_="base_price02")
for element in price_elements:
prices.append(element.text.strip())
return prices
origin = "上海"
destination = "北京"
date = "2022-01-01"
flight_prices = scrape_ctrip_flight_prices(origin, destination, date)
print(flight_prices)
```
这个代码使用了 requests 库来发送 HTTP 请求,并使用 BeautifulSoup 库来解析 HTML 页面。它会根据给定的出发地、目的地和日期,构造携程机票页面的 URL,并发送 GET 请求获取页面内容。然后,它会使用 BeautifulSoup 来提取页面中的机票价格信息,并返回一个价格列表。
你可以根据自己的需求对该代码进行修改和扩展,比如添加更多的参数、处理异常情况等。希望对你有所帮助!