https://m.ctrip.com/webapp/vacations/tour/list?frompc=1&kwd=%E9%83%91%E5%B7%9E&scity=559&searchtype=all&tab=126爬取该网站
时间: 2023-11-25 14:24:16 浏览: 120
html5/css3响应式页面开发总结
您想了解如何爬取 https://m.ctrip.com/webapp/vacations/tour/list?frompc=1&kwd=%E9%83%91%E5%B7%9E&scity=559&searchtype=all&tab=126 网站。以下是一个示例Python爬虫程序,使用requests和BeautifulSoup库来实现:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://m.ctrip.com/webapp/vacations/tour/list?frompc=1&kwd=%E9%83%91%E5%B7%9E&scity=559&searchtype=all&tab=126'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
for item in soup.select('.list-view > .item'):
title = item.select_one('.title').text.strip()
price = item.select_one('.price').text.strip()
print(title, price)
```
这个程序使用requests库来发起HTTP请求,并使用BeautifulSoup库来解析响应的HTML内容。程序首先发送一个GET请求到目标URL,然后使用BeautifulSoup库来解析响应内容。接下来,程序使用CSS选择器来选择页面上所有的旅游项目,并从每个项目中提取标题和价格信息。最后,程序将提取到的信息打印到控制台上。
需要注意的是,使用爬虫程序抓取网站信息可能会涉及法律问题,请确保遵守相关法律法规和网站的使用条款。此外,网站所有者可能会使用技术手段来防止爬虫程序抓取信息,因此请谨慎使用爬虫技术。
阅读全文