python爬取驴马蜂窝旅游攻略
时间: 2023-10-03 12:09:00 浏览: 94
python爬取淘宝商品价格
爬取驴马蜂窝旅游攻略,可以使用 Python 的 requests 和 Beautiful Soup 库。
首先,使用 requests 库获取需要爬取的网页内容,然后使用 Beautiful Soup 库解析 HTML 页面,从中提取需要的信息。
以下是一个简单的示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.lvmama.com/trip/list/eyJpdGVtSWQiOjEsInNlYXJjaElkIjoxLCJvcGVuSWQiOjAsInJlcXVlc3RJZCI6MCwic2VxdWVuY2VJZCI6MCwidHJhY2tpbmdJZCI6MCwiY2F0ZWdvcmllcyI6eyJkZXNjIjoiIiwiY2F0ZWdvcmllc0NvbnRleHQiOiIifQ=='
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
for item in soup.select('.list-item'):
title = item.select_one('.title a').text.strip()
content = item.select_one('.content').text.strip()
print(title, content)
```
这个示例代码爬取了驴妈妈网站上的旅游攻略,从每篇攻略中提取了标题和内容。你可以根据自己的需求修改代码。需要注意的是,爬虫应该遵守网站的 robots.txt 文件,不要过度访问网站,以免被封禁 IP。
阅读全文