用xpath爬取http://shehui.sanyau.edu.cn/?article/type/60/1.html新闻标题和浏览量
时间: 2023-10-07 17:10:18 浏览: 74
爬取新闻类网页标题和正文
好的,以下是使用xpath爬取http://shehui.sanyau.edu.cn/?article/type/60/1.html新闻标题和浏览量的代码示例:
```python
import requests
from lxml import etree
url = 'http://shehui.sanyau.edu.cn/?article/type/60/1.html'
response = requests.get(url)
html = response.text
selector = etree.HTML(html)
# 获取新闻标题
title_list = selector.xpath('//div[@class="li_title"]/a/text()')
for title in title_list:
print(title)
# 获取浏览量
views_list = selector.xpath('//div[@class="li_title"]/span/text()')
for views in views_list:
print(views)
```
需要注意的是,该网站对于爬虫的访问有一定的限制,请在爬取时适当设置访问间隔,避免给对方服务器带来过大负担。另外,使用 xpath 爬取数据时,需要根据实际网页源代码中的元素结构和属性信息进行调整,本示例代码仅供参考。
阅读全文