python爬取CSDN中有关键词整人的链接和阅读量并输出。代码
时间: 2023-02-08 15:56:44 浏览: 90
首先需要安装爬虫库requests和BeautifulSoup,可以使用pip进行安装。
代码如下:
```python
import requests
from bs4 import BeautifulSoup
keyword = "整人"
url = "https://so.csdn.net/so/search/s.do?p=1&q=" + keyword
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
for item in soup.select(".search-list .search-item-info"):
title = item.select(".title")[0].text
link = item.select(".title")[0]["href"]
views = item.select(".views")[0].text
print(title, link, views)
```
这段代码爬取了CSDN中关键词为"整人"的文章的标题、链接和阅读量,并输出。
请注意,爬取网页内容需遵循网站的协议,请不要滥用爬虫,导致网站流量压力过大,或者违反网站的协议。
阅读全文