爬取csdn官网数据代码
时间: 2023-10-05 14:08:54 浏览: 154
Java爬虫进阶:高效爬取CSDN技术文章.zip
以下是使用Python的 requests 和 BeautifulSoup 库来爬取 CSDN 官网文章列表的代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.csdn.net/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
articles = soup.find_all('a', class_='title')
for article in articles:
title = article.get_text().strip()
link = article['href']
print(title, link)
```
这个代码会首先发送 GET 请求到 CSDN 官网,然后使用 BeautifulSoup 库来解析 HTML 。我们使用 `find_all()` 方法来查找所有的文章标题链接,然后迭代这些链接并打印出标题和链接。
阅读全文