帮我写一个爬csdn问答的程序
时间: 2024-05-17 18:16:13 浏览: 68
当然可以!以下是一个简单的爬取CSDN问答的程序示例:
```python
import requests
from bs4 import BeautifulSoup
def crawl_csdn_qa():
url = 'https://ask.csdn.net/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
questions = soup.find_all('div', class_='question-summary')
for question in questions:
q_title = question.find('a', class_='question-link').text.strip()
q_link = question.find('a', class_='question-link')['href']
q_info = question.find('div', class_='user-info').text.strip()
print('问题:', q_title)
print('链接:', q_link)
print('提问者信息:', q_info)
print('-----------------------------------')
crawl_csdn_qa()
```
这个程序使用了 `requests` 库发送HTTP请求并获取网页内容,并使用 `BeautifulSoup` 库解析网页内容。程序会打印出问答页面上的问题标题、链接和提问者信息。你可以根据需要对程序进行修改和扩展,比如可以将数据存储到数据库或文件中。
希望这个示例能帮到你!如果你有其他问题,请随时提问。
阅读全文