python爬取知网文献数据

以下是使用Python爬取知网文献数据的一个简单示例：

import requests
from bs4 import BeautifulSoup

# 设置请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

# 构造请求URL
keyword = '知网文献'
url = f'http://search.cnki.net/search.aspx?q={keyword}'

# 发送请求并获取响应
response = requests.get(url, headers=headers)

# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 提取文献信息
articles = soup.select('.wz_content .wz_tab .wz_tab_content .wz_tab_content_item')

# 打印文献标题和作者
for article in articles:
    title = article.select_one('.wz_title a').text
    authors = article.select('.wz_info .author')
    author_names = [author.text for author in authors]
    print('标题:', title)
    print('作者:', ', '.join(author_names))
    print('--')

这段代码使用了`requests`库发送HTTP请求，使用`BeautifulSoup`库解析HTML页面。首先，我们设置了请求头，然后构造了搜索关键字的URL。接下来，发送请求并获取响应。然后，使用BeautifulSoup解析HTML页面，并提取出文献信息。最后，打印出文献的标题和作者。