python爬虫爬取百度文库

Python爬虫可以爬取百度文库的文档，具体步骤如下：

1. 安装requests和BeautifulSoup模块：在Python中，可以使用requests模块获取网页源代码，使用BeautifulSoup模块解析网页。

2. 获取文档ID：在百度文库中，每个文档都有一个唯一的ID。可以通过在浏览器中打开文档，查看URL地址中的文档ID来获取。

3. 构造URL地址：百度文库的文档地址格式为：https://wenku.baidu.com/view/文档ID.html，其中文档ID为第二步获取到的。使用requests模块访问该地址，获取网页源代码。

4. 解析网页源代码：使用BeautifulSoup模块解析网页源代码，获取文档内容。

下面是一个简单的示例代码：

import requests
from bs4 import BeautifulSoup

# 获取文档ID
doc_id = 'xxxxxx'

# 构造URL地址
url = 'https://wenku.baidu.com/view/{}.html'.format(doc_id)

# 发送请求，获取网页源代码
response = requests.get(url)
html = response.text

# 解析网页源代码，获取文档内容
soup = BeautifulSoup(html, 'html.parser')
content = soup.find_all(class_='reader-word-layer')

# 输出文档内容
for item in content:
    print(item.text)

需要注意的是，爬虫爬取他人网站内容可能涉及到法律问题，请谨慎使用。另外，百度文库有一些文档是需要付费才能查看的，这些文档是无法通过爬虫免费获取的。