python爬取百度文库

由于百度文库使用了反爬虫技术，直接访问页面无法获取到文档内容。因此，我们需要使用一些技巧来爬取百度文库。

一种比较通用的方法是使用Selenium模拟浏览器操作，然后获取页面内容。下面是一个使用Selenium和Chrome浏览器的例子：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = "https://wenku.baidu.com/view/xxxxx.html"  # 文档的URL
driver = webdriver.Chrome()  # 创建一个Chrome浏览器实例
driver.get(url)  # 打开网页

# 等待文档加载完成
wait = WebDriverWait(driver, 10)
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".reader-txt-layer")))

# 获取文档内容
content = driver.find_element_by_css_selector(".reader-txt-layer").text

print(content)  # 输出文档内容
driver.quit()  # 关闭浏览器

需要注意的是，由于百度文库的反爬虫技术会检测浏览器的User-Agent，因此我们需要设置Chrome浏览器的User-Agent为某个常见的浏览器，比如Chrome或Firefox：

options = webdriver.ChromeOptions()
options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3")
driver = webdriver.Chrome(options=options)

另外，如果我们需要爬取多个文档，可以使用一个循环遍历不同的URL来实现：

urls = ["https://wenku.baidu.com/view/xxxxx.html", "https://wenku.baidu.com/view/yyyyy.html", ...]

for url in urls:
    driver.get(url)
    # 等待文档加载完成
    wait = WebDriverWait(driver, 10)
    wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, ".reader-txt-layer")))
    # 获取文档内容
    content = driver.find_element_by_css_selector(".reader-txt-layer").text
    print(content)  # 输出文档内容

driver.quit()

需要注意的是，百度文库每个文档只能免费查看一定数量的页数，超过限制后需要付费才能继续查看。因此，如果你需要爬取整个文档，可能需要多次爬取不同的页面，并将结果拼接起来。