爬取百度文库付费文档的python代码

爬取百度文库的付费文档通常需要通过浏览器的模拟操作或者使用专门的API接口，因为百度文库对非登录用户会限制访问。Python中有几种工具可以实现这个需求，如Selenium用于模拟浏览器行为，或者是使用第三方的付费文档下载服务提供的API。

以下是一个简单的示例，展示如何使用Selenium配合ChromeDriver来抓取百度文库的PDF链接，但这并不保证一定能成功，因为网站可能会有反爬机制：

from selenium import webdriver
from bs4 import BeautifulSoup

# 创建一个新的Chromium浏览器实例
driver = webdriver.Chrome()

# 访问百度文库页面并登录（如果需要）
driver.get('https://wenku.baidu.com/')
login_url = 'https://passport.baidu.com/v2/api/?login&fr=wenku'
driver.get(login_url)  # 这里需要替换为你实际的账号密码登录逻辑

# 输入用户名和密码，并点击登录
username_field = driver.find_element_by_name('username')  # 根据实际情况找元素名
password_field = driver.find_element_by_name('password')
username_field.send_keys('your_username')
password_field.send_keys('your_password')
login_button = driver.find_element_by_id('su')  # 可能的id
login_button.click()

# 找到目标文档页面，这里假设是一个搜索结果页
search_query = '你的搜索关键词'
driver.get(f'https://wenku.baidu.com/search?word={search_query}')

# 解析HTML获取PDF链接
soup = BeautifulSoup(driver.page_source, 'lxml')
pdf_links = soup.select('.down a')  # 需要根据实际网页结构调整选择器

for link in pdf_links:
    if link['href'].endswith('.pdf'):  # 判断是否为PDF链接
        print(link['href'])

# 关闭浏览器
driver.quit()

注意，这只是一个基础示例，实际操作可能会遇到各种变化，例如动态加载、验证码、反爬策略等。另外，频繁地自动化抓取可能违反百度的服务条款，因此在使用时要遵守相关规定，并尽量减少对服务器的压力。