用python爬取文库pdf数据

使用Python爬取文库PDF数据可以通过以下步骤进行：

1. 导入所需的依赖库，如`requests`和`BeautifulSoup`。
2. 发送GET请求获取文库网页的源代码。
3. 使用`BeautifulSoup`解析源代码，提取出所需的PDF链接。
4. 遍历提取到的PDF链接，使用`requests`库发送GET请求下载PDF文件。
5. 将下载的PDF保存到本地磁盘。

下面是一个简单示例代码：

import requests
from bs4 import BeautifulSoup

def download_pdf(url):
    response = requests.get(url)
    return response.content

def save_pdf(file_path, content):
    with open(file_path, "wb") as f:
        f.write(content)

def crawl_pdf_urls():
    base_url = "https://www.example.com"
    response = requests.get(base_url)
    soup = BeautifulSoup(response.text, "html.parser")

    pdf_urls = []
    pdf_links = soup.select("a[href$='.pdf']")
    for link in pdf_links:
        pdf_urls.append(link["href"])

    return pdf_urls

if __name__ == "__main__":
    pdf_urls = crawl_pdf_urls()

    for url in pdf_urls:
        pdf_content = download_pdf(url)
        file_name = url.split("/")[-1]
        save_pdf(file_name, pdf_content)

以上代码仅供参考，具体实现可能需要根据文库网页的结构进行调整。还需要注意的是，爬取数据需要遵循法律法规，确保符合网站的使用条款，并尊重知识产权。