写一个爬取百度文库文档的Python代码
时间: 2024-02-01 14:14:01 浏览: 148
Python实现的爬取百度文库功能示例
以下是一个简单的Python代码,可以爬取百度文库文档:
```python
import requests
from bs4 import BeautifulSoup
# 输入文档的URL链接
url = input("请输入百度文库文档的URL链接:")
# 发送GET请求获取HTML页面
response = requests.get(url)
# 解析HTML页面
soup = BeautifulSoup(response.content, "html.parser")
# 获取文档标题
title = soup.find("title").text.strip()
# 获取文档内容
content = ""
for div in soup.find_all("div", {"class": "reader-page"}):
content += div.text.strip()
# 打印文档标题和内容
print("文档标题:", title)
print("文档内容:", content)
```
需要注意的是,爬取百度文库文档可能会违反其使用条款,建议在合法、合理的情况下使用此代码。
阅读全文