帮我用Python写一个爬取网络小说代码,要求爬取到的小说以小说名字加.TXT保存
时间: 2023-08-29 14:07:37 浏览: 125
好的,以下是一个简单的爬取网络小说的Python代码:
```python
import requests
from bs4 import BeautifulSoup
# 输入小说目录页的URL
url = input("请输入小说目录页的URL:")
# 发送请求并获取响应
response = requests.get(url)
response.encoding = response.apparent_encoding
# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 获取小说标题
title = soup.title.string
print(f"正在下载《{title}》......")
# 创建TXT文件,并写入小说章节内容
with open(f"{title}.txt", "w", encoding="utf-8") as f:
# 获取小说章节列表
chapters = soup.find_all('a', href=True)
for chapter in chapters:
chapter_url = chapter['href']
# 发送请求并获取章节内容
chapter_response = requests.get(chapter_url)
chapter_response.encoding = chapter_response.apparent_encoding
chapter_soup = BeautifulSoup(chapter_response.text, 'html.parser')
chapter_title = chapter_soup.title.string
chapter_content = chapter_soup.find('div', class_='content').text
# 写入章节内容
f.write(f"\n\n{chapter_title}\n\n")
f.write(chapter_content)
print(f"{chapter_title} 下载完成")
print("全部下载完成!")
```
使用时,将上述代码保存到一个Python文件中,然后在命令行中运行该文件即可。运行后会要求输入小说目录页的URL,输入后程序会自动下载小说并保存为TXT文件,文件名为小说标题。
阅读全文