新手写爬虫requests bs4爬取小说

您好，如果您是新手想要写爬虫，可以使用Python中的requests和BeautifulSoup4库来实现。以下是一个简单的示例代码，可以爬取小说网站的内容：

import requests
from bs4 import BeautifulSoup

# 设置请求头，模拟浏览器访问
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

# 目标小说网站的URL
url = 'http://www.example.com/novel/'

# 发送请求，获取网页内容
response = requests.get(url, headers=headers)
html = response.text

# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(html, 'html.parser')

# 获取小说的章节列表
chapter_list = soup.find_all('a', class_='chapter')

# 遍历章节列表，获取每一章的内容
for chapter in chapter_list:
    chapter_url = chapter['href']
    chapter_title = chapter.text
    chapter_response = requests.get(chapter_url, headers=headers)
    chapter_html = chapter_response.text
    chapter_soup = BeautifulSoup(chapter_html, 'html.parser')
    chapter_content = chapter_soup.find('div', class_='content').text

    # 将章节内容保存到本地文件中
    with open(chapter_title + '.txt', 'w', encoding='utf-8') as f:
        f.write(chapter_content)

以上代码仅供参考，具体实现还需要根据目标网站的结构和特点进行调整。同时，需要注意遵守相关法律法规，不要爬取未经授权的内容。