Python漫画爬虫

### 使用Python编写漫画爬虫

#### 准备工作
为了构建一个有效的漫画爬虫，需要准备一些必要的工具和库。确保安装了Python以及以下常用库[^3]:
- `requests`：用于发送HTTP请求。
- `BeautifulSoup` 或者 `lxml` ：用于解析HTML文档。

可以使用pip来安装这些依赖项：

pip install requests beautifulsoup4 lxml

#### 获取网页内容
首先定义函数抓取目标网站的内容。这一步骤涉及向服务器发起GET请求并接收响应数据：

import requests

def fetch_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)',
    }
    
    response = requests.get(url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        raise Exception(f"Failed to load page {url}")

#### 解析网页结构
接下来利用`BeautifulSoup`分析返回的数据流，提取所需的信息片段，例如章节链接列表或图片URL地址等:

from bs4 import BeautifulSoup

def parse_comic(html_content):
    soup = BeautifulSoup(html_content, "html.parser")
    images = []
    for img_tag in soup.find_all('img'):
        src = img_tag.get('src')
        if src and ('comic' in src):  # 假设所有漫画图像路径都含有关键字"comic"
            images.append(src)

    return images

#### 下载资源
最后创建下载器保存远程文件至本地磁盘中去。考虑到版权保护等因素，在实际操作前应当仔细阅读站点的服务条款[^2]:

import os

def download_image(image_url, save_path='./downloads'):
    try:
        image_data = requests.get(image_url).content
        filename = os.path.join(save_path, os.path.basename(image_url))
        
        with open(filename, 'wb') as handler:
            handler.write(image_data)
            
        print(f'Successfully downloaded {filename}')
    except Exception as e:
        print(e)

#### 主程序逻辑控制流程
将上述各个部分组合起来形成完整的脚本框架，遍历每一页直至完成整个系列的采集任务为止。

if __name__ == '__main__':
    base_url = input("Enter the comic's first chapter URL:")
    html_doc = fetch_page(base_url)
    all_images_urls = parse_comic(html_doc)

    for url in all_images_urls:
        download_image(url)