python爬虫爬一个网站下的所有数据 包括链接里面的

在Python中，利用如BeautifulSoup、Scrapy等库进行网页爬取并抓取子页面的数据是一个常见的任务。这里简单概述一个基本步骤：

1. **安装必要的库**：
首先需要安装`requests`库来发送HTTP请求获取网页内容，`beautifulsoup4`或`lxml`用于解析HTML文档，以及如`scrapy`（如果爬取大型网站）。

2. **发起请求**：
使用`requests.get(url)`获取目标网页内容，然后将响应保存到`response`变量中。

3. **解析HTML**：
利用BeautifulSoup解析HTML，找到包含链接的标签（如`<a>`），通过`.find_all()`或`.select()`方法筛选出链接。

4. **提取链接**：
对于每个链接元素，提取`href`属性，这通常是URL的一部分。

5. **递归爬取子页**：
如果发现新链接，检查是否已经访问过（可以存储在一个集合或字典中以避免重复）。如果是未访问过的链接，继续用同样的方法请求新的页面，并在其中查找更多链接。

6. **数据处理**：
将所需的数据提取出来，可能是文本、图片或其他格式，将其添加到结果列表或文件中。

7. **保存数据**：
将爬取的数据保存到本地文件、数据库或合适的数据结构中。

from bs4 import BeautifulSoup
import requests

def crawl_website(base_url):
    visited_links = set()  # 存储已访问链接

    def _crawl(url):
        if url in visited_links:
            return
        visited_links.add(url)

        response = requests.get(url)
        soup = BeautifulSoup(response.text, 'html.parser')

        for link in soup.find_all('a', href=True):  # 提取链接
            href = link['href']
            # 检查是否需要继续爬取
            if is_valid_link(href):
                _crawl(href)  # 递归爬取

        # 提取和处理数据
        data = extract_data(soup)
        save_data(data)

    _crawl(base_url)

# 自定义函数，判断链接的有效性和是否应该爬取
def is_valid_link(href):
    # 添加你对链接有效性判断的条件
    return True  # 这里假设所有链接都是有效的

# 提取所需数据的函数
def extract_data(soup):
    # 例如，提取标题和正文
    titles = [h1.text for h1 in soup.find_all('h1')]
    contents = [p.text for p in soup.find_all('p')]
    return titles, contents

# 数据保存函数
def save_data(data):
    # 可能写入文件或数据库
    pass

# 开始爬取
crawl_website('http://example.com')