做一个爬虫，爬取一个页面的内容信息，做成一个框架

做一个简单的网页爬虫并将其封装成一个框架，可以分为以下几个步骤：

1. **引入必要的库**：Python中最常用的爬虫库有`requests`用于发送HTTP请求获取网页内容，`BeautifulSoup`或`lxml`用于解析HTML。

import requests
from bs4 import BeautifulSoup

2. **编写爬虫函数**：定义一个函数，接收目标URL作为输入，然后进行抓取和解析。

def simple_scraper(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # 这里会根据需要提取特定标签或数据
    content = extract_content(soup)  # 提取需要的信息
    return content

3. **提取内容函数**：实现一个内部函数，根据实际需求选择合适的CSS选择器、XPath或其他方式找到所需的数据。

def extract_content(soup):
    data = {}  # 结果存储结构，例如字典
    # 示例：假设我们要找标题和段落
    title = soup.find('h1').text if soup.h1 else None
    paragraphs = [p.text for p in soup.find_all('p')]
    data['title'] = title
    data['paragraphs'] = paragraphs
    return data

4. **创建框架**：将上述函数组织在一个模块或类中，提供API让用户传入URL获取结果。

class WebScraper:
    def __init__(self):
        pass

    def scrape(self, url):
        return simple_scraper(url)

# 使用示例
scraper = WebScraper()
result = scraper.scrape('https://example.com')

**