用beautifulsoup爬取网站前十页文字

BeautifulSoup是一个强大的Python库，用于从HTML和XML文档中提取数据。如果你想用它来爬取网站的前10页文字，首先你需要安装`requests`和`beautifulsoup4`库，然后按照以下步骤操作：

1. 导入必要的库：

import requests
from bs4 import BeautifulSoup

2. 定义一个函数，用于获取单页内容并解析：

def get_text_from_url(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # 过滤掉script等非文本元素
    text = soup.get_text()
    return text.strip()  # 返回清洗过的纯文本

3. 使用循环遍历前10页（假设每页URL都有一定的规律，比如分页链接是基于当前页面的编号）：

base_url = "http://example.com"  # 你的目标网站地址
for i in range(1, 11):  # 假设每页从1开始计数
    url = f"{base_url}?page={i}"
    page_text = get_text_from_url(url)
    print(f"第{i}页的内容:\n{page_text}\n")

注意，实际操作中可能会遇到反爬虫策略，如需要登录、动态加载内容或者限制请求频率，这时可能需要额外处理。