如何用beautifulsoup爬取网页中的超链接以及对应节点的内容

BeautifulSoup是一个强大的Python库，用于解析HTML和XML文档。要使用它爬取网页中的超链接及内容，你可以按照以下步骤操作：

1. 安装BeautifulSoup和请求库（如果尚未安装）：

pip install beautifulsoup4 requests

2. 导入库并获取网页源码：

import requests
from bs4 import BeautifulSoup

url = 'https://example.com'  # 替换为你想要抓取的网址
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

3. 使用`find_all`查找所有超链接（`<a>`标签）：

links = soup.find_all('a')  # 查找所有的<a>标签

4. 遍历找到的每个链接及其相邻文本（如果有的话），提取它们的内容和href属性：

for link in links:
    href = link.get('href')  # 提取URL
    text = link.text.strip()  # 提取纯文本内容（去除首尾空白）
    
    print(f"链接：{href}\n内容：{text}\n")

5. 结果保存到文件或直接打印出来。