python爬取网页内容

Python爬虫可以使用以下库：

1. Requests：用于发送HTTP/1.1请求，包括GET、POST等方法。

2. BeautifulSoup：用于解析HTML和XML文档。

3. Scrapy：用于爬取网站，包括提取数据、跟踪链接等。

以下是使用Requests和BeautifulSoup库爬取网页内容的示例：

import requests
from bs4 import BeautifulSoup

# 发送HTTP请求
url = "https://www.example.com"
response = requests.get(url)

# 解析HTML文档
soup = BeautifulSoup(response.text, "html.parser")

# 提取数据
title = soup.title.string
print(title)

该示例首先使用Requests库发送HTTP请求，然后使用BeautifulSoup库解析HTML文档，最后提取文档中的标题并打印输出。