python爬虫爬取网页代码

要使用Python进行网页爬取，你可以使用一些库，比如 requests 和 BeautifulSoup。下面是一个简单的示例代码，可以爬取网页的源代码：

import requests

# 发起一个 GET 请求
response = requests.get("https://www.example.com")

# 获取网页的源代码
html_code = response.text

# 打印网页源代码
print(html_code)

在这个示例中，我们使用 requests 库发起了一个 GET 请求，并将返回的响应存储在变量 response 中。然后，我们可以通过调用 `response.text` 来获取网页的源代码。

如果你需要对网页进行更复杂的解析和提取信息，可以使用 BeautifulSoup 库。下面是一个示例代码，演示了如何使用 BeautifulSoup 来解析网页：

import requests
from bs4 import BeautifulSoup

# 发起一个 GET 请求
response = requests.get("https://www.example.com")

# 获取网页的源代码
html_code = response.text

# 使用 BeautifulSoup 解析网页
soup = BeautifulSoup(html_code, "html.parser")

# 使用 BeautifulSoup 提取信息
# 以下是一些示例提取代码
title = soup.title.text
links = soup.find_all("a")
first_link = links[0].get("href")

# 打印提取的信息
print("Title:", title)
print("Links:", links)
print("First Link:", first_link)

这个示例中，我们首先使用 BeautifulSoup 库的 `BeautifulSoup` 函数来解析网页。然后，我们可以使用各种方法和选择器来提取我们需要的信息。

这只是一个简单的示例，你可以根据自己的需求进一步扩展和优化代码。记得在实际使用中，要遵守网站的爬虫规则，并尊重网站的隐私政策。