python网页爬虫代码

以下是一个简单的 Python 网页爬虫示例，使用 requests 和 BeautifulSoup 库：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com'

# 发送 GET 请求
response = requests.get(url)

# 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 获取所有链接
links = []
for link in soup.find_all('a'):
    links.append(link.get('href'))

# 打印链接
for link in links:
    print(link)

你可以根据需要修改这段代码来满足你的具体需求。

相关问题

.shtml的python网页爬虫代码

当你想要爬取一个网页的内容时，可以使用Python编写一个简单的网页爬虫代码。以下是一个示例代码：

import requests

# 发送HTTP请求获取网页内容
url = "http://example.com"  # 替换为你要爬取的网页URL
response = requests.get(url)
content = response.text

# 解析网页内容
# 这里可以使用各种解析库，如BeautifulSoup、lxml等，来提取你需要的信息

# 示例：使用BeautifulSoup解析网页内容
from bs4 import BeautifulSoup

soup = BeautifulSoup(content, "html.parser")
# 这里可以根据网页的结构，使用相应的方法提取你需要的信息

# 示例：提取所有的链接
links = soup.find_all("a")
for link in links:
    print(link.get("href"))

# 示例：提取网页标题
title = soup.title.string
print("网页标题：", title)

这段代码使用了`requests`库发送HTTP请求获取网页内容，并使用`BeautifulSoup`库解析网页内容。你可以根据自己的需求，使用不同的解析库和方法来提取你需要的信息。

给我一个python网页爬虫代码

以下是一个基本的 Python 网页爬虫代码：

import requests
from bs4 import BeautifulSoup

# 请求页面
url = "https://www.example.com"
response = requests.get(url)

# 解析页面
soup = BeautifulSoup(response.text, "html.parser")

# 找到需要的信息
title = soup.title.text
links = [link.get("href") for link in soup.find_all("a")]

# 输出结果
print("Title: ", title)
print("Links: ", links)

上述代码使用了 requests 库发出 HTTP 请求，BeautifulSoup 库解析 HTML 页面。你可以根据自己的需要对代码进行修改和优化。