给我一个python网页爬虫代码
时间: 2024-06-08 07:06:53 浏览: 91
Python网页爬虫代码
以下是一个基本的 Python 网页爬虫代码:
```python
import requests
from bs4 import BeautifulSoup
# 请求页面
url = "https://www.example.com"
response = requests.get(url)
# 解析页面
soup = BeautifulSoup(response.text, "html.parser")
# 找到需要的信息
title = soup.title.text
links = [link.get("href") for link in soup.find_all("a")]
# 输出结果
print("Title: ", title)
print("Links: ", links)
```
上述代码使用了 requests 库发出 HTTP 请求,BeautifulSoup 库解析 HTML 页面。你可以根据自己的需要对代码进行修改和优化。
阅读全文