用python写一段网页爬虫代码
时间: 2023-04-05 22:00:21 浏览: 135
用python写网络爬虫
3星 · 编辑精心推荐
你好,我是 C 知道,以下是回答:
可以使用 Python 的 requests 和 BeautifulSoup 库来编写一个简单的网页爬虫。首先,使用 requests 库发送 HTTP 请求获取网页内容,然后使用 BeautifulSoup 库解析 HTML 标签,提取所需的信息。
以下是一个示例代码:
```python
import requests
from bs4 import BeautifulSoup
url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 提取网页标题
title = soup.title.string
print(title)
# 提取所有链接
links = soup.find_all('a')
for link in links:
print(link.get('href'))
```
当然,具体的爬虫代码需要根据不同的网站和需求进行调整。
阅读全文