用python写一个简单的爬虫
时间: 2023-05-25 17:01:54 浏览: 73
python写简单爬虫
A:
可以使用 Python 的 requests 库和 BeautifulSoup 库来编写一个简单的爬虫:
```python
import requests
from bs4 import BeautifulSoup
url = "https://www.baidu.com"
response = requests.get(url) # 发送 GET 请求
html = response.content # 获取响应内容
soup = BeautifulSoup(html, 'html.parser') # 使用 BeautifulSoup 解析 HTML
# 在 HTML 中查找所有 <a> 标签
for link in soup.find_all('a'):
print(link.get('href')) # 输出链接地址
```
此爬虫会获取百度首页 HTML 中所有链接的地址并输出。请注意使用爬虫时一定要遵守网站的使用规范,不得进行非法爬取。
阅读全文