Python 爬取代码
时间: 2023-08-27 22:12:41 浏览: 102
python 爬虫代码
以下是一个使用Python的requests和BeautifulSoup库进行简单爬取的示例代码:
```python
import requests
from bs4 import BeautifulSoup
# 发送GET请求
url = 'https://www.example.com'
response = requests.get(url)
# 解析HTML内容
soup = BeautifulSoup(response.content, 'html.parser')
# 获取网页标题并输出
title = soup.title.string
print('网页标题:', title)
# 获取所有的超链接
links = soup.find_all('a')
for link in links:
href = link.get('href')
print('超链接:', href)
```
在上述代码中,我们首先使用requests库发送一个GET请求,然后使用BeautifulSoup库解析返回的HTML内容。我们可以使用soup对象来查找HTML标签和属性,并获取它们的值。在这个例子中,我们获取了网页标题和所有的超链接。
阅读全文