如何用python爬取网站
时间: 2023-07-18 19:47:26 浏览: 45
Python有很多爬虫库可以用来爬取网站,其中比较常用的是Requests库和BeautifulSoup库。下面是一个简单的示例程序,用于爬取指定网站的HTML代码:
```python
import requests
# 指定要爬取的网站
url = 'https://www.example.com/'
# 发送请求并获取响应
response = requests.get(url)
# 输出HTML代码
print(response.text)
```
这个程序通过Requests库发送请求,获取指定网站的响应。使用response.text属性可以获取网站的HTML代码,进而进行解析和处理。
如果要解析HTML代码,可以使用BeautifulSoup库。以下是一个示例程序,用于解析指定网站的标题:
```python
import requests
from bs4 import BeautifulSoup
# 指定要爬取的网站
url = 'https://www.example.com/'
# 发送请求并获取响应
response = requests.get(url)
# 使用BeautifulSoup解析HTML代码
soup = BeautifulSoup(response.text, 'html.parser')
# 获取网站的标题
title = soup.title.string
# 输出网站的标题
print(title)
```
这个程序首先通过Requests库发送请求,获取指定网站的响应。然后使用BeautifulSoup库解析HTML代码,获取网站的标题。
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)