python爬取网页数据实时写入到excel
时间: 2023-10-06 17:13:37 浏览: 325
可以通过使用Python的requests库和pandas库,从网页中获取数据并将其写入Excel文件中。
首先,你需要安装这两个库。可以使用以下命令进行安装:
```python
pip install requests pandas
```
接下来,你可以使用requests库中的get()方法来获取网页的内容。例如,以下代码可以获取百度首页的HTML代码:
```python
import requests
url = 'https://www.baidu.com'
response = requests.get(url)
html = response.content
```
然后,你可以使用pandas库中的read_html()方法从HTML代码中提取表格数据。例如,以下代码可以提取百度首页中的第一个表格:
```python
import pandas as pd
dfs = pd.read_html(html)
df = dfs[0]
```
最后,你可以使用pandas库中的to_excel()方法将数据写入Excel文件中。例如,以下代码可以将数据写入名为“data.xlsx”的Excel文件中:
```python
df.to_excel('data.xlsx', index=False)
```
完整代码如下:
```python
import requests
import pandas as pd
url = 'https://www.baidu.com'
response = requests.get(url)
html = response.content
dfs = pd.read_html(html)
df = dfs[0]
df.to_excel('data.xlsx', index=False)
```
阅读全文