python将爬取的数据保存到excel的代码
时间: 2023-04-10 09:05:13 浏览: 218
可以使用 pandas 库将爬取的数据保存到 excel 文件中,以下是示例代码:
```python
import pandas as pd
# 假设已经爬取到了数据,存储在 data 变量中
data = [
{'name': '张三', 'age': 20},
{'name': '李四', 'age': 25},
{'name': '王五', 'age': 30},
]
# 将数据转换为 DataFrame
df = pd.DataFrame(data)
# 将 DataFrame 保存到 excel 文件中
df.to_excel('data.xlsx', index=False)
```
这段代码将会把 data 中的数据保存到名为 data.xlsx 的 excel 文件中,其中 index=False 表示不保存 DataFrame 的索引。
相关问题
python爬取数据保存到excel
1. 安装所需模块
使用Python爬虫需要安装requests、beautifulsoup4、openpyxl模块。可以通过以下命令进行安装:
```
pip install requests
pip install beautifulsoup4
pip install openpyxl
```
2. 爬取数据
以爬取豆瓣电影Top250为例,代码如下:
```python
import requests
from bs4 import BeautifulSoup
import openpyxl
# 定义表头
header = ['电影名称', '评分', '评价人数', '导演', '主演', '年份', '国家', '类型']
# 创建Excel工作簿
wb = openpyxl.Workbook()
ws = wb.active
ws.append(header)
# 爬取豆瓣电影Top250
url = 'https://movie.douban.com/top250'
for i in range(0, 250, 25):
params = {'start': i, 'filter': ''}
r = requests.get(url, params=params)
soup = BeautifulSoup(r.text, 'html.parser')
movies = soup.find_all('div', class_='info')
for movie in movies:
# 获取电影信息
name = movie.find('span', class_='title').text
rating_num = movie.find('span', class_='rating_num').text
rating_people = movie.find('div', class_='star').find_all('span')[-1].text[:-3]
director = movie.find('div', class_='bd').find_all('p')[0].text.split(':')[1].split('\n')[0].strip()
actors = movie.find('div', class_='bd').find_all('p')[0].text.split(':')[-1].strip()
year = movie.find('div', class_='bd').find_all('p')[1].text.split('/')[0].strip()
country = movie.find('div', class_='bd').find_all('p')[1].text.split('/')[1].strip()
genre = movie.find('div', class_='bd').find_all('p')[1].text.split('/')[-1].strip()
# 将电影信息写入Excel表格
row = [name, rating_num, rating_people, director, actors, year, country, genre]
ws.append(row)
# 保存Excel表格
wb.save('douban_movie_top250.xlsx')
```
3. 结果展示
运行上述代码后,会在当前目录下生成一个名为douban_movie_top250.xlsx的Excel文件,文件内容如下图所示:
![excel](https://img-blog.csdnimg.cn/20211029102914820.png)
python将爬取的数据放excel
可以使用Python中的openpyxl库来将爬取的数据存储到Excel中。以下是一个简单的示例代码,将数据存储到Excel中的一个工作表中:
```python
import openpyxl
# 创建一个新的Excel文件
workbook = openpyxl.Workbook()
# 获取工作表对象
worksheet = workbook.active
# 将数据写入工作表中
data = [["姓名", "年龄", "性别"],
["张三", 20, "男"],
["李四", 25, "女"],
["王五", 30, "男"]]
for row in data:
worksheet.append(row)
# 保存Excel文件
workbook.save("data.xlsx")
```
在这个示例中,我们首先创建一个新的Excel文件,并获取工作表对象。然后,我们将数据写入工作表中,使用append()方法将每一行数据添加到工作表的末尾。最后,我们调用save()方法保存Excel文件。你可以根据自己的需要来修改这个示例代码,将你爬取的数据存储到Excel文件中。
阅读全文