怎样把刚才爬取的数据保存在excel里
时间: 2024-04-29 11:24:45 浏览: 7
可以使用Python中的pandas库来处理数据并将其保存在Excel文件中。首先,将数据存储为一个数据框,然后使用to_excel函数将数据框保存为Excel文件。以下是一个示例代码:
```
import pandas as pd
# 将数据存储为数据框
data = {'Name': ['Tom', 'Jerry', 'Mickey', 'Minnie'],
'Age': [25, 22, 30, 28],
'City': ['Shanghai', 'Beijing', 'Guangzhou', 'Shenzhen']}
df = pd.DataFrame(data)
# 将数据保存在Excel文件中
df.to_excel('data.xlsx', index=False)
```
这将创建一个名为data.xlsx的Excel文件,并将数据框中的数据保存在该文件中。参数index=False表示不包含行索引。你可以根据自己的数据来修改代码。
相关问题
python爬取数据保存到excel
1. 安装所需模块
使用Python爬虫需要安装requests、beautifulsoup4、openpyxl模块。可以通过以下命令进行安装:
```
pip install requests
pip install beautifulsoup4
pip install openpyxl
```
2. 爬取数据
以爬取豆瓣电影Top250为例,代码如下:
```python
import requests
from bs4 import BeautifulSoup
import openpyxl
# 定义表头
header = ['电影名称', '评分', '评价人数', '导演', '主演', '年份', '国家', '类型']
# 创建Excel工作簿
wb = openpyxl.Workbook()
ws = wb.active
ws.append(header)
# 爬取豆瓣电影Top250
url = 'https://movie.douban.com/top250'
for i in range(0, 250, 25):
params = {'start': i, 'filter': ''}
r = requests.get(url, params=params)
soup = BeautifulSoup(r.text, 'html.parser')
movies = soup.find_all('div', class_='info')
for movie in movies:
# 获取电影信息
name = movie.find('span', class_='title').text
rating_num = movie.find('span', class_='rating_num').text
rating_people = movie.find('div', class_='star').find_all('span')[-1].text[:-3]
director = movie.find('div', class_='bd').find_all('p')[0].text.split(':')[1].split('\n')[0].strip()
actors = movie.find('div', class_='bd').find_all('p')[0].text.split(':')[-1].strip()
year = movie.find('div', class_='bd').find_all('p')[1].text.split('/')[0].strip()
country = movie.find('div', class_='bd').find_all('p')[1].text.split('/')[1].strip()
genre = movie.find('div', class_='bd').find_all('p')[1].text.split('/')[-1].strip()
# 将电影信息写入Excel表格
row = [name, rating_num, rating_people, director, actors, year, country, genre]
ws.append(row)
# 保存Excel表格
wb.save('douban_movie_top250.xlsx')
```
3. 结果展示
运行上述代码后,会在当前目录下生成一个名为douban_movie_top250.xlsx的Excel文件,文件内容如下图所示:
![excel](https://img-blog.csdnimg.cn/20211029102914820.png)
天眼查数据爬取并保存到excel文件中python代码
以下是使用Python代码将天眼查数据爬取并保存到Excel文件中的示例:
```python
import requests
import json
import pandas as pd
def get_company_data(keyword):
url = 'https://www.tianyancha.com/search'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
params = {
'key': keyword
}
response = requests.get(url, headers=headers, params=params)
data = json.loads(response.text)
if data['state'] != 'ok':
print('获取数据失败,请稍后再试!')
return []
results = data['data']['result']
company_data = []
for result in results:
company = {
'公司名称': result['name'],
'法定代表人': result['legalPersonName'],
'注册资本': result['regCapital'],
'注册时间': result['regTime']
}
company_data.append(company)
return company_data
def save_to_excel(data, filename):
df = pd.DataFrame(data)
df.to_excel(filename, index=False)
print('数据已保存到Excel文件!')
def main():
keyword = input('请输入要搜索的公司关键词:')
filename = input('请输入要保存的Excel文件名:')
company_data = get_company_data(keyword)
if company_data:
save_to_excel(company_data, filename)
if __name__ == '__main__':
main()
```
上述代码中,首先定义了一个`get_company_data`函数用于爬取天眼查上关于指定关键词的公司数据。然后,定义了一个`save_to_excel`函数用于将数据保存到指定的Excel文件中。最后,在主函数中,用户可以输入要搜索的公司关键词和保存的Excel文件名,并调用前面定义的函数完成爬取和保存操作。
程序运行时,会先从用户处获取要搜索的公司关键词和保存的Excel文件名,然后调用`get_company_data`函数爬取数据,再调用`save_to_excel`函数保存数据到Excel文件中。如果获取数据失败,程序会输出失败提示信息。最后,程序会输出保存成功的提示信息。