给我一段完整的python爬取网站数据存入excel表的代码
时间: 2024-06-08 18:10:01 浏览: 174
Python爬取股票数据存入mysql,获取股票(最新、最高、今开、成交量、成交额、量比、换手率、涨幅)支持多线程+数据库连接池
5星 · 资源好评率100%
好的,以下是一个完整的Python爬取网站数据存入Excel表的代码,以爬取豆瓣电影Top250为例:
```python
import requests
from bs4 import BeautifulSoup
import xlwt
# 创建Excel表格并设置表头
book = xlwt.Workbook(encoding='utf-8', style_compression=0)
sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)
sheet.write(0, 0, '电影排名')
sheet.write(0, 1, '电影名称')
sheet.write(0, 2, '电影评分')
sheet.write(0, 3, '电影链接')
# 爬取页面并解析
url = 'https://movie.douban.com/top250'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movies = soup.find('ol', class_='grid_view').find_all('li')
# 遍历每个电影并将数据写入Excel表格
for i, movie in enumerate(movies):
num = movie.find('em').text
title = movie.find('span', class_='title').text
rating = movie.find('span', class_='rating_num').text
link = movie.find('a')['href']
sheet.write(i + 1, 0, num)
sheet.write(i + 1, 1, title)
sheet.write(i + 1, 2, rating)
sheet.write(i + 1, 3, link)
# 保存Excel表格
book.save('douban_movies.xls')
```
这个代码使用了requests库和BeautifulSoup库来爬取网页数据,并使用了xlwt库来操作Excel表格。在代码中,我们首先创建了一个Excel表格并设置了表头,然后爬取了豆瓣电影Top250页面,并使用BeautifulSoup库解析了页面数据。接下来,我们遍历每个电影数据,将它们写入Excel表格中,最后保存Excel表格。
阅读全文