python用selenium爬取豆瓣电影top250
时间: 2023-07-12 21:57:51 浏览: 125
Python 爬取豆瓣电影Top250
好的,以下是使用python和selenium爬取豆瓣电影top250的代码示例:
```python
from selenium import webdriver
url = 'https://movie.douban.com/top250'
driver = webdriver.Chrome() # 需要安装Chrome浏览器和对应版本的chromedriver
driver.get(url)
# 循环获取每一页的电影信息
while True:
# 获取当前页的电影信息
movie_list = driver.find_elements_by_xpath('//div[@class="info"]')
for movie in movie_list:
title = movie.find_element_by_xpath('div[@class="hd"]/a/span[@class="title"]').text
rating = movie.find_element_by_xpath('div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]').text
print(title, rating)
# 判断是否有下一页,如果没有则结束循环
next_page = driver.find_element_by_xpath('//span[@class="next"]/a')
if not next_page:
break
# 进入下一页
next_page.click()
driver.quit()
```
这段代码会打印出豆瓣电影top250中每部电影的名称和评分。注意需要安装Chrome浏览器和对应版本的chromedriver,并将chromedriver的路径添加到系统环境变量中。
阅读全文