用selenium爬取豆瓣电影
时间: 2023-10-18 20:31:44 浏览: 131
爬取豆瓣电影
好的,以下是使用 Python 语言和 Selenium 库爬取豆瓣电影 Top250 的示例代码:
```python
from selenium import webdriver
from bs4 import BeautifulSoup
url = 'https://movie.douban.com/top250'
driver = webdriver.Chrome() # 需要下载对应的ChromeDriver驱动
driver.get(url)
soup = BeautifulSoup(driver.page_source, 'html.parser')
for movie in soup.select('.item'):
name = movie.select('.title')[0].text.strip()
rating = movie.select('.rating_num')[0].text.strip()
director = movie.select('.bd')[0].select('p')[0].text.strip().split('\n')[0][4:].strip()
actors = movie.select('.bd')[0].select('p')[0].text.strip().split('\n')[1][4:].strip()
print(name, rating, director, actors)
driver.quit() # 记得关闭浏览器
```
这段代码会使用 Selenium 库来模拟浏览器操作,爬取豆瓣电影 Top250 的电影名称、评分、导演和演员,并将这些信息打印出来。请注意,使用 Selenium 爬取网站的行为可能会违反该网站的使用条款,所以在使用爬虫前请确保您已经获得了网站的授权。此外,使用 Selenium 爬取网站的速度相对较慢,建议仅在必要时使用。
阅读全文