python selenium按星爬取亚马逊商品评论
时间: 2023-09-04 13:02:58 浏览: 195
Python实现爬取亚马逊产品评论
5星 · 资源好评率100%
使用Python和Selenium可以轻松地按星级爬取亚马逊商品评论。以下是一个基本的步骤指南:
1. 导入必要的库和模块:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
```
2. 创建一个WebDriver对象,并打开亚马逊网站:
```python
driver = webdriver.Chrome() # 使用Chrome浏览器
driver.get("https://www.amazon.com/") # 打开亚马逊网站
```
3. 在搜索框中输入商品名称或关键字,并点击搜索按钮:
```python
search_box = driver.find_element_by_id("twotabsearchtextbox") # 找到搜索框元素
search_box.send_keys("商品名称或关键字") # 输入商品名称或关键字
search_box.send_keys(Keys.RETURN) # 模拟回车键
```
4. 过滤并选择所需的星级:
```python
star_rating = driver.find_element_by_xpath("//span[@aria-label='4 stars & up']") # 找到星级过滤器元素
star_rating.click() # 点击星级过滤器
```
5. 开始爬取评论:
```python
review_elements = driver.find_elements_by_class_name("review") # 找到评论元素
for review_element in review_elements:
review_text = review_element.text # 获取评论文本
print(review_text) # 打印评论文本
```
6. 继续翻页并重复步骤5,直到爬取到足够的评论为止:
```python
next_page = driver.find_element_by_class_name("a-last") # 找到下一页按钮元素
next_page.click() # 点击下一页按钮
```
上述步骤提供了一个基本的框架,您可以根据具体需求进行进一步的修改和扩展。请注意,亚马逊网站的布局和元素选择器可能会随时更改,因此需要进行适当的更新。
阅读全文