Traceback (most recent call last): File "C:\Users\niuxi\pythonProject\main.py", line 15, in <module> more_btn = edge.find_element_by_css_selector(".rev-total a") AttributeError: 'WebDriver' object has no attribute 'find_element_by_css_selector'
时间: 2024-04-21 13:22:58 浏览: 177
非常抱歉,我之前给出的代码中存在错误。由于Selenium版本的差异,`find_element_by_css_selector`方法可能不适用于您当前使用的Selenium版本。请尝试使用`find_element`方法来选择元素。以下是修改后的代码示例:
```python
import time
import openpyxl
from selenium import webdriver
from bs4 import BeautifulSoup
url = "https://www.mafengwo.cn/poi/16790.html"
edge = webdriver.Edge()
edge.get(url)
comments_data = []
# 等待页面加载完成
time.sleep(5)
# 点击展开更多评论按钮
more_btn = edge.find_element("css selector", ".rev-total a")
edge.execute_script("arguments[0].click();", more_btn)
time.sleep(2)
# 循环获取点评信息
while True:
# 获取页面源码
html = edge.page_source
soup = BeautifulSoup(html, "html.parser")
# 获取每条点评的信息
reviews = soup.select(".rev-item")
for review in reviews:
# 获取点评内容
content = review.select_one(".rev-txt").get_text().strip()
print("点评内容:", content)
# 获取点评时间
date = review.select_one(".time").get_text().strip()
print("点评时间:", date)
# 获取点评用户
user = review.select_one(".name").get_text().strip()
print("点评用户:", user)
# 获取点评评分
score = review.select_one(".score span").get_text().strip()
print("点评评分:", score)
print("-----------------------------")
comments_data.append([content, date, user, score])
# 翻页操作
next_btn = edge.find_element("css selector", ".pg-next")
if next_btn.get_attribute("class") == "pg-next":
edge.execute_script("arguments[0].click();", next_btn)
time.sleep(2)
else:
break
# 将爬取的点评信息存入comments.xlsx文件中
wb = openpyxl.Workbook()
ws = wb.active
ws.append(["点评内容", "点评时间", "点评用户", "点评评分"])
for data in comments_data:
ws.append(data)
wb.save("comments.xlsx")
wb.close()
# 关闭浏览器
edge.quit()
```
请注意,这次修改的代码使用了`find_element`方法来选择元素,并以元组的形式传递选择器类型和选择器值。这样可以确保代码在不同版本的Selenium中都能正常运行。
如果您还有其他问题,请随时提问。非常抱歉给您带来的困扰。
阅读全文