selenium 获取页数
时间: 2023-11-12 20:05:57 浏览: 47
根据提供的引用内容,selenium主要是通过驱动浏览器,完全模拟浏览器的操作,来拿到网页渲染之后的结果。因此,获取页数的方法可以通过模拟点击翻页按钮来实现。具体步骤如下:
1. 使用selenium打开目标网页。
2. 找到翻页按钮的元素,并模拟点击。
3. 使用WebDriverWait等待页面加载完成。
4. 找到页数元素,并获取其文本信息。
5. 关闭浏览器。
需要注意的是,不同网站的翻页按钮和页数元素可能有所不同,需要根据具体情况进行调整。
相关问题
selenium遍历页数
你可以使用 Selenium 来遍历页数,以下是一个示例代码:
```python
from selenium import webdriver
# 初始化 Selenium WebDriver
driver = webdriver.Chrome()
# 打开网页
driver.get('https://example.com')
# 获取总页数
total_pages = driver.find_element_by_xpath('//span[@class="total-pages"]').text
total_pages = int(total_pages)
# 遍历每一页
for page in range(1, total_pages+1):
# 处理当前页的逻辑
# ...
# 点击下一页按钮
next_button = driver.find_element_by_xpath('//a[@class="next-page"]')
next_button.click()
# 关闭浏览器
driver.quit()
```
在上面的示例中,我们使用 `webdriver.Chrome()` 初始化 Chrome 浏览器的 WebDriver。然后,通过 `driver.get()` 打开目标网页。接下来,我们通过 XPath 定位元素来获取总页数,并将其转换为整数。然后使用 `range()` 函数遍历每一页,你可以在循环中编写处理当前页的逻辑。最后,我们通过 `driver.quit()` 关闭浏览器。
请注意,你需要根据实际情况修改示例代码中的网址、元素定位方式和逻辑处理部分。
selenium自动爬取京东商品评论
可以使用Selenium模拟浏览器操作,实现自动爬取京东商品评论的功能。以下是一个简单的示例代码:
```python
from selenium import webdriver
import time
# 打开浏览器
browser = webdriver.Chrome()
# 进入京东商品页面
url = 'https://item.jd.com/商品ID.html'
browser.get(url)
# 点击商品评论
browser.find_element_by_link_text('商品评价').click()
# 获取评论页数
page = browser.find_element_by_class_name('ui-page-s-len').text.split('/')[-1]
page = int(page)
# 遍历评论页
for i in range(1, page+1):
# 滚动到底部,加载更多评论
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
time.sleep(3)
# 获取评论内容
comments = browser.find_elements_by_class_name('comment-con')
for comment in comments:
print(comment.text)
# 点击下一页
try:
browser.find_element_by_class_name('ui-pager-next').click()
except:
break
# 关闭浏览器
browser.quit()
```
需要注意的是,需要替换代码中的`商品ID`为你要爬取的京东商品ID,也需要调整`time.sleep()`的时间以确保页面加载完成。另外,由于京东网站的反爬虫机制比较严格,建议使用代理IP和用户代理等方式进行反反爬虫处理。