Python代码使用爬虫爬取有"查看更多"按钮的数据
时间: 2024-01-12 12:03:42 浏览: 29
以下是使用 Python 实现爬取有"查看更多"按钮的数据的代码示例:
```python
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
import time
url = "https://example.com"
driver = webdriver.Chrome()
# 发送请求,获取页面 HTML 代码
response = requests.get(url)
html = response.text
# 解析 HTML 代码,找到"查看更多"按钮
soup = BeautifulSoup(html, "html.parser")
button = soup.find("button", class_="load-more-button")
# 模拟点击按钮,加载更多数据
while button is not None:
button.click()
time.sleep(1) # 等待页面加载
html = driver.page_source
# 解析 HTML 代码,找到新加载的数据和下一个"查看更多"按钮
soup = BeautifulSoup(html, "html.parser")
new_data = soup.find_all("div", class_="new-data")
button = soup.find("button", class_="load-more-button")
# 将新加载的数据保存到文件或数据库中
save_data(new_data)
driver.quit()
```
在这个示例中,我们使用了 requests 库发送请求,获取页面的 HTML 代码,并使用 BeautifulSoup 库解析 HTML 代码,找到了"查看更多"按钮。然后,我们使用 Selenium 库模拟点击按钮,加载更多数据,并再次使用 BeautifulSoup 库解析 HTML 代码,获取新加载的数据和下一个"查看更多"按钮。最后,我们将新加载的数据保存到文件或数据库中,并通过调用 `driver.quit()` 关闭浏览器。