python爬虫小红书selenium
时间: 2023-09-23 09:03:22 浏览: 565
可以使用Selenium和Python来爬取小红书的内容。首先需要下载并安装Selenium库,然后安装相应的浏览器驱动(如ChromeDriver),以便Selenium可以控制浏览器。
以下是一个简单的示例代码,用于使用Selenium和Python爬取小红书的内容:
```python
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
# 初始化Chrome浏览器
driver = webdriver.Chrome()
# 打开小红书网站
driver.get("https://www.xiaohongshu.com/")
# 在搜索框中输入关键字并提交
search_box = driver.find_element_by_name("q")
search_box.send_keys("美妆")
search_box.send_keys(Keys.RETURN)
# 等待页面加载完成
driver.implicitly_wait(10)
# 获取搜索结果的标题和链接
results = driver.find_elements_by_xpath("//div[@class='note-list']/a")
for result in results:
title = result.find_element_by_xpath(".//p[@class='title']/text()").strip()
link = result.get_attribute("href")
print(title, link)
# 关闭浏览器
driver.quit()
```
这段代码使用Selenium打开小红书网站,搜索关键字“美妆”,然后获取搜索结果的标题和链接。你可以根据自己的需求修改代码来爬取不同的内容。
阅读全文